Сервер для локальной нейросети: аренда или покупка

· Редакция gpush.ru

Своя нейросеть на своём сервере — это контроль над данными и отсутствие лимитов API. Разбираемся, какое железо нужно под модель и когда аренда GPU выгоднее покупки.

«Локальная нейросеть» — это языковая или генеративная модель, которая работает на вашем железе, а не через API стороннего сервиса. Данные не уходят наружу, нет ограничений по числу запросов, модель можно дообучить под себя.

Сколько видеопамяти нужно под модель

Модель целиком загружается в память видеокарты. Простое правило для инференса:

Точность Память на 1 млрд параметров Модель 8B Модель 32B Модель 70B
16 бит (FP16/BF16) ~2 ГБ ~16 ГБ ~64 ГБ ~140 ГБ
8 бит ~1 ГБ ~8 ГБ ~32 ГБ ~70 ГБ
4 бита ~0,6 ГБ ~5 ГБ ~20 ГБ ~40 ГБ

К весам добавьте 10–30% на кэш контекста (KV-кэш): чем длиннее контекст и больше одновременных пользователей, тем больше запас.

Отсюда практичные конфигурации:

Остальное железо

Домашний сервер или аренда

Свой сервер выгоден, когда карта загружена большую часть суток: например, внутренний ассистент для команды, который работает весь день. Плюсы — данные физически у вас, нет ежемесячных платежей. Минусы — разовые вложения, шум, электричество, ремонт за ваш счёт и устаревание карты через 2–3 года.

Аренда выгодна при неравномерной нагрузке: эксперименты, пилоты, обучение по выходным. Платите только за часы работы и в любой момент переходите на более мощную карту.

Как посчитать точку окупаемости

  1. Возьмите стоимость покупки сервера с нужной картой.
  2. Добавьте электричество: мощность системы (кВт) × часы работы в месяц × тариф.
  3. Найдите цену аренды той же карты за час в каталоге.
  4. Точка окупаемости в часах = стоимость покупки ÷ (цена аренды часа − стоимость электричества за час).

Если вы реально наберёте столько часов загрузки за 2–3 года — покупка оправдана. Если нет — арендуйте.

С чего начать

Арендуйте карту на 24–48 ГБ на несколько часов, разверните модель через Ollama, vLLM или llama.cpp и проверьте качество ответов на своих задачах. Так вы поймёте, какая модель и какой объём памяти действительно нужны, прежде чем покупать железо. Подходящие конфигурации — в разделе аренда GPU для LLM.

Материал подготовила редакция gpush.ru — мы ведём каталог тарифов на аренду GPU и обновляем цены, когда провайдеры меняют прайс.

Частые вопросы

Какой сервер нужен для локальной нейросети?

Главное — видеокарта с достаточным объёмом памяти: 24 ГБ для моделей до 13–30B в квантовании, 48 ГБ для 70B в 4-битном квантовании. Процессор вторичен, оперативной памяти нужно не меньше, чем видеопамяти.

Можно ли запустить нейросеть на домашнем компьютере?

Да, если в нём есть видеокарта на 12–24 ГБ. Небольшие модели (7–8B) в квантовании работают даже на 8–12 ГБ, но медленнее и с коротким контекстом.

Что дешевле: купить GPU или арендовать?

Аренда выгоднее при нерегулярной нагрузке — до нескольких часов в день. Покупка окупается при загрузке карты большую часть суток в течение года и дольше, с учётом электричества и обслуживания.

Сколько видеопамяти нужно для DeepSeek или Llama 70B?

Модели на 70B в 4-битном квантовании требуют около 40–45 ГБ видеопамяти, в полной 16-битной точности — около 140 ГБ. Крупные MoE-модели на сотни миллиардов параметров требуют серверов с несколькими картами по 80–141 ГБ.