Сервер для локальной нейросети: аренда или покупка
Своя нейросеть на своём сервере — это контроль над данными и отсутствие лимитов API. Разбираемся, какое железо нужно под модель и когда аренда GPU выгоднее покупки.
«Локальная нейросеть» — это языковая или генеративная модель, которая работает на вашем железе, а не через API стороннего сервиса. Данные не уходят наружу, нет ограничений по числу запросов, модель можно дообучить под себя.
Сколько видеопамяти нужно под модель
Модель целиком загружается в память видеокарты. Простое правило для инференса:
| Точность | Память на 1 млрд параметров | Модель 8B | Модель 32B | Модель 70B |
|---|---|---|---|---|
| 16 бит (FP16/BF16) | ~2 ГБ | ~16 ГБ | ~64 ГБ | ~140 ГБ |
| 8 бит | ~1 ГБ | ~8 ГБ | ~32 ГБ | ~70 ГБ |
| 4 бита | ~0,6 ГБ | ~5 ГБ | ~20 ГБ | ~40 ГБ |
К весам добавьте 10–30% на кэш контекста (KV-кэш): чем длиннее контекст и больше одновременных пользователей, тем больше запас.
Отсюда практичные конфигурации:
- 24 ГБ (RTX 4090, RTX 3090) — модели до 13B в 8 битах или до 30B в 4 битах.
- 32 ГБ (RTX 5090) — 32B в 4–6 битах с запасом под контекст.
- 48 ГБ (L40S, RTX A6000) — 70B в 4 битах.
- 80–96 ГБ (A100, H100, RTX PRO 6000) — 70B в 8 битах, обслуживание многих пользователей.
Остальное железо
- Процессор. Для инференса на GPU хватает 8–16 ядер. Важнее число линий PCIe, если карт несколько.
- Оперативная память. Не меньше объёма видеопамяти, лучше вдвое больше: модель сначала читается в RAM.
- Диск. NVMe: модели весят от 5 до 150 ГБ, загрузка с медленного диска растягивается на минуты.
- Питание и охлаждение. Карта уровня RTX 4090 потребляет до 450 Вт, сервер с несколькими картами требует серьёзного блока питания и вентиляции.
Домашний сервер или аренда
Свой сервер выгоден, когда карта загружена большую часть суток: например, внутренний ассистент для команды, который работает весь день. Плюсы — данные физически у вас, нет ежемесячных платежей. Минусы — разовые вложения, шум, электричество, ремонт за ваш счёт и устаревание карты через 2–3 года.
Аренда выгодна при неравномерной нагрузке: эксперименты, пилоты, обучение по выходным. Платите только за часы работы и в любой момент переходите на более мощную карту.
Как посчитать точку окупаемости
- Возьмите стоимость покупки сервера с нужной картой.
- Добавьте электричество: мощность системы (кВт) × часы работы в месяц × тариф.
- Найдите цену аренды той же карты за час в каталоге.
- Точка окупаемости в часах = стоимость покупки ÷ (цена аренды часа − стоимость электричества за час).
Если вы реально наберёте столько часов загрузки за 2–3 года — покупка оправдана. Если нет — арендуйте.
С чего начать
Арендуйте карту на 24–48 ГБ на несколько часов, разверните модель через Ollama, vLLM или llama.cpp и проверьте качество ответов на своих задачах. Так вы поймёте, какая модель и какой объём памяти действительно нужны, прежде чем покупать железо. Подходящие конфигурации — в разделе аренда GPU для LLM.