Как выбрать GPU для нейросети
Неправильно выбранная карта — это либо ошибка «out of memory», либо переплата за мощность, которая простаивает. Разбираем выбор GPU по шагам.
Выбор GPU для нейросети сводится к четырём вопросам: что за задача, сколько нужно памяти, как долго будет работать сервер и сколько вы готовы платить за скорость.
Шаг 1. Определите задачу
- Инференс — запуск готовой модели: чат-бот, генерация картинок, распознавание речи. Нужна память под веса и контекст.
- Дообучение (fine-tuning, LoRA) — подстройка готовой модели под свои данные. Памяти нужно больше, чем для инференса.
- Обучение с нуля — требует кластеров из многих карт и недель работы. Это задача для A100, H100, H200.
Шаг 2. Посчитайте память
| Задача | Минимум видеопамяти | Примеры карт |
|---|---|---|
| Stable Diffusion, SDXL | 12–16 ГБ | RTX 4080, A4000 |
| Flux, генерация видео | 24–48 ГБ | RTX 4090, RTX 5090, L40S |
| LLM 7–8B | 16–24 ГБ | RTX 4090, L4, A10 |
| LLM 30–32B (4 бита) | 24–32 ГБ | RTX 4090, RTX 5090 |
| LLM 70B (4 бита) | 48 ГБ | L40S, A6000 |
| LoRA для модели 7–8B | 24 ГБ | RTX 4090, A5000 |
| Полное дообучение 7–8B | 2×80 ГБ | A100 80 ГБ, H100 |
Подробнее о расчёте для языковых моделей — в статье сервер для локальной нейросети.
Шаг 3. Потребительская или серверная карта
Потребительские GeForce (RTX 3090, 4090, 5090) дают лучшую цену за производительность в инференсе и генерации изображений. Ограничения — до 32 ГБ памяти и нет NVLink для объединения карт.
Серверные (A100, H100, L40S) нужны, когда не хватает памяти одной потребительской карты, требуется связка карт для обучения или важны надёжность и SLA дата-центра.
Шаг 4. Тип аренды
- Облако с почасовой или поминутной оплатой — для экспериментов и задач на часы или дни. Смотрите почасовую аренду.
- Выделенный сервер — для постоянной нагрузки: дешевле при круглосуточной работе. Смотрите выделенные серверы с GPU.
- Маркетплейс (Vast.ai) — минимальная цена, но узлы частных владельцев менее надёжны.
Шаг 5. Сравните полную стоимость
Цена GPU-часа — не всё. Добавьте диск, трафик, публичный IP, хранение снапшотов и комиссию за оплату, если провайдер зарубежный. В каталоге цены приведены к рублям за час одной карты — так проще сравнивать, но итоговый счёт уточняйте у провайдера.
Чек-лист перед арендой
- Модель помещается в память выбранной карты с запасом 20%.
- Есть готовый образ с CUDA, PyTorch или нужным фреймворком.
- Понятно, как платить: карта РФ, счёт или зарубежная карта.
- Диск достаточного объёма и понятно, сколько он стоит в простое.
- Знаете, как остановить или удалить сервер, чтобы не платить за простой.