Как выбрать GPU для нейросети

· Редакция gpush.ru

Неправильно выбранная карта — это либо ошибка «out of memory», либо переплата за мощность, которая простаивает. Разбираем выбор GPU по шагам.

Выбор GPU для нейросети сводится к четырём вопросам: что за задача, сколько нужно памяти, как долго будет работать сервер и сколько вы готовы платить за скорость.

Шаг 1. Определите задачу

Шаг 2. Посчитайте память

Задача Минимум видеопамяти Примеры карт
Stable Diffusion, SDXL 12–16 ГБ RTX 4080, A4000
Flux, генерация видео 24–48 ГБ RTX 4090, RTX 5090, L40S
LLM 7–8B 16–24 ГБ RTX 4090, L4, A10
LLM 30–32B (4 бита) 24–32 ГБ RTX 4090, RTX 5090
LLM 70B (4 бита) 48 ГБ L40S, A6000
LoRA для модели 7–8B 24 ГБ RTX 4090, A5000
Полное дообучение 7–8B 2×80 ГБ A100 80 ГБ, H100

Подробнее о расчёте для языковых моделей — в статье сервер для локальной нейросети.

Шаг 3. Потребительская или серверная карта

Потребительские GeForce (RTX 3090, 4090, 5090) дают лучшую цену за производительность в инференсе и генерации изображений. Ограничения — до 32 ГБ памяти и нет NVLink для объединения карт.

Серверные (A100, H100, L40S) нужны, когда не хватает памяти одной потребительской карты, требуется связка карт для обучения или важны надёжность и SLA дата-центра.

Шаг 4. Тип аренды

Шаг 5. Сравните полную стоимость

Цена GPU-часа — не всё. Добавьте диск, трафик, публичный IP, хранение снапшотов и комиссию за оплату, если провайдер зарубежный. В каталоге цены приведены к рублям за час одной карты — так проще сравнивать, но итоговый счёт уточняйте у провайдера.

Чек-лист перед арендой

  1. Модель помещается в память выбранной карты с запасом 20%.
  2. Есть готовый образ с CUDA, PyTorch или нужным фреймворком.
  3. Понятно, как платить: карта РФ, счёт или зарубежная карта.
  4. Диск достаточного объёма и понятно, сколько он стоит в простое.
  5. Знаете, как остановить или удалить сервер, чтобы не платить за простой.

Материал подготовила редакция gpush.ru — мы ведём каталог тарифов на аренду GPU и обновляем цены, когда провайдеры меняют прайс.

Частые вопросы

Какая видеокарта лучше для нейросетей?

Универсального ответа нет: для генерации изображений и небольших моделей по цене выигрывает RTX 4090, для моделей на 70B — карты на 48–80 ГБ (L40S, A100), для обучения крупных моделей — H100 и H200.

Что важнее для нейросети: видеопамять или мощность GPU?

Сначала объём видеопамяти: если модель не помещается, она не запустится или будет работать очень медленно. Вычислительная мощность влияет на скорость, когда память уже достаточна.

Подходят ли видеокарты AMD для нейросетей?

Подходят, но экосистема ROCm поддерживается не всеми фреймворками и готовыми образами. Если нет опыта настройки, проще начать с NVIDIA и CUDA.