Что такое…

Что такое VRAM — и почему модель «на 7B» не весит 7 гигабайт

Иллюстрация: модель как груз, который примеряют к полке видеокарты

Смотри, ловушка, в которую попадают все, кто первый раз запускает модель у себя на компьютере.

Видишь «Llama 7B» и думаешь: 7 миллиардов параметров — значит, наверное, гигабайт семь. У меня 8 гигабайт видеопамяти, влезет впритык.

Не влезет. Или влезет с огромным запасом. Смотря какая версия — одна и та же модель «на 7B» может занять и 14 гигабайт, и меньше пяти. Разница в четыре раза, и она не про модель, а про то, в каких числах записаны её веса.

Что такое VRAM простыми словами

VRAM (video RAM) — это оперативная память, распаянная прямо на видеокарте. Отдельная от обычной памяти компьютера.

Зачем отдельная: видеокарта считает быстро только тогда, когда данные лежат прямо у неё под рукой. Гонять их туда-сюда по шине из обычной оперативки — это как готовить, бегая за каждым продуктом в магазин.

Поэтому правило жёсткое: модель должна поместиться в VRAM целиком. Не «в основном», не «почти». Не поместилась — часть слоёв уезжает в обычную оперативную память, и скорость падает в разы. Ты сразу это заметишь: вместо потока текста слова начинают выпадать по одному, с паузами.

У Apple с их M-процессорами память общая — там VRAM и RAM это одно и то же, и порог мягче. Но на обычном ПК с отдельной видеокартой считать надо честно.

Как посчитать, сколько нужно

Формула на удивление простая. Берёшь количество параметров и умножаешь на количество байт на один параметр:

| Формат весов | Байт на параметр | Модель 7B | |---|---|---| | FP32 (полная точность) | 4 | ≈ 28 ГБ | | FP16 / BF16 (обычная для выкладки) | 2 | ≈ 14 ГБ | | 8 бит (Q8) | 1 | ≈ 7 ГБ | | 4 бита (Q4) | ≈ 0,5 | ≈ 3,5 ГБ |

Вот откуда взялась путаница. «7 гигабайт» получается ровно в одном случае — при 8 битах на параметр. А выкладывают модели обычно в FP16, то есть по 2 байта, и тогда те же 7B требуют примерно 14 гигабайт.

Уменьшение числа бит называется квантизацией — числа внутри модели огрубляют, и она ужимается в разы, теряя в качестве совсем немного.

Проверим на живом примере

Возьмём реальную цифру. Если запустить Mistral через Ollama и спросить у него список загруженных моделей, он ответит примерно так: размер параметров 7.2B, квантизация Q4_0, занято видеопамяти — 5137025024 байта.

Это примерно 4,8 гигабайта. Сверим с формулой: 7,2 миллиарда × 0,5 байта ≈ 3,6 ГБ на сами веса. Откуда ещё гигабайт с лишним?

Это второй кусок, про который забывают: контекст тоже занимает память. Модель держит в VRAM не только веса, но и промежуточные вычисления по всему диалогу — так называемый KV-кэш. И чем длиннее контекст, тем он больше.

Отсюда правило большого пальца: посчитал веса — добавь сверху 20–30%. Модель, которая «влезает ровно», на длинном диалоге упрётся в потолок и уползёт в обычную память.

Что делать, если не влезает

По порядку, от самого дешёвого к самому болезненному:

  1. Взять версию с более грубой квантизацией. Q4 вместо Q8 — минус половина памяти. Обычно это первое и самое разумное действие: качество проседает заметно меньше, чем ожидаешь.
  2. Уменьшить длину контекста. Многие запускалки по умолчанию резервируют память под большой контекст. Если тебе не нужны десятки тысяч токенов — поставь меньше и освободи гигабайты.
  3. Взять модель поменьше. Хорошая модель на 3B, которая летает, полезнее отличной на 13B, которая думает по минуте.
  4. Уйти в облако. Если задача разовая — платить за API дешевле, чем покупать видеокарту.

Как всё это ставится на практике — в пошаговом гайде, как запустить ИИ-модель локально.

Сколько VRAM хватит для начала?

8 гигабайт — рабочий минимум: модели до 8B в 4-битной квантизации живут там нормально. 16 гигабайт открывают модели на 20B и комфортный контекст. 24 гигабайта — это уже 30B-класс.

Ориентир от самих разработчиков Ollama: модели уровня 7–8B они тестируют на 6–8 ГБ, 20B — на 16 ГБ, 27–33B — на 20–32 ГБ. Гигантские модели на 120B требуют около 70 ГБ, то есть домашней картой там не обойтись.

Можно ли сложить две видеокарты?

Иногда да — некоторые запускалки умеют разносить слои модели по нескольким GPU. Но это не «8 + 8 = 16» без оговорок: обмен между картами медленнее, чем внутри одной, и настройка заметно сложнее. Для первого локального запуска проще взять модель, которая помещается в одну карту.

Почему модель занимает больше, чем весит файл?

Файл на диске — это только веса. В памяти к ним добавляются KV-кэш под контекст и служебные буферы. Поэтому файл на 4,4 ГБ спокойно занимает 5–6 ГБ видеопамяти — и это нормально, а не ошибка.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →