Что такое инференс — и почему за каждый ответ ИИ ты платишь заново

Вот что многих удивляет: обучить большую модель стоит миллионы долларов и занимает месяцы — но делается это один раз. А то, с чем ты имеешь дело каждый день, — совсем другое. Это инференс. И платишь за него ты — каждый раз, когда жмёшь «отправить».

Слово звучит страшно, а смысл простой. Инференс — это когда уже обученная модель работает: берёт твой запрос и выдаёт ответ. Обучение — это как построить фабрику. Инференс — запустить конвейер и получить одну деталь. Фабрику строят раз, конвейер гоняют миллионы раз. Ты живёшь во второй части.

Что происходит во время инференса

Когда ты отправил запрос, модель не «вспоминает» готовый ответ и не лезет в базу. Она считает его заново — токен за токеном.

Сначала твой текст разбивается на токены — маленькие кусочки слов. Дальше модель прогоняет их через свои веса (это те самые числа, которые она выучила при обучении) и предсказывает один следующий токен. Добавляет его к строке. Потом, уже с новым кусочком, предсказывает ещё один. И так по кругу, пока не решит, что ответ закончен.

Ключевая штука: во время инференса веса не меняются. Модель ничего не запоминает из твоего диалога навсегда — она просто очень хорошо угадывает следующий кусочек на основе того, что выучила раньше. Поэтому одна и та же языковая модель даёт похожие ответы и сегодня, и через неделю.

Почему ответ стоит денег каждый раз

Раз модель считает ответ с нуля каждый раз — каждый раз тратится «железо»: видеокарты крутят миллиарды умножений. Это и есть то, за что берут деньги.

Платишь обычно за токены, причём за оба конца: сколько ты прислал (твой запрос плюс вся история диалога) и сколько модель ответила. Длинная переписка дорожает не потому, что модель «устала», а потому что весь предыдущий разговор каждый раз подаётся ей заново на вход — она же ничего не помнит между запросами.

Отсюда практичный вывод: короткий точный запрос дешевле длинного «на всякий случай». А если гоняешь модель в цикле (бот, агент), стоимость складывается из каждого прогона.

От чего зависят скорость и цена

Три рычага решают почти всё:

• Размер модели. Большая умнее, но каждый токен считается дольше и дороже. Иногда модель поменьше справляется с твоей задачей — и отвечает мгновенно.
• Длина контекста. Чем больше текста ты подаёшь на вход, тем дольше первый токен и выше счёт. Не вали в запрос всё подряд.
• Длина ответа. Каждый токен на выходе — отдельный шаг конвейера. Попросишь «кратко» — получишь быстрее и дешевле.

Есть и приём со стороны разработчиков модели — квантизация: веса ужимают, чтобы инференс шёл быстрее и помещался на слабом железе, чуть жертвуя точностью.

Где ты с этим столкнёшься

Ты уже сталкивался, просто не знал названия. «Модель печатает…» с задержкой — это инференс думает над первым токеном. Счёт в личном кабинете за API — это сумма инференсов. Лаг на бесплатном тарифе в час пик — это очередь к видеокартам.

И ещё: инференс можно запускать не только в облаке. Маленькие открытые модели крутятся прямо на ноутбуке или телефоне — медленнее, зато бесплатно и приватно. Это и есть «локальный инференс».

Инференс — это то же самое, что генерация?

Почти. Генерация — это инференс языковой модели, которая выдаёт текст. Но инференс шире: так называют любую работу обученной модели — и когда она распознаёт картинку, и когда классифицирует письмо в спам. Генерация текста — частный случай.

Почему один и тот же вопрос стоит столько же во второй раз?

Потому что модель не кэширует ответ у тебя в голове — она пересчитывает его заново. Между запросами она ничего не помнит, так что второй раз = столько же работы, сколько первый.

Можно ли запускать инференс на своём компьютере?

Да, если взять открытую модель поменьше. Большие требуют мощных видеокарт, но компактные версии бегают на обычном ноутбуке. Будет медленнее облака, но без счёта и без отправки данных наружу.