AI-инструменты

Что такое роутер моделей — и почему не надо выбирать одну ИИ навсегда

Иллюстрация: стрелка на развилке — простое едет по короткой дороге, сложное по длинной

Посмотри однажды в логи своего ИИ-приложения — и ты слегка расстроишься.

Там будет «привет», «спасибо», «переформулируй покороче», «а по-русски?». И где-то между ними — три настоящих запроса, ради которых всё затевалось.

Проблема в том, что за «спасибо» ты платишь по той же цене, что и за настоящую задачу. Модель-то одна на всё приложение. Вот отсюда и растёт идея роутера.

Что такое роутер моделей

Роутер моделей (по-английски LLM router) — это слой, который выбирает модель под каждый отдельный запрос, а не один раз при написании кода.

Смотри, как обычно устроено приложение: в коде зашито имя модели, и любой запрос — от «привет» до «разбери мой контракт» — едет к ней. Это как вызывать грузовик, чтобы отвезти письмо. Иногда груз действительно большой. Чаще — нет.

Роутер вставляет между пользователем и моделью одну развилку: посмотрел на запрос → решил, кто с ним справится → отправил туда.

Простые вопросы уходят к маленькой быстрой модели. Сложные — к флагману. Пользователь не видит разницы: ответ приходит в том же формате, просто одни ответы стоили тебе копейки.

Почему это режет счёт сильнее, чем кажется

Тут работает не «дешёвая модель хуже, но мы потерпим». Работает структура нагрузки.

В любом живом продукте распределение запросов кривое: большая часть трафика — это короткие, банальные, повторяющиеся штуки. Приветствия, уточнения, «покажи ещё раз», нажатия на кнопку «сделай короче». Реальной работы там на пару процентов.

А разрыв в цене между младшей и флагманской моделью у одного и того же провайдера — обычно в десятки раз. Не проценты. Десятки раз.

Перемножь одно на другое, и получится неприятное: основная часть твоего счёта уходит на запросы, которые никакого ума не требовали. Роутер бьёт именно по этой части — не ухудшая сложные ответы, потому что их он не трогает.

Это, кстати, самый недооценённый пункт в разговоре о том, как сэкономить на запросах к ИИ: люди сначала режут промпты по словам, хотя рядом лежит рычаг в разы больше.

Первый роутер — это не ИИ, а обычный if

Слово «роутер» звучит серьёзно, и кажется, что нужна отдельная умная модель-диспетчер. Не нужна. Начни с правил — они бесплатные и мгновенные.

function pickModel(text, hasFiles) {
  if (hasFiles || text.length > 2000) return "flagship"   // длинный текст, документы
  if (/посчитай|код|ошибк|почему/i.test(text)) return "flagship"
  return "small"                                          // всё остальное
}

Пять строк. Никакой магии, зато ты сразу видишь в логах, какая доля трафика ушла вниз.

Дальше есть смысл усложнять по ступеням:

  1. Правила — длина, наличие файла, ключевые слова. Ноль задержки, ноль стоимости.
  2. Каскад — сначала маленькая модель, и только если её ответ не прошёл проверку, повтор на флагмане. Платишь дважды, но редко.
  3. Модель-классификатор — крошечная модель решает, «простое это или сложное». Имеет смысл, когда правила уже не ловят.

Большинству проектов хватает первой ступени. Это тот случай, когда наивное решение честно закрывает почти весь эффект.

Готовые роутеры, если не хочешь писать свой

Тебе не обязательно строить развилку руками. Есть OpenRouter — сервис-посредник, у которого модель openrouter/auto делает выбор за тебя.

Устроено любопытно: запрос классифицируется, а дальше выбирается модель, на которую сообщество OpenRouter реально тратит деньги в этой категории за последнюю неделю. То есть роутер идёт не за бенчмарками, а за живым голосованием кошельком. Есть ручка cost_quality_tradeoff — шкала от 0 до 10 (по умолчанию 7): 0 тянет к самой сильной модели, 10 — к самой дешёвой. Наценки за сам роутер нет, платишь по тарифу выбранной модели, а какая именно сработала — видно в поле model в ответе.

Отдельная приятная деталь: внутри одного разговора роутер закрепляет выбранную модель, чтобы ответы не «прыгали» по стилю от реплики к реплике.

Похожая логика теперь встроена и в потребительские чаты: «авто»-режим у крупных провайдеров — это ровно такой же роутер, только спрятанный от глаз.

Чем за это платишь

Честно про минусы, их три.

  • Непредсказуемость ответов. Один и тот же вопрос в разные дни может уехать к разным моделям — стиль ответа поплывёт. Лечится закреплением модели внутри диалога.
  • Провалы на границе. Запрос, который казался простым, а был сложным, получит слабый ответ. Поэтому в роутере лучше ошибаться в сторону дорогой модели: неверный «вверх» стоит центы, неверный «вниз» стоит доверия пользователя.
  • Ещё одна деталь, которая ломается. Роутер — это код, который стоит на пути каждого запроса. Держи фолбэк: не смог решить — отправляй флагману.

И один плюс, который обычно замечают позже: когда выбор модели вынесен в одну функцию, сменить модель на новую — это правка одной строки, а не поиск по всему проекту.

Роутер — это отдельный сервис или библиотека?

Ни то, ни другое по умолчанию. В самом простом виде это твоя собственная функция на несколько строк внутри твоего же кода. Отдельный сервис нужен, когда моделей много, они от разных провайдеров и хочется общую статистику — тогда проще взять готовый шлюз вроде OpenRouter, чем поддерживать своё.

Как понять, что роутер вообще что-то дал?

Логируй в каждом запросе две вещи: какую модель выбрал роутер и сколько токенов ушло. Через день у тебя будет доля трафика, уехавшая на дешёвую модель, — это и есть экономия в чистом виде. Заодно сразу увидишь запросы, которые роутер отправил не туда: они обычно кучкуются вокруг одной формулировки, и правило чинится одной строчкой.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →