Агенты

Поиск по эмбеддингам или по ключевым словам — что выбрать для своего проекта

Иллюстрация: две линзы над одним списком документов — одна ловит смысл, другая точное слово

Про семантический поиск обычно рассказывают так: старый поиск по словам тупой, новый по смыслу — умный, бери новый. Половина правды тут есть. Но вот что выясняется на практике: семантический поиск проваливает именно то, что поиск по словам берёт идеально — артикул товара, код ошибки, фамилию, номер договора. Спросишь «ошибка E-4302» — и получишь пять похожих по смыслу ошибок, но не ту. Разберёмся, что где работает и что брать в свой проект.

Как работает каждый

Поиск по ключевым словам (его же называют лексическим или полнотекстовым) ищет совпадение слов. Он приводит слова к начальной форме, выкидывает предлоги и оценивает: насколько слово редкое и сколько раз встретилось в документе. Классический алгоритм — BM25, он лежит в основе полнотекстового поиска Postgres и Elasticsearch.

Поиск по эмбеддингам (семантический, векторный) сравнивает не слова, а смыслы. Каждый документ заранее превращается в эмбеддинг — набор чисел. Запрос превращается в такой же набор, и система ищет ближайшие по расстоянию. Слова могут не совпасть вообще: «как вернуть деньги» найдёт документ «политика возврата средств». Подробнее — в статье про семантический поиск.

Сравнение по критериям

Синонимы и перефразировки. Эмбеддинги — сильная сторона: находят по смыслу, слова совпадать не обязаны. Ключевые слова — не найдут, если в тексте нет тех же слов.

Точные совпадения (артикулы, коды, имена, ID). Ключевые слова — идеально: SKU-88213 находится ровно. Эмбеддинги — слабое место: редкий код почти не влияет на вектор, и в ответ приедет «что-то похожее».

Опечатки. Эмбеддинги переживают их неплохо. Полнотекстовый поиск без нечёткого сопоставления промахнётся.

Скорость и стоимость. Ключевые слова — индекс строится мгновенно, запрос почти бесплатный. Эмбеддинги — нужно один раз прогнать все документы через модель (это деньги), хранить векторы и пересчитывать при изменении текста.

Порог входа. Ключевые слова есть в любой базе из коробки: в Postgres это to_tsvector, пара строк SQL. Для векторов нужен либо плагин вроде pgvector, либо отдельное хранилище.

Объяснимость. С ключевыми словами видно, почему документ нашёлся — по этому слову. С эмбеддингами объяснения нет: «вектор оказался ближе». Отлаживать заметно тяжелее.

Новые слова. Название твоего продукта, вышедшее вчера, полнотекстовый поиск найдёт сразу. Модель эмбеддингов его не знает — для неё это бессмысленный набор букв.

Почему в продакшене почти всегда оба

Отсюда и вывод, к которому пришла индустрия: гибридный поиск. Запрос идёт в оба движка параллельно, а результаты объединяются в один список.

Работает это так: полнотекстовый поиск приносит документы с точным совпадением, векторный — близкие по смыслу, дальше их ранги складывают по общей формуле и выдают общий топ. Если один способ промахнулся, второй подстраховал.

Особенно это важно для RAG: именно из-за чистого векторного поиска бот часто отвечает «не нашёл» на вопрос про конкретный номер заказа — хотя документ лежит в базе.

Кому что подойдёт — прямо

Бери только ключевые слова, если ищешь по каталогу товаров, документам с номерами, логам, коду или таблицам с ID. Плюс если у тебя пара тысяч записей и не хочется тащить лишнюю инфраструктуру. Это дешевле, быстрее и предсказуемее.

Бери только эмбеддинги, если у тебя связные тексты и живые вопросы пользователей: база знаний, поддержка, статьи, стенограммы. Там формулировка вопроса почти никогда не совпадает с формулировкой ответа.

Бери гибрид, если делаешь поиск по документации или ИИ-помощника по своим данным — то есть в большинстве реальных проектов. Начни с полнотекстового (он даст рабочий результат за вечер), потом добавь векторный слой и объедини выдачу. Обратный порядок — сразу вектора, потом «почему он не находит артикул» — самая частая ошибка новичка.

Нужна ли отдельная векторная база?

Не сразу. До сотен тысяч документов хватает pgvector в обычном Postgres — и заодно получаешь гибрид без второго хранилища. Отдельная база нужна на больших объёмах и высокой нагрузке.

Сколько стоит перевести документы в эмбеддинги?

Модели эмбеддингов заметно дешевле генеративных, и платишь ты один раз за документ. Основные расходы появляются, если тексты часто меняются и всё приходится пересчитывать.

Помогает ли эмбеддингам полнотекстовый индекс?

Напрямую нет — это независимые механизмы. Но в гибридной схеме они дополняют друг друга: точные совпадения от одного, смысловые от другого.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →