Агенты

Почему поиск по смыслу выдаёт мусор — 3 причины и как починить

Иллюстрация: рука достаёт из ящика пять карточек, четыре из них явно из другой папки

Ты собрал поиск по своим документам. Спрашиваешь «какой у нас срок возврата» — а в ответ кусок про доставку и абзац из договора аренды. Модель на этом основании уверенно сочиняет ответ.

Первая мысль: «модель тупит». Почти всегда — нет. Мусор пришёл до модели, из поиска.

И вот главная причина, которую редко проговаривают вслух.

Причина 1. Поиск не умеет отвечать «не нашёл»

Векторный поиск возвращает k ближайших кусков. Всегда ровно k. Попросил пять — получишь пять, даже если ближайший «сосед» вообще из другой оперы.

Обычный текстовый поиск в такой ситуации честно скажет «ничего не найдено». Векторный — не скажет никогда: у любого запроса есть ближайшая точка, вопрос лишь в том, насколько она далека.

Дальше происходит худшее: эти пять кусков уезжают в промпт как «контекст из документов». Модель видит их и считает материалом для ответа. Отсюда уверенные ответы мимо кассы — это классика RAG.

Как проверить. Выведи в лог не только найденные тексты, но и их оценку близости. Сделай контрольный запрос про то, чего в базе точно нет («какой у нас корпоратив в Сочи»). Посмотри на числа — это и есть твой уровень шума.

Как починить. Поставь порог: результаты хуже определённой близости выбрасывай. Если после фильтра не осталось ничего — так и отвечай: «в документах этого нет». Отдельно скажи это модели в системном промпте: «отвечай только по приведённым фрагментам; если их недостаточно — скажи, что не знаешь».

Причина 2. Куски не того размера

Эмбеддинг — это сжатие смысла текста в одну точку. И тут работает простая логика: чем больше текста ты сжал в одну точку, тем более размытым становится его «смысл».

Два типичных перекоса:

Куски слишком большие. Загнал страницу целиком — её вектор стал «средним по больнице»: немного про возврат, немного про доставку, немного про юрлицо. Такой вектор одинаково слабо похож на все запросы сразу.

Куски слишком мелкие. Порезал по 100 символов — каждый фрагмент потерял контекст. «Он составляет 14 дней» — а что «он», уже в соседнем куске, который не нашёлся.

Как починить. Рабочая середина — примерно 300–800 токенов на кусок с небольшим перекрытием (10–15%), чтобы мысль не обрывалась на границе. Но важнее размера — где резать: по заголовкам и абзацам, а не вслепую по счётчику символов. Один раздел — один кусок.

И добавь к каждому куску заголовок документа прямо в текст. Фрагмент «14 дней с момента получения» бесполезен; «Политика возврата → Сроки: 14 дней с момента получения» находится отлично.

Причина 3. Эмбеддинги не про твой язык (или их две разные)

Самая обидная ошибка, потому что ломает всё сразу: документы проиндексированы одной моделью эмбеддингов, а запрос считается другой. Обновил библиотеку, поменял модель на новую — и старый индекс превратился в шум. Числа вроде на месте, а близость случайная.

Как проверить. Найди в базе кусок текста и поищи его же дословно. Если он не оказался первым — дело не в чанках и не в пороге. Индекс и запрос живут в разных системах координат.

Вторая версия той же беды — язык. Если модель эмбеддингов училась в основном на английском, русский запрос ложится в её пространство грубо, и семантический поиск работает вполсилы. Для русских документов бери модель, которая мультиязычность заявляет явно.

Как починить. Одна модель для индексации и для запросов — жёстко. Сменил модель — переиндексируй всё, частичное обновление тут не работает. Запиши название модели рядом с индексом, чтобы через полгода не гадать.

И проверь, тот ли это инструмент

Векторный поиск ищет похожее по смыслу. Он прекрасно находит «как вернуть товар» по запросу «хочу оформить возврат» — и заметно хуже находит точные строки: артикул SKU-4471, номер ошибки, фамилию, дату.

Для таких запросов смысла нет вовсе — есть точное совпадение. Отсюда стандартное решение: гибридный поиск. Обычный полнотекстовый поиск ищет точные вхождения, векторный — смысл, а результаты объединяются. Почти все зрелые системы поиска по документам устроены именно так, и это лечит больше кейсов, чем любая подкрутка порога.

Порядок починки, если чинить некогда разбираться: сначала проверь совпадение моделей (пункт 3 — фатально), потом добавь порог и логи (пункт 1 — дёшево), и только потом переразбивай документы (пункт 2 — долго).

Какой порог близости считать нормальным?

Универсального числа нет: шкала зависит от модели и от метрики. Способ найти свой — прогнать десяток заведомо хороших запросов и десяток заведомо бессмысленных, посмотреть на распределение оценок и поставить границу между кучками.

Сколько кусков отдавать модели?

Обычно 3–7. Больше — не значит лучше: лишние фрагменты разбавляют контекст и повышают шанс, что модель зацепится не за тот. Если ответ требует десятков кусков, скорее всего, задача не про поиск, а про сводку по всей базе.

Поможет ли просто взять модель с большим контекстом?

Иногда да — если документов немного, их можно целиком положить в промпт и обойтись без поиска. Но с ростом базы это упирается в деньги и скорость: каждый запрос оплачивает весь объём. Поиск нужен ровно там, где «положить всё» перестаёт быть разумным.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →