Почему RAG отвечает неправильно — 3 причины и как проверить каждую

Ты собрал бота по своим документам. Ответ в базе точно есть — ты сам его туда положил. А бот отвечает мимо или говорит «не нашёл». Первое желание — переписать промпт или взять модель поумнее. Почти всегда это мимо кассы: в большинстве случаев до модели просто не доехал нужный кусок текста. Модель честно отвечает по тому, что ей дали. Дали не то.
Хорошая новость: виноватый этап находится за две минуты.
Сначала — одна проверка, которая экономит часы
RAG — это две отдельные операции: сначала поиск нужных фрагментов, потом генерация ответа по ним. Ломается почти всегда первая, а чинят почему-то вторую.
Перед тем как что-то менять, выведи в лог фрагменты, которые нашлись — ровно тот текст, который уходит в модель:
chunks = retriever.search(question, k=5)
for c in chunks:
print("---", c.score, c.text[:200])
Дальше смотри своими глазами:
- Нужного фрагмента среди них нет → сломан поиск. Причины 1 и 2.
- Фрагмент есть, а ответ всё равно неправильный → сломана генерация. Причина 3.
Всё. Половина вопросов «почему мой RAG тупит» закрывается этой распечаткой.
Причина 1 — поиск не находит нужный фрагмент
Самая частая. Ты спрашиваешь «сколько стоит доставка в Казань», а в документе написано «тариф на перевозку по РФ». Слова разные — но и по смыслу вектор попал не туда.
Как проверить. Возьми точную фразу из нужного документа и задай её как вопрос. Нашёлся — поиск в порядке, беда с формулировками. Не нашёлся даже так — проблема глубже: скорее всего, фрагмент не попал в индекс.
Как починить:
- Добавь поиск по ключевым словам рядом с векторным. Это главный рычаг. Артикулы, коды ошибок, номера договоров и редкие названия чистый векторный поиск берёт плохо — почему так, разобрано в сравнении эмбеддингов и поиска по ключевым словам. Гибрид закрывает эту дыру.
- Подними
k. Если ты отдаёшь модели 3 фрагмента, попробуй 10. Дёшево и часто сразу помогает. - Проверь, что индекс актуален. Документ обновили, а эмбеддинги не пересчитали — бот отвечает по старой версии и выглядит врущим.
Причина 2 — фрагмент разрезан не в том месте
Нарезка на куски (чанкинг) — тихий убийца качества. Если резать текст механически, каждые 500 символов, разрез приходится куда попало.
Типичная авария: заголовок «Условия возврата» остался в конце одного фрагмента, а сами условия — в начале следующего. Поиск по слову «возврат» находит первый кусок, в котором ничего нет, кроме заголовка.
Как проверить. Открой 5–10 фрагментов из индекса и прочитай их как отдельные тексты. Понятно, о чём каждый, без соседей? Если фрагмент начинается с «...в этом случае применяется ставка 15%» — вот и ответ.
Как починить:
- Режь по смысловым границам — по заголовкам, абзацам, разделам. Не по числу символов.
- Сделай нахлёст (overlap) в 10–15% — тогда мысль на стыке попадёт в оба фрагмента.
- Дописывай заголовок раздела в начало каждого фрагмента. Приём дешёвый и очень эффективный: кусок перестаёт быть безымянным и находится по теме раздела.
- Не режь таблицы и списки посередине. Половина таблицы бесполезна и модели, и поиску.
Причина 3 — модель проигнорировала то, что ей дали
Реже, но бывает: нужный фрагмент в контексте есть, а ответ всё равно неверный.
Как проверить. Попроси модель указать, на основании какого фрагмента она отвечает. Если она ссылается не на тот кусок или ни на какой — проблема здесь.
Три типичные поломки:
- Модель ответила из своих знаний, а не из документов. У неё есть общее представление о теме, и оно перебило твой текст. Лечится жёсткой инструкцией: «Отвечай только на основе приведённых фрагментов. Если ответа в них нет — скажи, что не нашёл». Без этой фразы модель будет вежливо додумывать — то есть галлюцинировать.
- Фрагментов слишком много. Свалил 30 кусков — нужный утонул в середине. Модели заметно лучше видят начало и конец контекста, чем его середину. Лучше 5 точных, чем 30 «на всякий случай».
- Фрагменты противоречат друг другу. Старая и новая редакция документа лежат в базе одновременно, и модель выбирает наугад. Чисти дубликаты и храни дату документа.
Что делать, если ничего не помогло?
Собери 20 вопросов с заранее известными правильными ответами и прогоняй их после каждого изменения. Без такого мини-набора тестов ты будешь чинить наугад и ломать одно, починив другое.
Поможет ли модель побольше?
Обычно нет. Если нужный фрагмент не нашёлся, самая мощная модель ответит так же мимо — просто более уверенным тоном. Сначала чини поиск.
Как понять, что дело в чанкинге, а не в поиске?
Задай вопрос точными словами из документа. Если нужный фрагмент находится, но ответ в нём обрывается на середине — виноват чанкинг.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





