Гайды

Как нарезать документы для RAG — пошагово, чтобы ответы не терялись в швах

Иллюстрация: длинный текст, разрезанный по швам между абзацами

Самый популярный эксперимент в RAG — крутить размер куска. 256, 512, 1024, построить график, выбрать победителя. Ты потратишь на это вечер и получишь плюс два процента.

А потом откроешь, что реально достаёт поиск, и увидишь такое: «Как описано выше, этот способ подходит для большинства случаев». Всё. Кусок формально релевантный, а пользы ноль — он забыл, о чём был документ.

Вот это и чинится. Не ручка размера, а потеря контекста на разрезе. Разберём по шагам.

1. Режь по структуре, а не по символам

Тупая нарезка каждые 1000 символов рвёт предложение пополам. Половина мысли уезжает в один кусок, половина в другой, и ни один не отвечает на вопрос целиком.

Рекурсивная нарезка делает иначе: сначала пытается резать по двойным переводам строк (абзацы), не влезло — по одиночным, потом по предложениям, и только в крайнем случае по символам.

from langchain_text_splitters import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=512,          # в токенах, если задан токенайзер
    chunk_overlap=64,        # ~12% перекрытия
    separators=["\n\n", "\n", ". ", " ", ""],
)
chunks = splitter.split_text(text)

Порядок разделителей в списке и есть вся логика: сверху — самый крупный шов, снизу — аварийный вариант.

Для Markdown бери сплиттер, который понимает заголовки: он не даст оторвать пункт списка от его раздела.

2. Возьми 512 токенов и убери руку с ручки

Скучный дефолт — правильный. В сравнениях стратегий обычная рекурсивная нарезка примерно по 512 токенов даёт около 69% точности поиска, а модное «семантическое дробление» — около 54%.

Почему умное проигрывает тупому: семантический чанкер режет там, где падает похожесть соседних предложений. На живом тексте это даёт россыпь огрызков в среднем по 43 токена. Огрызок не отвечает ни на что.

Перекрытие ставь 10–15% (при 512 это 50–75 токенов). Оно нужно ровно для одного: чтобы мысль, попавшая на шов, целиком существовала хотя бы в одном куске.

3. Добавь каждому куску контекст — это главный шаг

Кусок живёт отдельно от документа. Значит, всё, что было понятно «из окружения», нужно вписать внутрь. Прогони каждый фрагмент через дешёвую модель и попроси одну поясняющую фразу — её приклеиваешь к тексту перед тем, как считать эмбеддинг.

Слабый промптСделай краткое содержание этого фрагмента
Сильный промпт

Слабый вариант даёт пересказ — то есть ту же информацию, что уже есть. Сильный добавляет недостающее: «Фрагмент из отчёта за второй квартал 2026 года, раздел про возвраты в мобильном приложении».

Теперь тот самый безнадёжный кусок «как описано выше…» начинается со слов про возвраты — и находится по запросу про возвраты.

В исследовании Anthropic такая контекстуализация вместе с поиском по словам снижала долю неудачных выдач на 49%, а в связке с реранкером — на 67%.

Считать это надо один раз, при загрузке. Дешёвая модель плюс кеширование промпта делают шаг почти бесплатным для базы в тысячи фрагментов.

4. Не выбрасывай точные слова

Вектор отлично ловит смысл и плохо — редкие точные строки: артикул SKU-4417, название функции, номер приказа. Эмбеддинг размывает их в «что-то техническое».

Поэтому рабочая схема — гибрид: параллельно обычный поиск по словам (BM25) и векторный, потом списки склеиваются. В векторной базе вроде Postgres с pgvector это делается одним запросом с двумя условиями.

5. Проверь на своих вопросах, а не на ощущениях

Без замера все решения выше — вкусовщина.

  1. Собери 20–30 реальных вопросов пользователей.
  2. Для каждого руками отметь, какой фрагмент содержит ответ.
  3. Прогоняй поиск и считай одну цифру: в скольких процентах случаев правильный фрагмент попал в топ-5.
  4. Меняй одну вещь за раз — размер, контекстуализацию, гибрид — и смотри на цифру.

Что получится: таблица из четырёх строк, где видно, что контекст к куску дал +15 пунктов, а перебор размера с 512 на 768 — минус один. После этого ты перестаёшь спорить о нарезке и начинаешь её измерять.

Сколько токенов в куске — считать по словам или символам?

Считай токенами того же токенайзера, что у твоей модели эмбеддингов. Для русского это особенно важно: одно и то же число символов даёт заметно больше токенов, чем в английском, и «безопасные» 1000 символов легко перелетают лимит.

Нужно ли резать таблицы и код?

По-другому. Таблицу лучше не резать вовсе, а хранить целиком с заголовком; если не влезает — повторяй строку заголовков в каждом куске. Код режь по функциям, а не по строкам.

Помогает ли большое контекстное окно обойтись без нарезки?

Если вся база меньше контекстного окна — да, отдавай текст целиком, это проще и точнее. Нарезка нужна, когда документов больше, чем влезает, или когда платить за весь корпус на каждом запросе слишком дорого.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →