РУКОВОДСТВО · ОБНОВЛЕНО 2026-10-04
Чанкинг документов для RAG: границы, размер и проверка
Разбиение определяет, какой текст найдёт поиск и увидит генератор. Разберём подготовку документов, сохранение оговорок и проверку нескольких вариантов.
Разбивайте документы по смысловым границам и проверяйте результат на вопросах к источникам. Ограничивайте длину по токенам выбранной модели, сохраняйте заголовки и происхождение. Размер чанка и перекрытие подбирайте экспериментом: одного числа для PDF, таблиц и инструкций нет.
1. Проверьте извлечение документа
Откройте извлечённый текст рядом с оригиналом. Посмотрите порядок колонок, заголовки, списки, подписи и распознавание сканов. Удалите повторяющиеся колонтитулы, сохранив смысловые примечания. Если PDF-парсер смешал строки таблицы, уменьшение чанка не восстановит связь между ценой и названием. Для проблемных страниц заведите явный статус ошибки и не включайте их в индекс как достоверный текст. Проверка входа особенно важна для договоров и регламентов: потерянное отрицание меняет смысл ответа независимо от выбранной модели эмбеддингов.
2. Определите единицу смысла
Начните с разделов, абзацев и завершённых пунктов. При необходимости добавьте к фрагменту заголовок родительского раздела, чтобы слова «этот срок» имели понятный предмет. Длинные разделы делите дальше, соблюдая входной предел эмбеддера. Таблицу рассматривайте как связку заголовков и строк, а не произвольную последовательность символов. В собственной схеме храните document_id, редакцию, раздел и место в исходнике. Пользователь должен получить ссылку на тот текст, из которого взят вывод, а не только название большого файла.
3. Подберите размер и перекрытие
Сравните несколько вариантов на одном наборе вопросов, не меняя одновременно модель поиска. Маленький фрагмент легче теряет условия, большой может объединять разные темы. Перекрытие сохраняет соседние предложения, но увеличивает индекс и число повторов в выдаче. Запишите длину именно в токенах нужного токенизатора; количество символов даёт только приближение. Проверьте фактический текст возле каждой границы на сложных примерах. Выбранные значения являются настройками вашей базы, а не универсальным рецептом, который можно без проверки перенести на другие документы.
4. Проверьте выдачу и сборку контекста
Для вопроса о сроке возврата убедитесь, что найден не только срок, но и исключение к нему. Для таблицы проверьте сохранность названия столбца и единицы измерения. Разберите случаи, где несколько соседних чанков одного документа вытеснили остальные источники. При сборке контекста удаляйте повторы и оставляйте происхождение каждого фрагмента. Если добавляете соседний текст после поиска, повторно проверяйте его права доступа и общий объём. Сначала оцените наличие нужного основания, затем правильность ответа генератора: это две отдельные проверки.
5. Версионируйте обработку и переиндексацию
Сохраните настройки парсера, правила границ, перекрытие и версию модели вместе с индексом. При изменении разбиения пересчитайте затронутые документы и проверьте, что старые фрагменты удалены или явно исключены. Обновление регламента не должно оставлять в выдаче отменённый пункт без отметки редакции. Подготовьте воспроизводимый набор вопросов и отчёт об ошибках до переключения чтения. В Tokenmost можно изучить руководства по RAG и документам, но наличие таких материалов не означает доступность управляемого векторного хранилища или embeddings endpoint.
Частые вопросы
Какой размер чанка выбрать?
Начните с законченных смысловых фрагментов в пределах входа модели. Сравните варианты на своих вопросах; фиксированное число без проверки документа не является обоснованным выбором.
Нужно ли всегда перекрытие?
Нет. Оно полезно для связности возле границ, но добавляет повторы. Проверьте случаи с потерянной оговоркой и дублирующейся выдачей.
Как разбивать таблицы?
Сохраняйте названия колонок и связь значений со строками. После извлечения проверьте примеры вручную; механическое деление по длине может разрушить эту связь.
Нужно ли пересчитывать индекс после изменения чанков?
Да для затронутого разбиения: прежние векторы описывают прежние фрагменты. Сохраните версии и исключите устаревшие элементы из поиска.