РУКОВОДСТВО · ОБНОВЛЕНО 2026-10-12
Когда LLM должна сказать «недостаточно данных»: отказ и уточнение
Как настроить ответ по источникам, чтобы модель не угадывала и не отказывала в вопросах, на которые данные уже есть.
Для ответа по документам заранее задайте допустимые основания: какая информация должна присутствовать и что делать при её отсутствии. Фраза «не знаю» полезна, если система объясняет, какого факта не хватает, и предлагает следующий шаг. Различайте отсутствие данных, противоречие источников, отсутствие доступа и техническую ошибку поиска. Уверенный тон модели не заменяет доказательство, а произвольный порог её самооценки не гарантирует правильность.
1. Определите минимальные основания
Для каждого сценария перечислите необходимые факты. Например, ответ о сроке возврата должен опираться на применимый регламент, дату покупки и категорию товара. Если документация описывает только доставку, модель не должна переносить её сроки на возврат. Зафиксируйте разрешённые источники и границы вывода. Разрешение отвечать из общих знаний и требование отвечать только по базе — разные режимы, которые нельзя смешивать незаметно.
2. Разделите причины отсутствия ответа
Пустая выдача, запрещённый документ, таймаут поиска и конфликт двух редакций требуют разных сообщений. При пустой выдаче предложите уточнить название или период; при таймауте сообщите о временном сбое; при противоречии покажите расхождение и источник. Не называйте недоступность инструмента отсутствием факта в мире. Приложение должно передавать модели результат и статус поиска отдельно, чтобы та не достраивала причину самостоятельно.
3. Сформулируйте честное уточнение
В инструкции разрешите признать недостаток информации. Документация Anthropic рекомендует допускать неопределённость и опираться на проверяемые источники; это снижает риск выдумок, но не устраняет его полностью. Практический ответ: «В доступном регламенте нет срока для этой категории; уточните категорию товара». Не требуйте от пользователя повторно раскрывать чувствительные сведения, если вопрос можно сузить менее подробным описанием ситуации.
4. Проверьте достаточность найденного
Похожий фрагмент ещё не отвечает на вопрос. Отдельно проверьте, содержит ли он нужный факт, относится ли к нужной версии и доступен ли пользователю. Ссылки на документ не оправдывают вывод, которого в нём нет. Для ответа с несколькими утверждениями можно сохранить подтверждённую часть и явно обозначить неизвестную. Не превращайте частичный пробел в отказ от всей задачи, если полезный проверенный результат уже возможен.
5. Измеряйте оба вида ошибки
Составьте набор вопросов с полными данными, без нужного факта, с противоречием и со сбоем поиска. Человек отмечает ожидаемое действие: ответ, уточнение или отказ. Считайте неверные уверенные ответы отдельно от лишних отказов на разрешимых вопросах. После изменения промпта повторите те же случаи и проверьте новые формулировки пользователя. Хороший результат не определяется одним процентом отказов: чрезмерное молчание тоже делает продукт непригодным.
Частые вопросы
Можно ли использовать confidence, который пишет модель?
Как вспомогательный признак после проверки на размеченных примерах. Число в ответе не является автоматически откалиброванной вероятностью истины. Решение должно учитывать доступные доказательства и цену ошибки.
Нужно ли всегда отвечать только «не знаю»?
Нет. Назовите недостающий факт, покажите проверенную часть и предложите конкретное уточнение. Не добавляйте предположение так, будто оно уже подтверждено источником.
Отказ по безопасности и недостаток данных — одно и то же?
Нет. Первый связан с допустимостью действия, второй — с основаниями ответа. Разные причины полезно сохранять в статусах и объяснять пользователю понятным языком.
Как избежать постоянных отказов?
Добавьте разрешимые контрольные вопросы и проверьте качество поиска. Если нужный фрагмент не попадает в контекст, ужесточение инструкции не исправит извлечение данных и может увеличить число лишних отказов.