РУКОВОДСТВО · ОБНОВЛЕНО 2026-10-06
Классификация текста через LLM: категории, неизвестный класс и приёмка
Модель должна выбрать допустимую метку, а приложение — проверить, достаточно ли её для действия. Разберём границы классов и оценку на реальных обращениях.
Определите категории с правилами включения и исключения, предусмотрите неизвестный класс и проверьте ответ по схеме. Оцените ошибки отдельно по каждому классу и пограничным обращениям. Число confidence, сгенерированное моделью, нельзя без проверки считать вероятностью правильной маршрутизации.
1. Опишите границы категорий
Начните с реальных обращений и решений операторов. Для каждой метки запишите определение, примеры и похожие случаи, которые относятся к другому классу. Разделите тему, срочность и настроение: это разные признаки, их не стоит смешивать в одной неясной метке. Если вопрос содержит несколько тем, заранее выберите одно правило — основная категория или несколько меток. Согласуйте правила с теми, кто будет обрабатывать результат. Модель не устранит противоречие в справочнике, где одинаковое обращение разные специалисты размечают по-разному без объяснения причины.
2. Предусмотрите неизвестное и спорное
Добавьте путь для текста, который не относится ни к одному классу, содержит мало информации или противоречивые признаки. Например, короткое «не работает» не всегда позволяет определить продукт и отдел. Не заставляйте систему угадывать допустимую метку ради заполненного поля. При необходимости возвращайте статус уточнения и короткое основание из обращения. Укажите, как обрабатываются пустой текст, нерелевантная реклама и попытка дать модели инструкцию вместо описания проблемы. Содержимое обращения является данными классификации, а не разрешением изменить правила или список категорий.
3. Проверьте контракт результата
Зафиксируйте допустимые значения, идентификатор обращения и необходимые поля. Structured output помогает проверить форму; бизнес-валидатор сверяет категорию со справочником и правилами действия. Отказ модели, неполный ответ и ошибка API должны иметь отдельные состояния, а не превращаться в случайный класс по умолчанию. Если возвращается пояснение, требуйте связь с исходным текстом и не используйте его как доказательство правильности. Числовая уверенность требует отдельной калибровки на размеченных примерах. Без такой проверки не показывайте её как объективный процент вероятности и не принимайте по ней важные решения автоматически.
4. Оцените ошибки по классам
Соберите контрольный набор с типовыми, редкими и пограничными случаями. Отделите его от примеров в промпте. Смотрите, какие категории путаются, какие обращения пропускаются и как часто система уходит на уточнение. Общая доля правильных ответов может скрывать провал редкого, но важного класса. Для критичных тем задайте отдельное условие приёмки до теста. Сравните LLM с простыми правилами на тех же данных, чтобы понимать необходимость компонента. Результаты другого продукта и несколько удачных примеров не подтверждают качество на ваших письмах или звонках.
5. Разделите метку и исполнение
Сначала сохраняйте предложение категории для просмотра оператором. Автоматическую маршрутизацию допускайте после приёмки и с журналом исправлений. Изменения доступа, оплаты или статуса договора не должны происходить только из-за текста метки. При обновлении справочника сохраняйте версию правил и повторяйте контрольные задачи. В Tokenmost проверьте поддержку JSON-схемы конкретной моделью и методом; статья не обещает готовый сервис классификации. Без платных вызовов можно утвердить категории, разметить примеры и проверить обработчик на fixtures. Реальное качество модели требует отдельного ограниченного прогона.
Частые вопросы
Нужен ли неизвестный класс?
Нужен предусмотренный путь для недостаточных или посторонних данных. Это может быть метка unknown или статус уточнения, но система не должна угадывать без основания.
Почему точный JSON содержит неверную категорию?
Схема проверяет формат и допустимые значения. Выбор метки проверяется на размеченных примерах отдельно.
Можно ли доверять confidence из ответа?
Не как вероятности без калибровки. Сначала проверьте связь значения с ошибками на контрольных данных и определите допустимое использование.
Можно ли оценивать только общей точностью?
Добавьте проверку каждого класса и критичных ошибок. Частые простые категории могут скрывать плохое распознавание редких важных обращений.