РУКОВОДСТВО · ОБНОВЛЕНО 2026-09-15
Как тестировать AI-модели: benchmark, evals и реальные задачи
Публичный benchmark помогает выбрать кандидатов, а решение для продукта принимает воспроизводимая оценка на реальном распределении задач.
Соберите версионируемый набор обычных, сложных и отрицательных примеров, заранее задайте pass/fail и прогоните модели с одинаковыми условиями. Сравните task success, критические ошибки, p95, токены и цену принятого результата; повторяйте eval после любого изменения маршрута.
1. Опишите единицу успеха
Для JSON это schema и правильные значения, для кода — тесты и ревью, для поддержки — решённое обращение без нарушения политики. Общая оценка «нравится» плохо воспроизводится. Укажите вес ошибки и допустимый порог. Если несколько задач имеют разные критерии, создайте отдельные наборы, а не скрывайте всё одним средним.
2. Соберите репрезентативный набор
Берите обезличенные production-примеры, добавляйте границы, шум, отсутствие ответа и намеренно сложные случаи. Уберите дубликаты и утечки из обучающего набора. Часть оставьте закрытой для финальной проверки. Фиксируйте источник и ожидаемый результат. Небольшой качественный golden set полезнее тысячи автоматически придуманных однотипных prompts.
3. Обеспечьте одинаковый прогон
Зафиксируйте system prompt, tools, schema, temperature, лимиты, число попыток и порядок контекста. Сохраняйте точный model id, дату, usage, latency и сырые ошибки. Если возможности моделей различаются, это отражают в дизайне теста. Кэш и параллельная нагрузка не должны случайно дать одному кандидату преимущество.
4. Соедините автоматическую и ручную оценку
Точный match, JSON validator и тесты дают объективный сигнал. Стиль и полезность требуют rubric и слепой разметки несколькими людьми. LLM-as-judge ускоряет сортировку, но проверяется на человеческой подвыборке и не получает имя кандидата. Несогласия анализируют, а не усредняют без причины.
5. Примите решение и следите за регрессией
Сначала исключите варианты ниже минимального качества, затем сравните p95 и стоимость. Документируйте компромисс и сохраняйте отчёт. Online canary подтверждает результат на малой безопасной доле трафика. Drift, изменение цены, prompt, tool или модели запускают повторный eval; старый лидер не получает бессрочный статус.
Частые вопросы
Достаточно публичного benchmark?
Нет, он не отражает ваши данные, tools и цену ошибок.
Сколько примеров нужно?
Начните с десятков качественных случаев и расширяйте по найденным ошибкам.
Что такое golden set?
Версионируемый набор входов с заранее проверенными ожидаемыми результатами.
Можно оценивать модель другой моделью?
Да, после калибровки на человеческой разметке и контроля bias.
Когда повторять тест?
После изменения любой части маршрута и по регулярному графику.