Claude Fable 5 Batch API — оценка AI-агентов и токены

Контекст: 1 000 000токенов
Результат: Текстформат ответа
Вход / выход: 910 ₽ / 4 540 ₽за 1 млн токенов

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "anthropic/claude-fable-5:batch",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Маршрут anthropic/claude-fable-5:batch заявляет контекст 1 000 000 токенов на запрос, максимальный текстовый ответ 128 000 токенов, текст, изображения и файлы на входе, tools, structured outputs и обязательный reasoning. Доступны уровни effort low, medium, high, xhigh и max; значение по умолчанию — high.

Для чего нужна пакетная оценка агента

Один удачный запуск не показывает устойчивость системы. Batch позволяет одинаково разобрать сотни уже завершённых трасс и найти повторяющиеся классы ошибок. Это офлайн-проверка: она помогает улучшить промпт, инструменты и правила остановки, но не вмешивается в текущий запуск агента и не исправляет его действия задним числом.

Сценарий: рубрика качества агентных прогонов

Передайте исходную задачу, разрешённые инструменты, журнал действий, ответы инструментов и ожидаемый критерий завершения. Результат должен содержать класс ошибки, первый подтверждающий шаг и предлагаемое изменение системы. Если журнал оборван или скрывает результат инструмента, оценка должна отметить недостаток данных, а не восстанавливать событие по догадке.

Проверяйте сохранение ограничений отдельно от качества финального текста: хороший отчёт может скрывать запрещённое действие в середине процесса.
Выделяйте повтор бесполезного инструмента, продолжение после терминальной ошибки и остановку до получения обязательного доказательства.
Удаляйте из трасс ключи, токены доступа и персональные данные; для анализа обычно достаточно типа операции и безопасного результата.

Версия рубрики и идентификатор прогона

Каждое задание связывайте с неизменяемым run ID, версией агента и редакцией рубрики. При изменении правила создавайте новую серию, иначе рост качества может оказаться следствием более мягкой оценки. Результаты асинхронной обработки сопоставляйте по ID, поскольку порядок выдачи не обязан совпадать с порядком отправки.

Калибровка перед большой партией

Сначала разберите небольшую выборку двумя людьми и согласуйте пограничные случаи. Затем сравните вывод модели с эталоном: долю совпадений по классу ошибки, ложные замечания и случаи без доказательства. Если рубрика допускает несколько разумных трактовок, исправьте формулировку до запуска большого архива, а не после получения удобного процента.

Batch API, статусы и повторные задания

Прямой Message Batches API Anthropic обрабатывает элементы независимо, использует custom_id и может возвращать успешные, ошибочные, отменённые или истёкшие результаты. Конкретный транспорт Токенмоста подтвердите до интеграции: endpoint, статусы, получение файла, отмену и повтор. Повторяйте только нужные run ID и храните номер попытки.

Цена токенов одной полезной оценки

Длинная трасса включает системные правила, схемы инструментов, их ответы, reasoning и итоговую классификацию. Измеряйте usage по типам прогонов, а стоимость делите на число оценок, подтверждённых контрольной выборкой. Используйте ставки этой Batch-карточки; условия прямого Anthropic API и обычной Fable 5 не заменяют розничный тариф маршрута.

Вопросы и ответы

Что передавать для оценки AI-агента?

Нужны исходная задача, ограничения, журнал действий, ответы инструментов и критерий завершения. Секреты и лишние персональные данные следует удалить заранее.

Можно ли оценить агент только по финальному ответу?

Финальный текст не показывает, нарушал ли агент ограничения и как обрабатывал ошибки. Для оценки процесса нужна трасса существенных шагов.

Зачем хранить версию рубрики?

Чтобы сравнивать серии по одинаковым правилам. Без версии изменение критерия легко принять за улучшение самого агента.

Должна ли модель выставлять один общий балл?

Полезнее сохранять отдельные признаки и доказательства. Итоговый балл можно вычислить после проверки, не теряя причин результата.

Гарантируется ли порядок результатов Batch?

Нет. В прямом Batches API Anthropic результаты сопоставляются через custom_id. Для маршрута Токенмоста также используйте устойчивый run ID.

Как посчитать стоимость токенов Fable 5 Batch?

Сложите фактический вход и выход всех попыток по ставкам карточки. Для сравнения делите расход на число оценок, прошедших контроль качества.