Запасные модели: безопасное переключение в своём приложении

Как это устроено

Токенмост пока не предоставляет автоматический маршрут запасных моделей. Приложение может выбрать другой точный model для новой операции, но только после выяснения исхода первой: таймаут не доказывает, что поставщик не выполнил запрос.

Что потребуется

• Два точных ID текстовых моделей с доступным нужным методом и опубликованными тарифами.
• Проверка контекста, tools и формата ответа для обеих моделей.
• Журнал операций с Idempotency-Key, бюджетом и статусом расчёта.

Порядок работы

1. Выберите основную и резервную модели по одному типу задачи, а не только по названию.
2. Прогоните одинаковые контрольные запросы и сравните формат, качество, контекст и стоимость.
3. Отправляйте запрос к основной модели с сохранённым Idempotency-Key.
4. При неопределённом сетевом исходе сначала проверьте историю операции или повторите то же тело с тем же ключом.
5. Если первая операция точно не выполнена и ошибка допускает переключение, создайте новую операцию с резервной моделью.
6. Запишите фактический ID модели, причину переключения и итоговый расход.

Готовая конфигурация

{
  "primary": "PRIMARY_MODEL_ID",
  "backup": "BACKUP_MODEL_ID",
  "switchOnlyAfterConfirmedFailure": true,
  "neverSwitchOn": [
    400,
    401,
    402
  ],
  "maxBackupAttempts": 1
}

Что учесть

Публичный fallback-маршрут планируется. До его появления логика выбора и проверки исхода остаётся в вашем приложении; не пытайтесь передавать JSON-политику выше как тело Chat Completions.

Ошибки и диагностика

Источники и связанные инструкции

• Выбор модели
• Идемпотентность
• Ошибки API
• Баланс и стоимость

Читайте дальше

• Как выбрать модель и правильно указать её ID
• Версии моделей: безопасное обновление в приложении
• Маршрутизация задач между моделями в своём приложении
• Модели и цены Токенмоста