Планируется

Маршрутизация задач между моделями в своём приложении

Как назначить точные ID моделей для разных задач, оценить качество и стоимость и не рассчитывать на несуществующий auto-route.

API Токенмоста работает

Базовый адрес — https://tokenmost.ru/v1. Создайте ключ в личном кабинете, выберите модель в каталоге и отправьте первый запрос. Методы, которые ещё не доступны, отмечены отдельно.

Как это устроено

Публичный API сейчас выполняет запрос к точному model, указанному приложением. Автоматический выбор модели по цене или качеству на стороне Токенмоста пока не открыт. Рабочий путь — классифицировать задачу у себя и подставлять утверждённый ID.

Что потребуется

  • Перечень типов задач: короткий ответ, анализ, код, изображение и другие реальные сценарии.
  • Подтверждённые ID, тарифы и возможности моделей для каждого типа.
  • Контрольные примеры и предел расходов для маршрута.

Порядок работы

  1. Разделите задачи по необходимым возможностям: текст, tools, контекст, изображение.
  2. Для каждого класса выберите модель с опубликованной ценой и нужным API-методом.
  3. Сравните кандидатов на одинаковом наборе запросов по качеству, задержке и расходу.
  4. Зафиксируйте таблицу соответствия классов и точных model ID в конфигурации приложения.
  5. Перед запросом проверяйте класс и выбирайте ID; не передавайте произвольный ID из пользовательского ввода.
  6. Журналируйте выбранный маршрут, версию конфигурации и фактическое списание.

Готовая конфигурация

Таблица маршрутов вашего приложения

{
  "routeVersion": 1,
  "tasks": {
    "shortText": "TEXT_MODEL_ID",
    "coding": "CODING_MODEL_ID",
    "image": "IMAGE_MODEL_ID"
  }
}

Что учесть

Автоматический серверный роутинг планируется. Пока точный model выбирает приложение; пример конфигурации не является телом запроса к Токенмосту.

Ожидаемый результат

Каждый запрос содержит конкретный model, а в журнале можно объяснить, почему была выбрана именно эта модель и сколько стоила операция.

Стоимость

Цена зависит от опубликованного тарифа фактически выбранной модели и единицы расчёта. Сравнивайте вход и выход отдельно; большие системные инструкции и история увеличивают расход.

Граница API

Объект routeVersion/tasks предназначен для вашего приложения. В публичном API Токенмоста нет полей auto_route и quality_tier.

Ошибки и диагностика

Модель не найдена

Проверьте точный ID из каталога и опубликованный тариф.

Нужный метод недоступен

Выберите модель с поддержкой именно этого метода; карточка каталога сама по себе не открывает маршрут.

Стоимость выросла

Сравните выбранный маршрут, длину входа и фактические usage/списание.

HTTP 429

Ограничьте параллельность по ключу и учитывайте Retry-After.

Качество снизилось

Откатите версию таблицы и повторите контрольные примеры.

Источники и связанные инструкции

Читайте дальше

← Все инструкции