HTTP 429
Снизьте параллельность и учитывайте Retry-After.
Планируется
Пакетная обработка до запуска Batch API
Как обрабатывать много независимых задач через доступный API: очередь, индивидуальные ключи, лимиты, сверка результатов и расходов.
API Токенмоста работает
Базовый адрес — https://tokenmost.ru/v1. Создайте ключ в личном кабинете, выберите модель в каталоге и отправьте первый запрос. Методы, которые ещё не доступны, отмечены отдельно.
Как это устроено
Публичный Batch API Токенмоста пока не открыт. Рабочий путь сегодня — собственная ограниченная очередь отдельных Chat Completions запросов. Каждая запись имеет идентификатор, собственный Idempotency-Key и отдельный результат.
Что потребуется
- Набор независимых записей без дубликатов и персональных данных без необходимости.
- Ключ с бюджетом и RPM, рассчитанными на пилотную порцию.
- Хранилище идентификатора записи, тела запроса, ключа операции и статуса.
Порядок работы
- Разделите данные на небольшие независимые задания и присвойте каждому свой ID.
- Проверьте пять записей вручную на выбранной модели и оцените среднюю стоимость.
- Запускайте ограниченное число одновременных Chat Completions запросов с отдельным Idempotency-Key на запись.
- Сохраняйте HTTP-статус, ответ, usage и итоговое списание по каждому ID.
- При 429 делайте паузу по Retry-After; при неизвестном исходе сверяйте операцию и повторяйте тем же ключом.
- Повторно обрабатывайте только подтверждённо неуспешные записи и сверяйте общий расход.
Готовая конфигурация
Запись вашей очереди
{
"taskId": "row-0001",
"model": "MODEL_ID_FROM_CATALOG",
"idempotencyKey": "row-0001-attempt-1",
"status": "pending",
"maxTokens": 64
}Что учесть
Пакетный API планируется. Пока используйте ограниченную очередь на своей стороне и обычные тарифицируемые запросы; скидку или асинхронный результат Batch API не обещаем.
Ожидаемый результат
Каждая запись имеет один итоговый статус и сумму; повтор после сбоя не создаёт вторую операцию. Очередь показывает прогресс и ошибки по ID.
Цена
Обычные запросы тарифицируются по стандартному тарифу. Batch-скидка, загрузка файлов и SLA пакетного режима не опубликованы.
Граница функции
JSON описывает задание вашей очереди. Не отправляйте его в несуществующий /v1/batches; вызывайте открытый /v1/chat/completions по одному заданию.
Ошибки и диагностика
HTTP 402
Остановите очередь и проверьте бюджет и доступный баланс.
Таймаут записи
Сверьте статус операции и используйте тот же Idempotency-Key и тело.
Дубликат результата
Проверьте уникальность taskId и ключа операции при повторном запуске очереди.
Нет Batch API
Это запланированная возможность; не закладывайте /v1/batches в рабочий код.