Доступно

Лимиты контекста, ответа, RPM и бюджета

Какие ограничения действуют на модель, API-ключ и аккаунт, как отличать 400, 402, 413 и 429 и безопасно увеличивать лимиты.

API Токенмоста работает

Базовый адрес — https://tokenmost.ru/v1. Создайте ключ в личном кабинете, выберите модель в каталоге и отправьте первый запрос. Методы, которые ещё не доступны, отмечены отдельно.

Как это устроено

Один запрос одновременно ограничен возможностями модели, валидацией endpoint, доступным балансом, бюджетом и RPM ключа. Прохождение одного ограничения не отменяет остальные.

Что потребуется

  • Контекст и максимальный ответ выбранной модели из её карточки.
  • Текущий доступный баланс, бюджет ключа и установленный RPM.
  • Метрики размера входа, частоты запросов и ошибок клиента.

Порядок работы

  1. Оцените размер системной инструкции, истории и пользовательского ввода.
  2. Установите максимальный ответ по реальной задаче.
  3. Задайте бюджет и RPM отдельного ключа с небольшим рабочим запасом.
  4. Обрабатывайте 400/402/413/429 раздельно и не повторяйте их одинаковой политикой.
  5. Увеличивайте ограничение после наблюдения, а не заранее до максимума.

Готовая конфигурация

Короткий запрос с ограниченным ответом

curl "https://tokenmost.ru/v1/chat/completions" \
  -H "Authorization: Bearer $TOKENMOST_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: limits-example-0001" \
  -d '{
    "model": "MODEL_ID_FROM_CATALOG",
    "messages": [{"role": "user", "content": "Ответь одним предложением."}],
    "max_tokens": 128
  }'

Что учесть

Лимит модели, лимит ключа и доступный баланс — разные проверки. Диагностируйте конкретный HTTP-статус и поле ошибки.

Контекст и ответ

История, инструкции, tool definitions и вход пользователя занимают контекст. Максимальный ответ ограничивается отдельно; большой контекст не гарантирует такой же объём генерации.

RPM ключа

429 означает превышение частоты конкретного ключа или другого опубликованного rate limit. Соблюдайте Retry-After и не создавайте параллельный шторм повторов.

Бюджет и баланс

Бюджет ключа ограничивает его суммарный расход, баланс — весь аккаунт, а активные резервы уменьшают доступный остаток до завершения операций.

Ошибки и диагностика

HTTP 400

Проверьте диапазон параметра и максимальный ответ модели.

HTTP 402

Проверьте баланс, активные резервы и оставшийся бюджет ключа.

HTTP 413

Сократите вход, историю или размер файла; не повторяйте тот же oversized request.

HTTP 429

Уважайте Retry-After, уменьшите параллелизм и проверьте RPM ключа.

Длинный запрос зависает

Задайте клиентский таймаут и отмену, но не меняйте Idempotency-Key при неопределённом результате.

Источники и связанные инструкции

Читайте дальше

← Все инструкции