Скоро · предварительная инструкция
Лимиты и очередь запросов
Как ограничить параллельность и не превысить контекст.
Готовимся к запуску API
Каталог и цены уже доступны. Подключение и генерация готовятся. Инструкции с отметкой «Скоро» описывают подготовку: окончательные настройки будут подтверждены при запуске.
Как это устроено
Контекст — общий объём данных, который модель может учитывать в запросе. Лимит параллельных операций и ограничение длины ответа решают другие задачи: управление нагрузкой и расходом.
Порядок работы
- Ограничьте число одновременных генераций в приложении.
- Обрезайте нерелевантную историю перед отправкой.
- При перегрузке помещайте задачи в очередь с ограниченным временем ожидания.
Что учесть
Численные лимиты публичного API будут опубликованы при запуске. Не закладывайте в приложение неограниченные повторы или бесконечную очередь.