Чужой ответ в кеше
Немедленно остановите выдачу и добавьте область доступа в ключ.
Планируется
Кеширование ответов: правила для приложения
Как безопасно кешировать повторяющиеся ответы у себя и почему это не означает скидку на токены Токенмоста.
API Токенмоста работает
Базовый адрес — https://tokenmost.ru/v1. Создайте ключ в личном кабинете, выберите модель в каталоге и отправьте первый запрос. Методы, которые ещё не доступны, отмечены отдельно.
Как это устроено
Отдельный серверный prompt cache и тариф на кешированные токены Токенмост пока не публикует. Приложение может кешировать только подходящие собственные результаты, учитывая пользователя, модель, версию инструкции и срок актуальности.
Что потребуется
- Сценарий, где допустим повтор одного ответа без свежей генерации.
- Правило доступа к ответу по пользователю или проекту.
- Срок жизни и условие сброса при смене модели, промпта или данных.
Порядок работы
- Отделите статичные ответы от персональных и быстро меняющихся задач.
- Составьте ключ кеша из ID модели, версии инструкции, нормализованного запроса и области доступа.
- Установите короткий TTL и правило инвалидирования после обновления источника.
- При совпадении ключа возвращайте сохранённый ответ без нового API-вызова.
- При промахе отправьте обычный запрос, проверьте успешный результат и только затем сохраните допустимый ответ.
- Сравните число реальных API-вызовов и фактический расход до и после кеша.
Готовая конфигурация
Поля локального ключа кеша
{
"modelId": "MODEL_ID_FROM_CATALOG",
"promptVersion": 3,
"scope": "project-id",
"normalizedQuestion": "вопрос",
"ttlSeconds": 300
}Что учесть
Пример — структура ключа локального кеша, не параметр запроса к API. Серверное кеширование промпта и его тариф появятся в документации только после запуска.
Ожидаемый результат
Повтор допустимого запроса возвращается из кеша без второго API-вызова; в истории Токенмоста нет нового списания за кеш-хит.
Безопасность
Не смешивайте кеш разных пользователей и проектов. Ответы с персональными данными, ценами и свежими событиями требуют отдельного правила или полного отказа от кеша.
Тариф
Локальный кеш сокращает число ваших запросов. Он не активирует скидку на токены у поставщика; отдельный тариф prompt caching не подтверждён.
Ошибки и диагностика
Ответ устарел
Сократите TTL и инвалидируйте запись при обновлении источника.
Расход не снизился
Проверьте hit rate и действительно ли повторные запросы не отправляются в API.
Разный ответ при одинаковом вопросе
Учтите модель, promptVersion, историю и параметры генерации в ключе.
Нет отдельной цены cached tokens
Не обещайте её пользователям: тариф Токенмоста для серверного кеша пока не открыт.