Llama 3.2 1B Instruct API — маршрутизация и токены

Контекст: 60 000токенов
Результат: Текстформат ответа
Вход / выход: 10 ₽ / 40 ₽за 1 млн токенов

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "meta-llama/llama-3.2-1b-instruct",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Meta относит Llama 3.2 1B и 3B к лёгким моделям, пригодным для мобильных и edge-сценариев, и публикует их по Llama Community License. Текущий облачный маршрут 1B Instruct в Токенмосте принимает и возвращает текст и указывает контекст 60 000 токенов. Возможность локального запуска весов не описывает задержку или приватность API-маршрута.

Ограничьте задачу коротким списком интентов

Задайте категории вроде статуса заказа, возврата, технической ошибки, изменения профиля и обращения к оператору. Для каждой категории укажите обязательные признаки и допустимые последующие действия. Неизвестные и смешанные запросы должны уходить в общий маршрут, а не принудительно попадать в ближайший класс.

Возвращайте минимальный контракт

Ответ содержит имя интента, извлечённые безопасные поля, признак уверенности процесса и причину эскалации. Идентификатор заказа проверяется регулярным правилом, а персональные данные не восстанавливаются из контекста. Свободный текст модели не используется как команда: приложение принимает только значения из allowlist.

Разделите API и edge-развёртывание

Для облачного маршрута оценивайте цену токенов, сетевую задержку и условия обработки данных. Для собственных весов учитывайте память устройства, квантование, энергопотребление, обновления и лицензию. Одинаковое имя семейства не гарантирует идентичный шаблон чата или результат между провайдерами.

Проверяйте на коротких сложных фразах

Набор должен включать опечатки, отрицания, два намерения, разговорные сокращения и просьбы, замаскированные под статус заказа. Измеряйте полноту эскалации и цену ошибочного маршрута. Для денежных и юридически значимых запросов полезнее лишняя передача специалисту, чем уверенная автоматизация компактной моделью.

Токены и стоимость маршрутизации

Контекст в 60 000 токенов значительно больше обычной короткой заявки, поэтому не загружайте всю переписку по умолчанию. Передавайте последние релевантные сообщения и проверенные поля. Сравнивайте стоимость на тысячу корректно направленных обращений, включая эскалации и повторы, по динамическим ставкам карточки.

Вопросы и ответы

Сколько параметров у этой версии?

Название и материалы Meta указывают класс 1B; конкретный облачный runtime определяет провайдер.

Какой контекст у маршрута?

Текущая карточка Токенмоста показывает 60 000 токенов.

Модель принимает изображения?

Нет, этот маршрут принимает и возвращает текст.

Можно ли запускать Llama 3.2 1B локально?

Meta публикует веса по своей лицензии, но локальный запуск требует отдельной инфраструктуры.

Как оценить цену API?

Считайте токены всех классификаций, повторов и эскалаций на тысячу обращений.