Llama 3.3 70B Instruct API — RAG и цена токенов

Контекст: 131 072
Результат: Текст
Вход / выход: 20 ₽ / 60 ₽

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "meta-llama/llama-3.3-70b-instruct",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Официальная карточка Meta указывает 70 млрд параметров, текстовый вход и выход, контекст 128K и восемь поддерживаемых языков. Текущий API-маршрут Токенмоста принимает и возвращает текст и показывает 131 072 токена. Русский не входит в официальный перечень восьми языков, поэтому его качество нужно проверять отдельно.

Подготовьте многоязычный индекс

Разделяйте документы по смысловым блокам, сохраняя язык, версию, владельца и права доступа. Один термин связывайте с утверждёнными вариантами перевода. Устаревшая инструкция остаётся доступной для аудита, но не участвует в выдаче после даты замены.

Ответ только по найденным фрагментам

Передавайте вопрос и небольшой набор результатов поиска с ID разделов. Модель должна цитировать источник внутренним идентификатором, отмечать противоречия и отказываться от точного шага при отсутствии основания. Сервер проверяет, что процитированный фрагмент действительно был во входе.

Инструменты и права сотрудника

Поиск выполняется с фильтром по роли и подразделению до обращения к модели. Генератор не получает документы, закрытые для пользователя, и не может расширить права через текст запроса. Создание заявки или изменение записи выполняет отдельный инструмент с валидацией.

Проверка языков и отказов

Соберите одинаковые вопросы на используемых языках, включая терминологические различия и неоднозначные сокращения. Оцените правильность источника, полноту шага и корректный отказ. Для русского проведите собственную расширенную проверку, поскольку официальный список поддержки его не заявляет.

Токены и стоимость RAG-ответа

Считайте вопрос, найденные фрагменты, системные правила и ответ. Увеличение числа документов может ухудшить точность и повысить цену, поэтому настройте retrieval до расширения контекста. Полезная метрика — стоимость ответа, подтверждённого источником и принятого сотрудником.

Вопросы и ответы

Llama 3.3 70B Instruct принимает изображения?

Нет, текущий маршрут этой модели текстовый.

Какой контекст у API?

Токенмост указывает 131 072 токена, что соответствует классу 128K.

Поддерживается ли русский язык официально?

Русский не входит в восемь языков официальной карточки, поэтому нужна собственная проверка.

Как предотвратить выдуманные ссылки?

Проверяйте, что каждый указанный ID источника присутствовал среди переданных фрагментов.

Как считать цену RAG?

Учитывайте запрос, retrieval-контекст, ответ и повторы до подтверждённого результата.