gpt-oss-120b API — локальный агент и токены

Контекст: 131 072токенов
Результат: Текстформат ответа
Вход / выход: 30 ₽ / 110 ₽за 1 млн токенов

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "openai/gpt-oss-120b",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

OpenAI описывает gpt-oss-120b как модель со 117 млрд параметров и 5,1 млрд активных параметров, рассчитанную на одну H100, с Apache 2.0, function calling и structured outputs. Контекст — 131 072 токена. Маршрут Tokenmost является доступом к модели и не означает передачу пользователю весов или выделенной H100.

Разделите API и самостоятельный хостинг

Через API вы оплачиваете обработку запросов по условиям маршрута. При локальном запуске нужны веса, совместимое железо, inference-сервер, мониторинг и обновления. Эти варианты сравнивают по совокупной стоимости, требованиям к данным и реальной загрузке, а не только по цене токенов.

Ограничьте инструменты агента

Поиск документов работает только в разрешённых коллекциях, а запись и отправка данных отключены по умолчанию. Каждый вызов валидируется сервером и попадает в журнал. Модель предлагает действие, но не получает системные права или секреты через текстовую инструкцию.

Настройте поиск по внутренним материалам

Документы получают владельца, дату и уровень доступа. Сначала retrieval выбирает релевантные фрагменты, затем модель отвечает с координатами источника. Устаревшие политики и конфликтующие версии показываются явно, чтобы широкий контекст не создавал ложного единого правила.

Проведите оценку перед запуском

Набор включает обычные вопросы, отсутствие ответа, попытку получить закрытый файл и вредную инструкцию внутри документа. Проверяйте факты, корректность отказа, tool calls и утечки. Open-weight статус не превращает модель в готовую защищённую систему.

Токены и полная стоимость владения

Для API учитывайте вход, reasoning, выход и повторные циклы. Для своего сервера добавьте GPU, энергию, резервирование и работу команды. Сравнение строится на цене принятого ответа при целевой нагрузке; простаивающая мощность и пиковая очередь меняют экономику.

Вопросы и ответы

Что принимает gpt-oss-120b?

Этот маршрут принимает текст и возвращает текст.

Какой контекст у модели?

OpenAI и каталог указывают 131 072 токена.

Это open source?

OpenAI называет модель open-weight и распространяет веса по Apache 2.0; термин не описывает весь стек приложения.

Получаю ли я H100 через API?

Нет, карточка OpenAI описывает ориентир самостоятельного запуска, а Tokenmost предоставляет маршрут.

Как сравнить API и свой сервер?

Считайте полную стоимость принятого ответа при своей нагрузке и требованиях к данным.