Ternary Bonsai 2 9B — vision-модель PrismML с тернарными весами

Контекст: 262 144токенов
Результат: Текстформат ответа
Стоимость: Тариф уточняетсяусловия — в блоке подключения

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "prism-ml/ternary-bonsai-2-9b",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Маршрут OpenRouter: контекст 262 144 токена, максимальный ответ 65 536 токенов; текст и изображения на входе, текст на выходе.

README разработчика: около 8,95 млрд параметров языковой модели и 0,46 млрд параметров vision-блока; лицензия Apache 2.0.

В снимке маршрута перечислены tools, tool_choice и structured_outputs. Reasoning включён по умолчанию, но не помечен обязательным; уровни effort не указаны.

Компактные веса и реальная память

Для GGUF разработчик перечисляет несколько упаковок: PTQ1_0 занимает около 2,00 ГБ, PQ2_0 — 2,42 ГБ, Q2_0 — 2,56 ГБ. Это файлы языковой части. Для изображений нужен отдельный vision-проектор, а во время работы добавляются память контекста, буферы и расходы движка. Не обещайте запуск всего приложения в двух гигабайтах. Выбирайте формат по совместимости среды и проверяйте потребление на нужной длине входа, а не только после загрузки весов.

Анализ изображений с проверяемым выводом

Модель можно рассмотреть для описания фотографии, чтения видимого текста или сопоставления изображения с записью каталога. Передавайте понятный вопрос и достаточно чёткий исходник. Попросите отделять наблюдение от предположения, особенно для мелких подписей и неоднозначных объектов. Сохраните оригинал для ручной проверки. Наличие vision-входа не делает модель генератором картинок и не подтверждает обработку аудио. Для извлечения полей проверяйте связь каждого значения с видимым фрагментом.

Инструменты и структурированные результаты

Сначала задайте небольшой список разрешённых функций и проверяйте аргументы до выполнения. Поддержка tools в каталоге означает возможность такого формата запроса, а не право модели самостоятельно менять внешние системы. Для записи данных подтверждайте фактический результат чтением. JSON проверяйте схемой и предметными правилами: корректный синтаксис не доказывает истинность полей. Отдельно ограничьте число шагов и повторов. Не переносите reasoning effort от другой модели, если этот параметр не указан для выбранного маршрута.

Локальный запуск и сравнение на своих задачах

README описывает использование PrismML fork llama.cpp с CUDA, Metal или CPU и отдельными файлами проектора. Проверьте актуальные инструкции конкретной упаковки вместо автоматического переноса команды от другой GGUF-модели. Для русского языка подготовьте контрольные примеры с терминологией, отказами и отсутствующими сведениями. Сравнивайте долю принятых ответов и полный расход времени на задачу. Размер весов сам по себе не гарантирует скорость или качество; собственные измерения оборудования и платные испытания этой карточкой не заявляются.

Вопросы и ответы

Означает ли 2 ГБ, что хватит 2 ГБ оперативной памяти?

Нет. Это размер одной упаковки языковых весов. Vision-проектор, контекст и рабочие буферы требуют дополнительной памяти.

Модель умеет создавать изображения?

В выбранном маршруте указан текстовый выход. Изображения используются как входные данные, а не как формат результата.

Открыты ли веса для локального размещения?

Да, официальный репозиторий публикует GGUF-файлы под Apache 2.0. Совместимость движка и требования конкретной упаковки нужно проверить по README.

Можно ли гарантировать качество ответов на русском?

Нет. Проверяйте реальные документы, термины и пограничные случаи своего приложения. Заявления разработчика не заменяют такую приёмку.

Сравните с другими моделями

LFM2.5-2.6B