Llama Nemotron Rerank VL 1B V2 — PDF reranking

Контекст: 10 240токенов
Результат: Ранжированиеформат ответа
Стоимость: Тариф уточняетсяусловия — в блоке подключения

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "nvidia/llama-nemotron-rerank-vl-1b-v2:free",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Официальная карточка называет модель мультимодальным reranker для question-answer retrieval. Query передаётся текстом, document может быть текстом, screenshot страницы либо их сочетанием; поддерживаются таблицы, charts и infographics. Архитектура объединяет SigLIP 2 400M vision encoder и Llama 3.2 1B, всего примерно 1.7B parameters. Для self-hosted multimodal режима NVIDIA приводит max model length 10240. Tokenmost заявляет text/image input, rerank output, контекст 10240 и суффикс Free. Preflight проверяет формат documents, число candidates, image ограничения, scores/indices, truncation, usage, quota и цену. Cross-encoder не предназначен для перебора всей библиотеки. Оценочный corpus включает page screenshots с мелкими таблицами, текстовые extracts, похожие отчёты разных периодов и вопросы без основания. Первый retrieval этап фиксируется, чтобы улучшение reranker измерялось отдельно.

Получите кандидатов быстрым поиском

Multimodal embeddings или hybrid index выбирают ограниченные top pages. Reranker получает одинаковый candidate set вместе с исходными ranks. Если нужной страницы нет среди кандидатов, повторная сортировка не сможет восстановить её.

Соберите страницу как документ

Передайте screenshot достаточной чёткости и короткий извлечённый текст, если route принимает сочетание. Сохраните файл, страницу, период и права доступа. Не склеивайте несколько страниц в одну картинку: основание должно открываться точно.

Проверьте контракт rerank

Убедитесь, что output однозначно связывает score с исходным candidate. Проверьте одинаковый порядок при повторе и обработку повреждённого image. Timeout или пустой ответ оставляет исходный ranking, а не случайно меняет выдачу.

Измерьте visual вклад

Сравните text-only и image+text по Recall@5, MRR и правильному top 1. Отдельно оцените страницы с charts и таблицами. Высокий benchmark upstream не заменяет проверку мелких чисел, дат и легенд конкретных отчётов.

Контролируйте цену кандидата

Расход зависит от query, числа страниц, текста и pixels. Сравните top K по качеству и latency p95, кэшируйте неизменные pairs. Бесплатную квоту и Tokenmost usage подтвердите до запуска, подготовив ограниченный fallback.

Вопросы и ответы

Что ранжирует модель?

Текстовые или визуальные страницы документов относительно text query.

Это embedding-модель?

Нет, cross-encoder выдаёт relevance score для каждой пары query-document.

Можно передавать таблицы и диаграммы?

Карточка рассчитана на screenshots страниц, включая charts, tables и infographics.

Почему нужен первый retrieval?

Reranker вычислительно дороже и сортирует ограниченный список кандидатов.

Какой контекст указан?

Для multimodal self-hosted режима NVIDIA приводит 10240; route проверяется отдельно.