Mistral Embed API — поиск по документам, RAG и токены

Контекст: 8 192токенов
Результат: Векторные представленияформат ответа
Стоимость: Тариф уточняетсяусловия — в блоке подключения

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "mistralai/mistral-embed-2312",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Версия mistralai/mistral-embed-2312 представлена 11 декабря 2023 года. Каталог указывает текстовый вход, выход embeddings и предел 8192 токена. В документации Mistral Embed описаны векторы размерности 1024. Число координат вектора и количество токенов исходного текста — разные величины.

Поиск инструкции без совпадения слов

Для базы знаний учебного центра соберите вопросы, которыми люди действительно описывают проблему: перенос занятия, пропуск встречи, смена преподавателя. Названия внутренних документов могут звучать иначе. Проверьте, какой раздел выдаётся по каждой формулировке и содержит ли он нужное действие. Включите вопросы, на которые в базе нет ответа. Система должна уметь сообщить об отсутствии подходящего материала, а не показывать случайную инструкцию только потому, что поиск всегда возвращает несколько результатов. Для номера договора или точного названия курса сохраните возможность буквального поиска.

Актуальность и права доступа важнее близости текста

Вместе с каждым фрагментом храните идентификатор документа, дату редакции и область применения. Инструкция для одного филиала не обязательно действует в другом. Отбор по филиалу и правам пользователя должен выполняться приложением до передачи найденных материалов в ответ. Векторная близость не проверяет полномочия сотрудника и не определяет действующую редакцию. Если документ отозван, удалите его из доступной выдачи, даже когда похожие запросы продолжают приходить. Проверьте этот случай отдельно: устаревшее правило может быть написано почти теми же словами, что и новое.

Подготовка фрагментов для RAG

Разделяйте длинную инструкцию по смысловым частям. Условие переноса и исключение из него лучше сохранять вместе либо явно связывать соседние части. Заголовок помогает понять, к какой услуге относится абзац, поэтому не отрывайте его от текста без проверки результатов. После извлечения текста из PDF посмотрите, сохранились ли порядок пунктов и подписи таблицы. Ошибка подготовки документа попадает и в поиск. При составлении ответа показывайте пользователю название и ссылку на доступный ему источник. Возможность открыть исходный раздел делает найденное правило проверяемым, но сама по себе не подтверждает правильность ответа.

Подключение Mistral Embed и устройство ответа

Для этой модели нужен контракт embeddings: на вход поступает текст, а результатом становится массив числовых координат. Разговорную историю и параметр длины генерируемого ответа нельзя без проверки переносить из чатового клиента. Поисковую базу, сопоставление запроса с документами и выдачу ссылок организует ваше приложение. Используйте одинаковую модель для материалов и запросов; при замене модели планируйте отдельный индекс и проверку качества. Даже векторы одинаковой размерности могут быть несовместимы. Начните с небольшой обезличенной подборки инструкций, чтобы проверить весь путь от загрузки до выдачи источника.

Раздел подключения API

Сколько токенов потребуется базе знаний

Разделите расходы на первую обработку документов, обновления и запросы пользователей. Объём текста после извлечения и разбиения может отличаться от размера исходных файлов: повторяющиеся заголовки и перекрытия тоже передаются модели. Для предварительной оценки используйте число входных токенов и опубликованную ставку выбранного подключения. Хранение векторов и генерацию ответа учитывайте отдельными статьями расходов. Если изменилось только право доступа, повторная векторизация неизменного текста может не понадобиться, но поисковые фильтры необходимо обновить. Перед покупкой токенов проверьте бюджет первоначальной загрузки и ожидаемую частоту изменений, а не только стоимость одного короткого вопроса.

Расчёт расходов на токены

Вопросы и ответы

Mistral Embed отвечает на вопросы по документам?

Она создаёт представления текста для поиска. Найденные фрагменты можно показать напрямую либо передать другой модели для составления ответа с источниками.

1024 — это лимит длины документа?

Нет, это размерность вектора. В каталоге для отдельного входа указан предел 8192 токена; длинные материалы нужно подготовить с учётом этого ограничения.

Чем Mistral Embed отличается от Codestral Embed?

Mistral Embed рассматривается здесь для поиска по обычным текстовым документам. Codestral Embed специализирована на поиске кода; выбор для смешанной базы стоит проверять отдельно на вопросах к документам и к репозиторию.

Можно ли искать по русскоязычным инструкциям?

Качество для ваших русскоязычных формулировок следует оценить на контрольных вопросах. Эта страница не обещает одинаковую точность для всех языков, терминов и типов документов.

Что делать с двумя похожими редакциями инструкции?

Помечайте актуальность в метаданных и ограничивайте выдачу действующими материалами. Сходство текста не заменяет правило выбора редакции и не решает, какой документ имеет силу.

Сравните с другими моделями

Mistral: Codestral Embed 2505 — специализированный поиск по программному коду вместо инструкций базы знаний