E5 Large v2 API — поиск по документам и цена

Контекст: 512токенов
Результат: Векторные представленияформат ответа
Стоимость: Тариф уточняетсяусловия — в блоке подключения

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "intfloat/e5-large-v2",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Карточка `e5-large-v2` указывает 24 слоя, embedding size 1024, English-only и обрезку после 512 токенов. Для retrieval нужны `query:` и `passage:` prefixes. Результаты benchmark показывают потенциал модели, но не доказывают превосходство над Base на документах конкретной компании. Tokenmost объявляет text-to-embeddings route `intfloat/e5-large-v2` с контекстом 512. Контрактная проверка подтверждает 1024 значения, normalization, batch, encoding, ошибки длины, порядок output, usage и цену. Индекс Base нельзя расширить нулями или переиспользовать как Large. Сравнение строится на одном corpus и query set. Критичными считаются номера стандартов, отрицания, допустимые значения и редакции документа; средняя метрика не должна скрывать их потерю.

Подготовьте регламенты к индексации

Выделите требования, исключения, таблицы и определения в самостоятельные passages. Сохраните номер документа и дату действия. Повторяющиеся колонтитулы удалите, чтобы они не занимали 512 токенов и не сближали несвязанные chunks.

Применяйте prefixes без вариаций

Запрос начинается с `query:`, а индексируемый фрагмент — с `passage:`. Регистр и пробел фиксируются в pipeline. При изменении шаблона переиндексируйте весь corpus либо храните новую коллекцию, иначе выдача будет несопоставимой.

Настройте 1024-мерное хранилище

Создайте отдельную schema, выберите cosine или dot product с учётом normalization и сохраните model ID. Проверьте recall при выбранных параметрах ANN. Экономия памяти за счёт агрессивного индекса не должна уничтожить выигрыш Large.

Сравните с Base вслепую

Одинаковые queries запускаются по двум индексам; эксперт не знает модель при оценке top 10. Считайте Recall, first relevant rank и критические промахи. Large выбирается по результату, а не по числу параметров в названии.

Рассчитайте цену точности

В бюджет входят embeddings, 1024-мерное хранение, переиндексация, запросы и ручной контроль. Посчитайте дополнительную стоимость одного предотвращённого промаха. Текущий тариф Tokenmost фиксируется на дату эксперимента.

Вопросы и ответы

Какая размерность E5 Large v2?

1024, согласно официальной model card.

Контекст больше, чем у Base?

Нет, обе версии v2 обрезают текст до 512 токенов upstream.

Нужен ли prefix для similarity?

Карточка рекомендует `query:` и `passage:` для retrieval; для symmetric similarity используются подходящие одинаковые prefixes.

Можно оставить старый индекс Base?

Для сравнения — да, но векторы Large хранятся в отдельной коллекции.

Когда Large окупается?

Когда измеримое снижение важных retrieval-ошибок покрывает хранение и цену обработки.