paraphrase-MiniLM-L6-v2 API — дубликаты и цена

Контекст: 512токенов
Результат: Векторные представленияформат ответа
Стоимость: Тариф уточняетсяусловия — в блоке подключения

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "sentence-transformers/paraphrase-minilm-l6-v2",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Официальная карточка позиционирует модель для sentences и paragraphs, которые отображаются в 384-мерное dense vector space; типовые задачи — clustering и semantic search. Метка `paraphrase` указывает направление обучения, но не даёт универсального порога плагиата и не устанавливает авторство текста. Tokenmost route `sentence-transformers/paraphrase-minilm-l6-v2` требует проверки формы embeddings, предела ввода, normalization, batch order, Unicode, empty input, usage и розничной цены. Короткий vector удобен для большого каталога, но окончательное решение об объединении карточек принимает правило продукта. Размеченный набор содержит точные копии, честные перефразы, стандартные характеристики и разные товары с одинаковыми шаблонами. Пары одного семейства делятся между train и holdout целиком, чтобы оценка не запоминала повторяемый каркас.

Выделите сравниваемый текст

Удалите HTML, доставку, юридический footer и значения, которые уже сравниваются структурно. Оставьте название и содержательное описание. Артикул, бренд и категория сохраняются как поля для ограничения кандидатов, а не как основной semantic signal.

Постройте индекс кандидатов

Подтвердите 384 значения и единый способ normalization, затем создайте отдельную коллекцию. Для новой карточки сначала найдите соседей в той же категории. Это сокращает число пар и не сравнивает, например, одинаковые слова у кабеля и услуги.

Добавьте структурное подтверждение

После vector similarity сравните бренд, ключевые характеристики и редкие фразы. Высокая близость описаний при разных параметрах означает шаблон, а не обязательно дубль. Решение хранит объясняющие совпадения для модератора. Фото и штрихкод можно использовать как независимые сигналы, не подменяя ими смысловую проверку текста.

Выберите два порога

Очень близкие пары можно объединять автоматически после проверки; средняя зона уходит в очередь. Измеряйте precision автоопераций и долю найденных дублей. Ошибочное слияние товара обычно дороже пропущенного кандидата.

Оцените цену очистки каталога

Считайте токены новых и изменённых описаний, vector storage, повторную проверку и время модератора. Сравните стоимость подтверждённого дубля с базовым лексическим методом. Тариф Tokenmost берётся из фактического usage вызова.

Вопросы и ответы

Какая размерность модели?

Она возвращает embeddings размерности 384.

Это детектор плагиата?

Нет, similarity помогает найти кандидатов, но не устанавливает заимствование.

Можно автоматически удалять карточки?

Только для отдельно проверенной зоны высокой точности и с журналом восстановления.

Нужны ли товарные фильтры?

Да, категория и ключевые атрибуты уменьшают ложные совпадения.

Как рассчитывается цена?

По токенам индексации и обновлений, запросам, хранению и модерации.