Результаты разных версий смешались
Храните model ID и размерность рядом с вектором; перестройте индекс при смене модели.
Планируется
Эмбеддинги: подготовка семантического поиска
Как разбить документы, сохранить источник и версию векторов и подготовиться к Embeddings API без вызова закрытого маршрута.
API Токенмоста работает
Базовый адрес — https://tokenmost.ru/v1. Создайте ключ в личном кабинете, выберите модель в каталоге и отправьте первый запрос. Методы, которые ещё не доступны, отмечены отдельно.
Как это устроено
Публичный Embeddings API Токенмоста пока закрыт. Векторное представление полезно для поиска похожих фрагментов, но индекс зависит от конкретной модели и размерности. Пока готовьте документы, права доступа и тестовый набор; не вызывайте /v1/embeddings с внешним ключом.
Что потребуется
- Коллекция документов с владельцем, источником и правами доступа.
- Правило разбиения на фрагменты и контрольный набор поисковых вопросов.
- Место для хранения версии модели, размерности и даты индексации.
Порядок работы
- Удалите лишние персональные данные и разделите документы на смысловые фрагменты.
- Сохраните для каждого фрагмента ID документа, страницу, права доступа и исходный текст.
- Выберите кандидата векторной модели только после появления публичного тарифа и контракта.
- Закрепите model ID и размерность индекса; при смене модели создайте новый индекс.
- Оцените поиск на контрольных вопросах, проверяя не только похожесть, но и доступ пользователя к источнику.
Готовая конфигурация
Запись подготовленного фрагмента — локальные данные
{
"documentId": "doc-1",
"chunkId": "doc-1:page-2:part-1",
"page": 2,
"text": "Короткий фрагмент",
"accessScope": "project-1",
"vectorModelId": null
}Что учесть
Подготовка корпуса полезна уже сейчас; фактическую векторизацию через Токенмост начинайте только после открытия публичного маршрута, тарифа и проверки модели.
Ожидаемый результат
Подготовленный корпус можно индексировать после открытия Embeddings API, не теряя связь с исходной страницей и правами. Поиск возвращает допустимые пользователю фрагменты.
Ограничение сейчас
Публичный POST /v1/embeddings и цена не подтверждены. JSON-пример описывает ваши данные, а не тело действующего API-запроса.
Расходы
Хранение индекса и будущая векторизация — отдельные расходы. Тариф Токенмоста для embeddings до запуска не обещается.
Ошибки и диагностика
Поиск показывает чужой документ
Фильтруйте по accessScope до выдачи фрагмента и перед передачей его модели.
Фрагмент потерял контекст
Сохраняйте страницу, заголовок раздела и исходный текст рядом с вектором.
Публичный метод не отвечает
Этот маршрут ещё не открыт для внешних ключей. Не повторяйте платные запросы вслепую; проверьте /docs/api-reference.
Стоимость неизвестна
Не считайте технический маршрут готовым тарифом. Дождитесь опубликованной цены и проверьте баланс до первого запроса.