Планируется

Модерация: правила проверки контента

Как определять категории, проверять вход и выход и оставлять человеческую апелляцию до запуска публичного Moderation API.

API Токенмоста работает

Базовый адрес — https://tokenmost.ru/v1. Создайте ключ в личном кабинете, выберите модель в каталоге и отправьте первый запрос. Методы, которые ещё не доступны, отмечены отдельно.

Как это устроено

Публичный Moderation API Токенмоста пока не открыт. Решение о публикации должно опираться на правила вашего продукта; автоматический классификатор после запуска будет лишь одним сигналом и может ошибаться.

Что потребуется

  • Письменные категории и действия для вашего продукта.
  • Процесс апелляции и ручной проверки спорных случаев.
  • Правила хранения чувствительного контента и доступа к журналу.

Порядок работы

  1. Опишите категории, пороги и действия до добавления автоматической проверки.
  2. Проверяйте входящий материал перед генерацией и исходящий ответ перед публикацией.
  3. Сохраняйте категорию и причину решения без лишнего копирования чувствительного текста.
  4. После запуска API сравните его оценки с размеченным набором и измерьте ложные срабатывания.
  5. Оставьте человеку право пересмотреть спорный случай и исправить ошибку.

Готовая конфигурация

Локальное решение по правилам продукта

{
  "contentId": "message-1",
  "category": "review-needed",
  "action": "human-review",
  "ruleVersion": 2
}

Что учесть

Автоматическая модерация планируется. Даже после запуска она не заменит собственную политику продукта и проверку спорных решений.

Ожидаемый результат

Каждое решение объяснимо и может быть пересмотрено; опасный контент не публикуется автоматически только из-за пропущенного флага.

Ограничение сейчас

Публичного POST /v1/moderations пока нет. JSON — запись локального решения, не ответ модели Токенмоста.

Расходы

Тариф будущей автоматической проверки не опубликован. Учитывайте расходы на ручной пересмотр и хранение журнала.

Ошибки и диагностика

Ложная блокировка

Проверьте порог и исходные правила, предоставьте апелляцию.

Опасный ответ прошёл

Проверяйте не только ввод, но и результат, обновляйте контрольный набор.

В журнале лишние данные

Храните минимум текста и ограничьте доступ к записям.

Публичный метод не отвечает

Этот маршрут ещё не открыт для внешних ключей. Не повторяйте платные запросы вслепую; проверьте /docs/api-reference.

Стоимость неизвестна

Не считайте технический маршрут готовым тарифом. Дождитесь опубликованной цены и проверьте баланс до первого запроса.

Источники и связанные инструкции

Читайте дальше

← Все инструкции