Sesame CSM 1B API — разговорная речь и цена

Контекст: 4 096токенов
Результат: Синтез речиформат ответа
Стоимость: Тариф уточняетсяусловия — в блоке подключения

ПОДКЛЮЧЕНИЕ

От модели к первому запросу

Используйте идентификатор модели в совместимом API-клиенте. Полные параметры, ключи и ответы с ошибками описаны в документации.

const response = await client.chat.completions.create({
  model: "sesame/csm-1b",
  messages: [{ role: "user", content: "Ваш запрос" }],
});

Открыть инструкцию по подключению →

ПОДРОБНЫЙ ОБЗОР

Возможности модели

Официальная карточка говорит, что CSM генерирует RVQ audio codes из text и audio inputs. Архитектура использует Llama backbone и меньший audio decoder, создающий Mimi audio codes. Checkpoint помечен как English text-to-audio и Apache 2.0; разработчик отмечает, что модель звучит лучше при наличии контекста. Tokenmost route `sesame/csm-1b` заявляет text input, speech output и контекст 4096. Нужно проверить, передаёт ли gateway audio context, speaker IDs или только text, а также maximum input, output format, streaming, sample rate, usage и цену. Возможность локального checkpoint не равна hosted contract. Тестовый диалог включает приветствие, уточнение, исправление и завершение. Слепая оценка проверяет понятность, непрерывность голоса, интонацию и отсутствие переноса содержания из предыдущей реплики.

Соберите минимальный контекст

Передавайте только несколько релевантных реплик и, если поддерживается, разрешённый audio prompt. Старые персональные данные удаляются. Контекст нужен для манеры речи, но не должен заставлять модель повторять предыдущий ответ или чужое имя.

Проверьте реальный API

Отдельно испытайте text-only запрос и задокументированный contextual вариант. Зафиксируйте, какие поля принимает Tokenmost и что возвращает speech endpoint. Неподдерживаемый audio input не маскируется обещанием conversational voice.

Контролируйте согласие на голос

Не используйте запись человека как reference без разрешения и понятной цели. Храните источник и срок удаления. Пользователь должен понимать, что слышит синтез, особенно в звонках и персонализированных сообщениях.

Измерьте связность диалога

Сравните одиночные и contextual реплики по голосовой стабильности, naturalness и semantic leakage. Проверяйте перебивки, короткие ответы и смену темы. Текстовое содержание валидируется до генерации, а финальное аудио прослушивается.

Рассчитайте цену с контекстом

Учтите текущий text, передаваемую историю, audio context, output и повторные попытки. Уточните Tokenmost billing unit. Для сравнения с обычным TTS используйте одинаковые реплики и считайте стоимость принятой минуты разговора.

Вопросы и ответы

Что означает CSM?

Conversational Speech Model.

Какие данные использует модель upstream?

Текст и audio context для генерации RVQ audio codes.

Поддерживается ли русский?

Официальный checkpoint помечен как English; русский нельзя обещать без теста route.

Можно использовать голос клиента?

Только при явном согласии и подтверждённой поддержке reference audio.

Что влияет на цену?

Текст, история, возможный audio context, длительность output и пересоздания.