РУКОВОДСТВО · ОБНОВЛЕНО 2026-11-09
Как посчитать WER для распознавания русской речи
Расчёт Word Error Rate для ASR с примером, правилами нормализации русского текста и сравнением систем на одинаковой выборке.
WER показывает число замен, пропусков и вставок слов относительно числа слов в эталоне. Например, эталон «открой новый заказ», а ответ «открой старый заказ сейчас» дают одну замену и одну вставку на три слова, то есть WER около 66,7%. Для сравнения двух систем сначала согласуйте правила нормализации, затем примените их к эталону и распознанному тексту одинаково.
1. Подготовьте эталон и правила разметки
Выберите записи, похожие на те, с которыми работает приложение. Отдельно отметьте шум, телефонный звук, речь нескольких людей и короткие реплики. Для каждой записи сохраните проверенную человеком расшифровку и идентификатор. Определите, как отмечать неразборчивые слова и паузы, прежде чем смотреть ответы системы. Если правила разметки меняются после сравнения, пересчитайте все варианты по одному набору. Исключения фиксируйте вместе с причиной.
2. Нормализуйте русский текст одинаково
Решите, учитывать ли регистр, пунктуацию, различия ё и е, дефисы, а также запись чисел цифрами или словами. Например, «21» и «двадцать один» могут обозначать одно число, но дают разное количество токенов слов после разбиения. Если числа важны задаче, оцените их ещё и отдельной проверкой. Сохраните исходные тексты и версию преобразования. Не исправляйте текст одной системы вручную, если это не предусмотрено общей процедурой.
3. Посчитайте ошибки и взвесьте результат
Для каждой записи найдите выравнивание с минимальным числом замен, удалений и вставок, затем разделите сумму этих ошибок на число слов эталона. Для общего micro WER суммируйте ошибки и слова по выборке перед делением. Среднее WER по файлам даёт коротким и длинным записям одинаковый вес и отвечает на другой вопрос. Если слов в эталоне нет, обычный знаменатель равен нулю. Отдельно оговорите, как учитывать ложный текст на тишине.
4. Разберите ошибки, которые важны задаче
Показывайте WER вместе с размером выборки и разбивкой по условиям записи. Одинаковый показатель может скрывать разные причины, например пропуски на шуме или вставки при паузе. Проверяйте имена, суммы и номера по отдельным правилам, если они запускают действия приложения. Для субтитров дополнительно оцените таймкоды. Сравнение должно опираться на собственные эталоны и заранее заданные критерии, а не на проценты из чужих тестов с другой разметкой.
Частые вопросы
Может ли WER быть больше 100%?
Да. Если вставок много, общее число ошибок может превысить число слов в эталоне.
Можно ли считать 1 − WER точностью?
Для прикладной отчётности лучше показывать сам WER и состав ошибок. Из-за вставок WER может быть больше единицы.
Как сравнить результаты на файлах разной длины?
Для micro WER суммируйте ошибки и слова по всем файлам. Отдельно покажите результаты по группам записей.
Достаточно ли WER для субтитров?
Нужна отдельная проверка времени, деления на реплики и точности важных слов.