Что такое MQM?
MQM (Multidimensional Quality Metrics) — это комплексная система оценки качества перевода. Разработанная в сотрудничестве между DFKI (Немецкий исследовательский центр искусственного интеллекта) и проектом QT21, MQM предоставляет стандартизированный способ выявления, классификации и измерения ошибок перевода.
Система стандартизирована по ISO 21999 и широко используется в индустрии локализации для объективной оценки качества.
Почему MQM важен
Традиционная оценка качества перевода часто опиралась на субъективные суждения типа «хорошо» или «плохо». MQM превращает это в процесс, основанный на данных:
- Обеспечивает единую таксономию ошибок
- Позволяет проводить объективную оценку по проектам и поставщикам
- Поддерживает улучшение качества через детальный анализ ошибок
- Упрощает коммуникацию с клиентами благодаря чётким метрикам
Категории ошибок MQM
MQM организует ошибки в иерархическую таксономию. Основные категории включают:
Точность (Accuracy)
Ошибки, связанные с соответствием исходному тексту:
- Неверный перевод — передано неправильное значение
- Пропуск — часть исходника не переведена
- Добавление — добавлен текст, которого нет в оригинале
- Непереведённый текст — исходный текст оставлен как есть
Беглость (Fluency)
Ошибки, влияющие на читаемость на целевом языке:
- Грамматика — грамматические ошибки
- Орфография — орфографические ошибки
- Типографика — проблемы с форматированием
- Регистр — неуместный уровень формальности
Терминология (Terminology)
Ошибки в специализированной лексике:
- Несогласованность — один термин переведён по-разному
- Неверный термин — использована неправильная терминология
Стиль (Style)
Ошибки, связанные с нормами письма:
- Неестественность — неуклюжие формулировки
- Корпоративный стиль — нарушение руководства по стилю
Уровни критичности ошибок
Каждой ошибке присваивается уровень критичности:
| Критичность | Описание | Вес |
|---|---|---|
| Критическая | Делает контент непригодным, наносит вред | 25+ |
| Серьёзная | Значительно влияет на смысл или удобство | 5-10 |
| Незначительная | Заметна, но не влияет на понимание | 1-2 |
Расчёт оценки MQM
Оценка MQM рассчитывается по формуле:
Оценка = 100 - (Сумма штрафных баллов / Количество слов × 100)
Где штрафные баллы вычисляются умножением количества ошибок на их вес.
Пример расчёта
Для документа в 1000 слов с:
- 1 критическая ошибка (25 баллов)
- 3 серьёзные ошибки (5 × 3 = 15 баллов)
- 5 незначительных ошибок (1 × 5 = 5 баллов)
Общий штраф: 45 баллов Оценка: 100 - (45/1000 × 100) = 95.5
MQM vs другие фреймворки
| Фреймворк | Фокус | Стандартизация |
|---|---|---|
| MQM | Комплексная таксономия ошибок | ISO 21999 |
| DQF | Динамическая оценка качества | Стандарт TAUS |
| LISA QA | Чек-лист подход | Устаревший |
MQM и DQF часто используются вместе — MQM предоставляет таксономию ошибок, а DQF добавляет интеграцию в рабочий процесс.
Внедрение MQM в рабочий процесс
1. Определите пороги качества
Установите допустимые диапазоны оценок для разных типов контента:
- Маркетинговые материалы: 98+
- Техническая документация: 95+
- Внутренние коммуникации: 90+
2. Настройте веса ошибок
Скорректируйте веса критичности в соответствии с вашими приоритетами. Для медицинского контента терминологические ошибки могут иметь более высокий штраф.
3. Обучите команду
Убедитесь, что все рецензенты понимают категории ошибок и применяют их единообразно.
4. Используйте автоматизированные инструменты
Платформы вроде KTTC автоматизируют MQM-оценку, обеспечивая согласованную оценку по всем проектам.
FAQ
Чем MQM отличается от традиционного QA?
Традиционный QA часто использует бинарные критерии «прошёл/не прошёл» или субъективные оценки. MQM обеспечивает детальную категоризацию ошибок и объективные численные оценки, позволяя управлять качеством на основе данных.
Как выбрать, какие категории MQM использовать?
Начните с основных категорий (Точность, Беглость, Терминология) и добавляйте специфичные для предметной области по мере необходимости. Большинству проектов не нужна полная таксономия.
Какая оценка MQM считается хорошей?
Это зависит от типа контента и требований клиента. В общем:
- 98+ — отлично
- 95-98 — хорошо для большинства контента
- Ниже 95 — может потребоваться доработка
Можно ли использовать MQM для оценки машинного перевода?
Да, MQM широко используется для оценки качества MT, особенно в рабочих процессах MTPE (постредактирование машинного перевода).
Заключение
MQM предоставляет индустрии переводов стандартизированную, объективную систему оценки качества. Внедряя MQM в ваш рабочий процесс, вы обеспечите стабильное качество, упростите коммуникацию с клиентами и будете постоянно улучшать процессы перевода.
KTTC предлагает встроенную MQM-оценку, упрощая внедрение этой системы в ваш рабочий процесс контроля качества переводов.