MTQE (оценка качества машинного перевода без эталона)

Что такое MTQE?

MTQE (Machine Translation Quality Estimation) — автоматическая оценка качества машинного перевода без обращения к «эталонному» переводу, с которым можно было бы сверяться. Модель смотрит только на пару «исходный текст — перевод» и выдаёт оценку: насколько хорош перевод сам по себе, без готового образца для сравнения.

Это принципиально отличает MTQE от классических метрик вроде BLEU, которым нужен эталонный перевод, написанный человеком заранее.

Зачем оценка без эталона

Эталонный перевод есть далеко не всегда: для нового документа его попросту не существует, а держать штат переводчиков только ради эталонов для метрик — дорого и медленно. MTQE решает практическую задачу — сортировать переведённые сегменты по вероятному качеству до того, как их увидит человек, экономя время редактора там, где машина уже справилась хорошо, и направляя внимание туда, где перевод, скорее всего, ошибся.

Как работает MTQE

Современные системы MTQE — это обученные модели (например, COMET в его reference-free варианте COMETKiwi), которые предсказывают, насколько человек оценил бы перевод, если бы прочитал его. Модель обучена на большом массиве переводов с человеческими оценками и учится угадывать эту оценку по одной паре текстов.

Практическое применение MTQE в конвейере:

1. Приоритизация постредактирования — сегменты с низкой оценкой уходят к редактору в первую очередь
2. Автоматическое принятие — сегменты с очень высокой оценкой можно пропустить без ручной проверки, если риск это позволяет
3. Мониторинг движка перевода — падение среднего балла MTQE на потоке сигнализирует о проблеме раньше, чем её заметят клиенты

MTQE и QE: частное и общее

QE — более широкий термин: любая автоматическая оценка качества перевода, включая случаи, когда эталон всё-таки есть. MTQE — конкретно та часть QE, которая работает без эталона. На практике в разговоре эти термины иногда используют как синонимы, потому что современные пайплайны почти всегда работают именно в безэталонном режиме.

MTQE vs LQA

Зрелые процессы не выбирают одно вместо другого: MTQE сортирует поток, LQA проверяет то, что действительно требует внимания человека.

Ограничения MTQE

Модель MTQE обучена угадывать усреднённое человеческое суждение, а не заменять его. Она может ошибаться на редких языковых парах, специфической терминологии или намеренных стилистических приёмах, которые формально выглядят как ошибка. Высокая оценка MTQE не гарантия фактической точности — она гарантия только того, что перевод статистически похож на хорошие переводы из обучающей выборки.

FAQ

Чем MTQE отличается от обычной проверки орфографии?

Проверка орфографии ищет опечатки. MTQE оценивает смысловое и стилистическое соответствие перевода исходнику — гораздо более сложную задачу, требующую понимания обоих языков.

Можно ли полностью заменить LQA на MTQE?

Для низкорискового контента — иногда да. Для юридических, медицинских и маркетинговых текстов MTQE используют как фильтр, а не как замену финальной проверке человеком.

Какие модели используются для MTQE?

Наиболее известны COMETKiwi (reference-free вариант COMET) и подходы на основе LLM, включая GEMBA.

MTQE — это то же самое, что оценка LLM-переводчиком собственного перевода?

Нет. MTQE — отдельная, специально обученная под эту задачу модель, оценивающая чужой перевод со стороны. Самооценка модели-переводчика менее надёжна из-за склонности модели быть уверенной в собственном выводе.

Насколько MTQE коррелирует с оценкой человека?

У современных моделей — высокая корреляция на общих доменах и языковых парах с достаточным объёмом обучающих данных, и заметно ниже на редких парах и узкоспециализированном контенте.