什么是GEMBA？
**GEMBA（GPT Estimation Metric Based Assessment）是一类机器翻译质量评估方法，其评判者是大语言模型，而不是像COMET**那样专门为此狭窄任务训练的网络。GEMBA不需要单独的训练步骤，只是把评估任务变成给LLM的一段提示词：把原文和译文给模型看，请它打分。
这是首个被广泛认可的方法，证明无需额外训练的现成语言模型，其翻译评分能力可以达到甚至超过专门指标的水平。
GEMBA的三种变体
- GEMBA-DA——模型输出单一的数字质量分数（Direct Assessment），类似人类专家按量表给译文打分
- GEMBA-ESA——模型标注具体的问题片段（Error Span Annotation），并据此得出最终分数
- GEMBA-MQM——模型按**MQM**的逻辑对发现的错误进行类型和严重程度分类，输出的不只是一个数字，而是与人工评估方法论兼容的结构化标注
三者之中GEMBA-MQM信息量最大：它不只是说「这段译文一般」，而是解释具体哪里出了问题、问题有多严重。
GEMBA-MQM实际如何运作
模型接收原文、译文，以及按MQM类别（准确性、流畅度、术语、风格）对错误分类并标注严重程度的指令。输出结果是一份问题清单，可以用人工MQM评分同样的公式汇总成数字分数——这样就能把LLM的标注结果与编辑的人工审核直接对比。
GEMBA与被跳过的句段
GEMBA(-MQM)未能处理或因超时而跳过的句段，需要明确的处理策略：未评分的句段与评分后未发现问题的句段并不是一回事。把这两种情况混在一起算作「优秀分数」，是一种常见且危险的统计错误，因为最终平均分反映的会是跳过率，而非真实质量。
GEMBA与COMET：如何选择
| GEMBA | COMET | |
|---|---|---|
| 所需条件 | LLM访问权限与提示词 | 专门训练的模型 |
| 运行成本 | 较高——每个句段都需完整调用LLM | 较低 |
| 输出细节 | 可提供错误类型标注（GEMBA-MQM） | 通常仅为一个数字 |
| 灵活性 | 高——通过调整提示词即可 | 低——模型只训练一次 |
两者组合使用很常见：COMET快速筛除明显合格的句段，GEMBA-MQM再对剩下的部分详细审查。
局限性
基于LLM的评分继承了模型自身的所有盲区：如果模型对某种罕见语言或狭窄领域理解不佳，它在该领域的翻译评分也不可靠。如果不固定温度参数和模型版本，LLM评判在多次运行之间也可能不一致——在跨时间比较分数时需要留意这一点。
常见问题
GEMBA与一般意义上的QE有什么区别？
GEMBA是更广泛的**QE**概念下的一种具体方法，用现成的LLM充当专家，而非依赖专门训练的指标。
哪个GEMBA变体最有用？
GEMBA-MQM，因为它不仅给出分数，还解释发现了哪些错误、严重程度如何。
GEMBA需要参考译文吗？
不需要，GEMBA通常以无参考模式运行，直接对「原文—译文」这对文本打分，不过该格式也支持有参考的模式。
被跳过的句段等同于低分吗？
不等同，这一点在统计上很容易出错：跳过（未评分）与低分（已评分且发现问题）是两种不同的状态，需要分开统计。
GEMBA的评分能作为唯一标准吗？
用于监控整体质量流可以。对于错误代价高昂的决策，GEMBA的标注通常还需要人工复核，尤其是在「严重」与「轻微」错误的边界上。