什么是COMET？
**COMET（Crosslingual Optimized Metric for Evaluation of Translation）是一种用于评估翻译质量的神经网络模型。与仅统计和参考译文词语重合度的BLEU**不同，COMET在大量「译文+人工评分」数据上训练，学会依据语义相似度而非字面重合度来预测评分。
两种运行模式
COMET-22是基础版本，评分时仍需要一份人工撰写的参考译文，但比对基于语义而非逐词匹配。
COMETKiwi是无参考变体，完全不需要参考译文：模型直接对「原文—译文」这一对文本打分。这正是人们谈到**MTQE**时通常特指的那部分COMET。
COMET为何优于BLEU
BLEU会惩罚任何改写，即便意思传达完全正确——它的匹配是逐词逐短语统计的。COMET基于语义相似度训练，不会因为译文换了种说法而扣分。这对语序灵活的语言尤其重要，对评估现代LLM的译文也同样关键，因为LLM常常改写而非逐字直译。
如何使用COMET分数
COMET分数通常落在0到1之间（有时以0–100的量表表示），应作相对值而非绝对值来解读——重要的是在同一批文本上比较不同系统，或比较同一系统的不同版本，而不是孤立地看某个数字。典型用途：
- 在同一测试集上比较多个翻译系统
- 跟踪同一系统质量随时间的变化
- 在没有参考译文时（通过COMETKiwi）为译后编辑的句段排优先级
COMET与GEMBA的区别
| COMET | GEMBA | |
|---|---|---|
| 模型类型 | 专门训练的评分网络 | 充当评判者的通用LLM |
| 输出内容 | 数字分数 | 分数和/或MQM风格的错误标注 |
| 是否需要参考译文 | 不一定（COMETKiwi） | 不一定 |
| 运行成本 | 较低 | 较高（完整的LLM调用） |
2026年当前的做法并非二选一——COMET提供快速、低成本的初步信号，**GEMBA**或其他LLM评判则在值得投入成本的场合补充更精细的标注。
局限性
和任何经过训练的模型一样，COMET继承了其训练数据的盲区——在罕见语言对或狭窄术语领域，它的预测可靠性较低。COMET分数也无法替代**MQM**兼容的错误标注：当客户不仅需要知道「有多好」，还需要知道「具体哪里有问题」时，分数本身是不够的。
常见问题
COMET需要参考译文吗？
基础版COMET-22需要。无参考变体COMETKiwi不需要——模型直接对「原文—译文」这对文本打分。
COMET比BLEU好在哪里？
COMET评估的是语义相似度而非词语重合度，因此不会因为正确的改写而扣分，与人工判断的相关性也更高。
COMET能作为唯一指标使用吗？
用于监控和比较系统时可以。对于错误代价高昂的文本做最终裁决，COMET通常会与人工审核或能提供错误标注的LLM评判配合使用。
具体的COMET数值该怎么解读？
应作相对值看待：重要的是在同一批文本上跨系统或跨时间的比较，而不是一个绝对的「好/坏」门槛。
COMET和GEMBA是竞争关系吗？
不是，二者互补：COMET作为初步信号更便宜、更快，GEMBA（或其他LLM评判）则在需要更精细判断时补充错误类型标注，而不只是一个数字。