Apple ML Research·· 22 天前AI 评分38
大语言模型用于机器翻译质量标注:人类与模型均面临挑战
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
AI 导读
研究评估了 LLM 在 MQM 和 ESA 两种主流机器翻译质量评估体系中的表现,发现在多数场景下人类与模型标注仍不可靠。该研究基于覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 数据,指出人类在细粒度 MQM 和低资源语言对上面临挑战,而 LLM 则难以处理微小错误、错误语言变体及错误跨度标注。未来有望通过人机协作流程改善可靠性问题。
来源:Apple ML Research · machinelearning.apple.com