第三百八十四章 双标 (第2/3页)

所了解。现实情况是，中国的大模型厂商在公开排行榜上有非常强的优化动机。你也看到了，这个来自中国的模型分数极为异常，我们有理由相信，这个测试结果不准确。”

    只是分高，就是不准确？

    林伟伦“嘿”了一声：“如果测试结果不准确，难道不是所有模型的测试结果都不准确吗？为什么单独剔除这一个模型？”

    “这套测试题由多家机构和专家联合设计。我认为，作为最新的、评价现行模型的标准，它很有价值——只要剔除掉明显作弊的模型就可以了。”

    林伟伦环视会议室里的代表。AI Foundations的成员单位大部分来自美国，这里的代表也大多来自美国。

    对这个结果，没有一个代表提出异议。

    他觉得自己刚刚经历了一场学术霸凌。

    尽管这场霸凌并非针对他本人。

    “那么，”林伟伦继续问，“这样一套经过严密设计的测试题，他们是怎么作弊的？”

    理查德看向他。

    “我没想到你会问出这个问题，林教授。”他话里意有所指，“一个模型成绩异常地高，自然是因为提前做了针对性训练。我认为，可能有AI Foundations的合作单位把这套本应视为机密的测试题泄露了出去。”

    这场人工智能大会新加坡站，AI Foundations的合作单位只有两家：新加坡国立大学和新加坡国家AI研究院。这个指责指向谁，不言而喻。

    林伟伦气极反笑。

    以他的权限，只能看到分数结果，对测试内容一无所知。

    合作方唯一能接触到的，是内部公告，以及关于会议议程、测试流程的一些统一邮件。

    偷测试集？他难道是商业间谍吗？如果是，直接偷模型不好吗，为什么要偷一个没什么用的测试集？

    现在理查德不仅要作废排名第一的测试结果，还要把提前泄露考题的黑锅扣到他头上？

    林伟伦冷笑一声，说：“科尔曼教授，你的指责令人发笑。如果你执意执行这样的决定，我会代表新加坡国立大学退出这次合作。”

    林伟伦这话只是在虚张声势。他只是个教授，不是校长，更不姓李；只因专业对口才担任合作方负责人，根本没有权力决定退出合作。

    理查德果然没被吓住，微微一笑：“林教授，请便吧。”

    林伟伦没等会议结束，便直接走出会议室，一路回到自己的办公室。

    回到办公室，他又拿出测试结果分数看了一遍。

    以往的模型测试集，主要集中在知识、数学能力、编程能力、理解能力和推理能力等方向。

    但因为智能体应用最近爆火，AI Foundations这一次的测试集特意侧重长程任务能力，而且占比极高：总分一百分的测试

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』