第二百六十一章 就不能两头吃吗 (第3/3页)

文时发现的边界案例，有些是他做实验时用来卡模型的反例，还有一些是他专门用来测试中文意图理解的古怪问题。

    这些题没有公开过，不在任何排行榜里，也不可能被提前训练进去。

    章闻铎给文件起的名字就叫——kill_model_v11.1.jsonl（杀死大模型11.1版）。

    这个名字虽然中二，水平可不低；很多号称世界先进的大模型在这套题上跑一遍，分数都会变得很难看。

    章闻铎填进汤圆-0.9的API地址，贴好密钥，调用写好的大模型测评脚本。

    运行。

    他一边看终端输出结果，一边靠在人体工学椅上后仰，把脚搭上桌子。

    头还有点儿晕。

    再一看，前十题都过了；二十题，也都过了。

    章闻铎皱了皱眉，把脚从桌上放下来。

    三十题，还是全对。

    怎么回事？

    章闻铎把椅子往前拉了拉。

    脚本已运行到五十题，依旧全对。

    章闻铎觉得有点儿凉，摸了摸头，竟出了一层细汗。

    他没再关注正在运行的脚本，点开其中一题，看了看汤圆的输出。

    逻辑很严密啊！

    行家一出手，就知有没有。这些章闻铎特意收集的题，强调的就是任务复杂性；按一般大模型的处理方式，条件这么复杂，很容易注意力分散，忽略关键条件。

    可这个问题在汤圆的答案里一点儿没出现。

    章闻铎静静看着终端里的脚本跑完：一百二十七题里对了一百二十题，错了七道。

    可这七道里还有不同寻常的事。

    其中一道题，汤圆的回答是——“我不知道”。

    作为AI模型研究者，章闻铎知道这有多难。

    光凭提高数据质量，就能做到这一步吗？

    章闻铎突然觉得脸有点儿热，而且越来越热。

    他摸了摸脸：这酒的后劲儿这么大吗？

    又上头了。

    章闻铎拿起水杯去接了杯水，一饮而尽。

    他拿出手机，找到刚加的韩路一微信。

    聊天记录里有一句话：“我通过了你的朋友验证请求，现在我们可以开始聊天了。”

    章闻铎盯着输入框看了好一会儿，开始打字。

    【韩总，刚才吃饭时我说话有点儿】

    打到这儿，他停住了。

    有点儿什么呢？冒犯？没分寸？自以为是？

    他皱着眉，把这几个字删掉，又重新打。

    【韩总，我刚才验证了一下汤圆，是我之前判断得太武断了】

    这个也不行，显得太傲慢了吧。

    章闻铎想了想，还是算了：人家也许不介意呢。

    水平这么高，人还这么低调。

    唉。

    章闻铎躺在床上，感觉脸上一阵阵发烫，心想：这酒劲儿怎么越来越大了。

    睡吧，睡醒了酒就醒了。

    突然，他从床上坐起来。

    明天韩总的讲座在哪儿来着？千万得去听，不能忘了！

『加入书签，方便阅读』