第三百零四章 把才能留在这里 (第2/3页)

穿棉质衬衫，一脸学生气。

    “你好，是章同学吗？”赵文渊打招呼，“请坐。”

    “博士。”章闻铎坐下，开口说。

    赵文渊一愣：“啊？”

    “我已经答辩通过，虽然还没参加毕业典礼、拿到学位证，但已经是一个博士了。”

    赵文渊闻言动了动嘴角：谁还不是个博士了。

    我还是斯坦福的博士，我和谁说了吗？

    “好的，章博士，你好。我先自我介绍，我叫赵文渊，斯坦福博士，出自李飞飞教授门下。”

    这话一出口，章闻铎眼神一动。

    见面先自报家门，这便是学术门派之间的碰撞。

    赵文渊接着说：“我现在担任源智京城研究院院长，统管源智在京的所有事务和研究团队的研究方向。今天由我来面试你。”

    章闻铎点点头，转头看了看四周，问：“韩总不在吗？”

    赵文渊又是一愣。

    这位章博士，说话总是出人意料啊。

    “韩总不在京城，之后也不会常驻京城。今天只有我面试你。”赵文渊确认道。

    章闻铎没说话，眼里有点失望。

    赵文渊读得懂那意思：你谁啊？怎么不让韩总面试我？

    赵文渊觉得有点好笑，又有点熟悉——他刚去谷歌时也这样，但凡碰见级别比他高的，就想跟人家比论文引用数。

    凭什么你级别比我高？

    后来被社会教育了，他才明白，出了学术界，论文引用数的作用就大大下降。

    其实在学术界也没那么好用。

    赵文渊容忍了初出茅庐的章博士：情商低就低吧，反正我也不是雇你当行政的。

    先看看水平到底怎么样再说。

    赵文渊合上电脑：“我们开始面试，先聊点基础知识。”

    章闻铎挺直身子，手也攥了攥。

    还行，还知道紧张。

    “你研究世界模型方向，那么你怎么定义世界模型？”

    章闻铎几乎没有停顿。

    “一个系统如果能从有限观测中构建环境状态的内部表示，并利用这个表示预测未来观测、评估动作后果、支持规划和反事实推理，就可以称为世界模型。”

    赵文渊点点头，接着问：“世界模型和一个很强的next-token predictor（下一个词元的预测器）有什么区别？”

    “区别不在输出形式，而在内部表示的约束。”章闻铎推了推眼镜，“Next-token predictor只需学到文本分布里的条件概率；哪怕它在很多任务上表现得像理解了世界，也可能只是学到了足够复杂的共现结构。”

    “要成为世界模型，必须满足三个条件。”章闻铎伸出三根手指，“第一，状态压缩，不同表述在同一世界状态下的内部映射要一致；第二，状态更新，新观测会引起内部变量按可复用规则更新；第三，因果性，对事件的预测不能纯基于相关性，而要给出相应的因果关系。”

    赵文渊边听边点头。

    这位章博士对世界模型的理解还挺深。他说的这些虽然没有官方学术定论，却都描述了世界模型的主流方向。

    第一点说的是，同一件事不管怎么表述，本质一样，就该表示为同样的内部状态。比如“一只猫在桌上”和“桌上有一只猫”，不能因为说法不同，就在内部当成两种表示。

    第二点则是说，世界变化时，内部表示要更新，而且更新要遵循规律。这样一来，不必每次面对瞬时状态都从头做大量运算，可以用上一状态和变化量计算下一状态。

    第三点是学界当下最热门的课题之一：相关性不代表因果性。夏天冰淇淋销量增加，淹死的小孩也变多，但并不是吃冰淇淋导致小孩被淹死。这是纯语言模型最容易出错的地方。

    赵文渊继续提问：“那你怎么验证一个语言模型有没有内部状态？拿不到权重，只能黑盒调用。”

    章闻铎嘴角浮起微笑。

    这正是他博士论文的课题，现在还没发表，但在面试里牛刀小试完全没问题。

    “黑盒很难验证模型是否真有内部状态，最多只能排除低级解释。”章闻铎说，“我会设计状态追踪任务：定义一个隐藏状态，把同一状态用不同叙述方式包装——叙事文本、表格、聊天记录，甚至带噪声的口述，都可以。如果模型真有稳定的内部表示，不同包装下对同一问题的回答应该一致。”

    “一致就够了吗？”

    “不够。还要加干扰项，再做反事实：问它如果第三步没有发生，最后状态是什么。只有在反事实任务上也稳定，才说明它有某种状态迁移能力。”

    赵文渊点点头，章闻铎在世

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』