第五百零五章 庆功宴 (第2/3页)

可你这饼我吃不下了。别的不说，你现在再多匀我五千张L100，汤圆2.0的训练进度都能快不少。”

    江松然脸色一变，不吭声了。

    给你一万张L100已经是榨干了，还要五千张，你可真敢要。

    韩路一打断两人的互动，问：“文渊，2.0的进度怎么样了？”赵文渊是突然被他从京城叫来的，到现在还没正经汇报过。

    赵文渊此时已喝了几杯白酒，脸色酡红；说起研究进度，脸上露出些激动神色。

    “研究团队有些特别的想法，我觉得很有趣，趁这次机会都加进了预训练。最主要的调整在模型架构上——”

    赵文渊放下筷子，举起双手比划了一个圆，接着说道：“业内不是一直说，模型参数越大，模型能力越强，可需要的算力也越多吗？我们的算力一直不够用，就探索了一个新方向：让参数量继续增长，但每次实际参与计算的参数量不必跟着增长。”

    “MoE架构？这个你之前不是说过吗？”韩路一问，“汤圆1.0现在已经是MoE架构了吧？”

    赵文渊露出些许得意，说道：“对，是MoE，但不是普通的MoE。”

    “讲讲。”

    赵文渊说：“之前业内通行的混合专家方案，是把前馈网络分成几个专家模型并行参与计算，这中间会造成大量重复知识。我们这次提出了一个共享专家角色：大量共通知识交给共享专家，特定类型的任务再由专门专家模型负责，尽量避免重复学习造成的浪费，专家领域分类也能变得更细。”

    江松然的注意力也被吸引过来，插嘴问：“那不是还要解决不同专家之间负载均衡的问题？专家变多，这个问题也变得更难了吧？”

    说到这儿，他意识到了什么；果然，旁边的赵文渊笑道：“我们最近在路由方面可是积累了不少经验啊。”

    赵文渊之前走基于编码器BERT的路线，做出了豆汁儿模型：参数小、运行快，对给定小范围输出的任务表现很好。这个新模型如今在算力分配的路由任务中承担着重要作用，凭空把算力利用效率提升了一大截。

    也怪不得他又把这个灵感带回了超大规模模型的训练架构中。

    具体实现方式虽不同，但如何在不同节点间分配任务、避免负载集中，这些底层原理毕竟相通。

    “那最终大概能有多大提升？”韩路一问。技术上的突破，最终还是要转化为性能提升才有价值。

    赵文渊想了想，说：“保证同样激活参数量的情况下，模型容量至少在1.0的两倍以上。”

    韩路一挑了挑眉。

    汤圆1.0现在的参数是一万亿出头；两万亿的参数，各项指标又会有什么变化？

    当然，不是说参数越多结果就一定越好，但这确实带来了可能性。

    韩路一对汤圆2.0的预训练结果也期待起来。

    韩路一最近精力都放在算力上，对赵文渊那边的进度确实关注不足，可模型研发的重要性毋庸置疑。

    起源能有今天，模型能力才是根本。

    三人讨论的内容，做芯片的薛兆恒已经不太跟得上；另一侧的三位女士则完全没有参与这场讨论。

    作为起源总裁，苏念念还试图多了解些技术细节，最后还是放弃了。

    这时，苏念念余光看见顾司玥递了什么东西过来。她低下头，才发现自己餐盘上放着一个卷得很精致的烤鸭卷饼。

    是顾司玥包好放过来的。

    苏念念转过头，发现刚结束谈话的韩路一正从盘子里拿起一个一模一样的卷饼往嘴边送。

    愣了愣神之后，苏念念把烤鸭卷拿起来，说了一句：“谢谢。”

    顾司玥冲她笑了笑。

    ……

    饭局结束，几人与韩路一打过招呼，各自离场。

    

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』