第五百零二章 MIT还不错 (第2/3页)

    赵文渊正了正身子：行，总算到正题了。

    旁边的研究员切换文件，屏幕上出现几条训练曲线。

    高斯的一个重要应用方向，是接入三星自己的手机、家电和办公体系。因此完成通用预训练后，他们还会追加大量韩语和企业应用相关数据，进行下一阶段训练。

    可这造成了一个严重问题——模型的韩语表现提升了，英文、代码以及通用推理任务的成绩却不成比例地下降。

    三星的模型团队总是难以在原有底座模型上实现净提升，放弃韩语能力又是他们不能接受的，于是最终发布的高斯模型只能在几种方案里选一个最能被接受的折中方案。

    赵文渊看了一会儿，心里已经有了猜测。

    这个问题，汤圆0.9训练时他几乎遇见过一模一样的情况：如何在不降低总体能力的前提下，侧重增强中文语料的比重？

    赵文渊皱了皱眉，问：“你们的数据是怎么配的？”

    几个研究员面面相觑，一时拿不准这算保密范围还是非保密范围，最后都把目光投向李珍珠。

    李珍珠面无表情地点了点头。

    操作电脑的研究员说道：“前期以英文和代码数据为主，建立通用能力。后期大幅提高韩语和企业领域数据的占比，通用数据只保留百分之五，因为我们希望把有限的训练预算集中在目标能力上。”

    赵文渊眉头舒展开来：“那你们后半程应该很难受吧。刚切换数据时，韩语能力提升很快，通用能力也没明显退化；可往后就会顾此失彼、得不偿失。如果这时候再把学习率降下来，韩语能力又会退化，就像跷跷板，没办法两边同时提升。”

    李珍珠却皱起了眉。

    赵文渊说得太准确了，准确得就像他参与了训练过程一样。

    “那该怎么解决？”李珍珠忍不住用英文问。

    赵文渊看了她一眼，也直接用英文回答：“一开始就把通用数据占比提上来。这样前面几轮训练会有能力损失，但训练到后面，韩语能力和通用能力会同时提升。这里最关键的变量，其实是数据比例。”

    李珍珠不信答案会这么简单：“增加通用数据，我们试过。同样的训练预算下，韩语能力提升明显变慢。你怎么证明，多花在通用数据上的算力，比后期修复能力更值得、更有效？”

    赵文渊没想到这个小姑娘竟能跟上自己的思路，耐心解释道：“实验室可以算。拿一个中等大小的模型，用两种数据配比：一组从一开始就提高通用数据比例，一组沿用你们的方案，从同一个检查点出发；等韩语达到同一水平时，再比较旧能力保留了多少、总共用了多少算力。”说完，他又忍不住夸了一句，“你这个问题问得挺好，平时没少跑实验吧？”

    朴在中在旁边插话：“李组长是MIT毕业的高材生。”

    赵文渊说：“MIT的啊，那也还算不错了。”

    李珍珠听出他话里隐含的轻视，气得脸都红了；赵文渊却还以为她是被夸之后害羞。

    韩路一在旁边看着，内心狂叹：文渊啊文渊，朴在中没介绍她的身份，难道你就看不出来吗？一个堂堂副社长，凭什么对年纪比自己小那么多的副组长毕恭毕敬？

    李珍珠和研究员们用韩语讨论了一下，最后开口：“不好意思，这只是一个判断，请原谅我们没法接受。我们再讨论下一个问题吧。”

    赵文渊听了翻译的话，忍不住说：“那就现场跑一下啊。”

    “跑一下？”李珍珠一愣。

    “对，高斯大模型是云端和设备端都有的混合模型吧？我直接拿小模型做实验，多种数据比例并行跑，一两个小时就能出结果。”赵文渊说道。

    李珍珠咬了咬嘴唇：“好。”

    起源内部有现成的模型训练管线，连代码都不用写。赵文渊当着三星代表团的面，在一台笔记本电脑上手动配置了几个不同的数据配比。

    点击运行。

    几个训练任务

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』