第三百六十章 钓鱼佬能不能赶上聚餐 (第2/3页)

汤圆的底座和那些数据拿到N卡集群上去跑，训练速度也不会更快。

    这次他倒没想去找韩路一。

    因为后训练是他的强项、他的领域，他不觉得韩路一会比他更懂。

    更重要的是，韩路一临走前特意跟他说过，要对他放手。

    那他就更得证明自己的价值了。

    不就是训练速度遇上算法瓶颈吗？不就是还没有人做出更优化的训练算法吗？

    难道我赵文渊就做不出来？

    搞笑。

    赵文渊让训练任务继续跑下一轮，自己在电脑上调出了上一轮的运行数据。

    仔细看了一圈，他发现了第一个问题。

    各个节点的运行效率并不一样。

    Transformer架构的开创性贡献，是把以前只能串行的机器学习任务变成可以并行；于是机器学习也能像大数据处理一样，用大集群加快速度、提升效果。

    基本原理很简单：把大任务切成小任务，派一个集群一起执行，执行完再合并。

    问题是怎么分？

    最理想的情况，是每个节点运算能力都一样，任务便分得一样大，每个节点负责的任务量也相同。

    这样就不会有时间浪费。

    可实际上很难做到平均分配。

    因为后训练的任务类型不一样。

    比如一个寝室决定聚餐，大家分头采买食材：有人去超市买菜，有人去海里钓鱼。买菜的人都回来了，鱼还没上钩。

    这没办法，钓鱼是不可细分的最小任务。

    现在通行的做法，是大家一起等这个钓鱼佬回来，再把阶段性结果写进硬盘，进行下一步。

    问题是，该怎么把效率再往上提一提呢？

    赵文渊托着下巴正想，门外忽然响起敲门声。

    思路被打断，他缓了缓才开口。

    “请进。”

    章闻铎推

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』