第二百九十二章 十七个集群，十七倍算力 (第3/3页)

    视界定位的结论是：注意力层之后的归约通信，几个任务分片同时撞上同一批物理链路，触发了跨排链路堵塞。

    他正准备开口，江松然先说话了。

    “通信模式和物理拓扑对不上。”江松然指着屏幕上的波形说，“你们看，每次拥塞都在注意力层之后；几个分片同时跑归约运算，一起发到跨排链路上，所以每个尖峰都在注意力层后面。”

    赵文渊抱着手站在旁边，开口问：“是因为通信协议？”

    “是啊，是因为通信协议。”江松然确认道。

    随后他转向韩路一，语气遗憾：“韩总，现在用的通信模式在五百卡已经是上限了。”

    江松然和赵文渊得出了和韩路一一样的结论。

    区别在于：韩路一是开挂看出来的，视界直接帮他定位到数据阻塞处，也给出了原因。

    江松然和赵文渊却是凭多年实战经验和技术理解得出的结论。

    顶级技术专家的含金量，在这里就体现出来了。

    人才虽然贵，但贵有贵的道理。

    韩路一暗自点头。

    视界再厉害，他也只是一个人，不可能自己攻克所有技术难关。

    团队里有了赵文渊、江松然，以及新加入的薛兆恒这些各方面的人才，才是源智走得更远的底气。

    韩路一脸上没有失望，反而安慰两人：“没事，能增加十六个五百卡集群，对我们来说已经是巨大的进步。路要一步一步走，饭要一口一口吃。”

    “我们现在最迫在眉睫的任务是解决推理算力问题。推理请求对显存和卡间通信的需求都没那么大；现在我们有之前十七倍的算力，汤圆的潜力终于可以释放出来了。”

    这话江松然当然也知道。

    超大集群主要是训练需求，推理不需要。

    按正常公司的流程，现在要么采购英伟达硬件，用现成解决方案；

    要么还远没到需要自研超大集群通信的进度。

    源智能走到今天这一步，发展过程像坐上了火箭。

    原本在江松然看来，光解决算子适配问题就得花几年；经过这几天的离奇经历，他把预期调整成了几个月。

    所以，几个月后，超大集群就得建起来。

    所以，一个他原以为短期内不会遇到的问题，突然变得棘手起来。

    源智现在撞上了一堵墙。

    一堵到现在为止只有英伟达跨过去了的墙——

    显卡间通信效率。

    韩路一看着监控屏幕上满屏的红色警告，笑了一下：“我们会找到办法的。”

    江松然看了看完全没有担心神色的赵文渊，又看了看韩路一。

    不知为什么，他心中也生出一股自信：不仅是对源智科技团队的自信，也是对韩路一的自信。

    之前认为解决不了的问题都解决了，难道现在会在这里被卡住？

    不会的。

    江松然没再说话，转身回到控制终端前，把刚才的测试日志导出来，为下一步技术突破做准备。

『加入书签，方便阅读』