第二百六十八章 得一可安天下 (第2/3页)

团队早下班了，薛兆恒是为见韩路一特意留下的。

    机房和服务器集群的全部权限，仍在他手里。

    “韩总，您打算怎么验证？”薛兆恒问。

    “你自己也说过，L100集群要跑千亿级大模型，至少得解决两个难题。”

    “对，通信效率和算子库。”薛兆恒点头。

    大类只有两个，里头的技术挑战却数不清。

    单说算子库，英伟达的生态是一点一点磨出来的水磨工夫；不仅算子齐全，还一直在调优。同一个运算交给模型，在英伟达显卡上走CUDA就是快，换别的生态便快不起来。

    L100要做到同样的事，得让软件、硬件架构等多个团队协同，找出最高效的参数。

    CUDA生态的根基，就在这里。

    “这两个难题，我们解决了。”韩路一说得轻描淡写。熟悉他的人一听便知，他是故意的。

    薛兆恒还不熟他的风格，却仍觉得自己被嘲了。

    你知道自己在说什么吗？

    韩路一没理会他的反应，从兜里摸出个U盘。

    U盘是刚才在外头找刘彧要的，原本是空的；说话的工夫，他已用视界把源智私有代码库里的适配文件写了进去。

    薛兆恒只当这是他提前备好的。

    “这是源智团队重写的运行时和算子适配。你可以试着用一下，再去部署一个开源模型。”

    薛兆恒将信将疑：“你是说，源智抛开硅明提供的软件层，完全重写，还能跑到接近CUDA的水平？”

    韩路一没答，只把U盘又往前递了递。

    薛兆恒接过，插进机房中一台连着服务器集群的电脑。

    服务器都在内部局域网里，他不太担心U盘带毒。

    可他实在不信源智有本事做到韩路一说的那些。

    那不是真成中国英伟达了？

    U盘里躺着几个编译后的文件，命名规范，恰好能替换L100软件栈中算子库和运行时的部分。

    甚至不用韩路一指点，薛兆恒就知道该复制到哪儿，随即重启服务器。

    重启时，这些新写入硬盘的二进制文件会被载入内存，供集群调用。

    控制台终端开始滚动日志。

    L100 backend detected.（检测到L100后台）

    runtime initialized.（运行时已初始化）

    kernel fusion enabled.（算子融合已启用）

    memory planner initialized.（显存规划已初始化）

    multi-card scheduler ready.（多卡调度准备就绪）

    服务加载完毕。

    21B模型进入运行状态。

    薛兆恒呼吸微急。

    他没去手动输入问题、看模型回复。

    模型回什么，是做模型的人该操心的事。

    他只看硬件性能和利用效率。

    服务器里存着硅明平时测试用的脚本，能大量生成模型输入，对承载能力做压测。

    他没犹豫，运行测试脚本。

    监控数值开始变化。

    最先跳的是显存利用率。

    以前跑开源小模型，硅明自己的算子库连显存都分配不好，七成显存白白空着。

    眼下这个数字远远越过30%。

    75%……82%……88%……

    最后差不多稳在95%。

    没检测到回灌压力前，压测脚本还在加大并发。

    实时吞吐量已到二十五万词元/秒。

    薛兆恒记得，同样的测试上次卡在两万就上不去了。

    算力芯片上，真正衡量软件水平的关键指标叫模型算力利用率（Model FLOP Utilization，MFU）。它不直接显示在面板上，因为计算它要用芯片算力的极限值。

    若理论上芯片能跑1000 TFLOPS，模型实际只用到200 TFLOPS，MFU就是20%。

    跑21B模型，每生成一个词元约需2×21B，也就是大概42 GFLOPs。

    二十五万词元每秒对应250000×42 GFLOPs＝10500 TFLOPS。

    L100理论算力600 TFLOPS，32卡

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』