第一百八十三章 这不是有戏了吗？ (第3/3页)

    韩路一没有回应赵文渊。

    他重新打开CUDA的源代码，同时打开了视界。

    现在韩路一已经完全了解问题是什么了：赵文渊既不是解决不了开发难度，也不是没有方向和思路。

    他只是没有时间像英伟达之前做的那样，一点点找到和他们硬件最匹配的参数。

    想做可以，老老实实把人力物力和时间花进去，最后也能把适配做完，但这恰恰是英伟达的护城河所在。

    如果自己适配的代价比直接买英伟达的成品还大，谁还有动力去做这件事？

    现在唯一的好处是，视界可以不用一步一步实验，直接找到最优解；甚至不仅是最优解，连为什么这个是最优解、怎么来的都知道。

    比如，为什么Softmax的最优解不是垂直实现，而是分成三个阶段？这不是额外制造了冗余吗？

    为的是避免在少见情况下的数据溢出问题。

    再比如，什么是矩阵乘法分块的最佳尺寸？太大了放不下，太小了效率低。这个本来要一个一个试才能得到的数据，视界直接就能给出解答。

    很快，韩路一把几个关键数据输入到第一版的提示词里。这样智能体就不会自由发挥、尝试去找最优解，而是按照韩路一的提示词执行即可。

    “Softmax使用三阶段算法，并且在第二阶段的Reduce中，确保局部最大值的指数和更新顺序保持一致。”

    “矩阵乘法的大小使用64x64。”

    ……

    韩路一连续输入了十几条具体的调优指令，然后把修改后的提示词一起发给智能体。

    智能体又回去勤勤恳恳地干活儿了。

    五分钟后，一个大大的绿色PASS出现在屏幕上，效率和精度都达标了。

    赵文渊坐在旁边，人已经傻了。

    他不顾韩路一还坐在电脑前，把头凑到屏幕前，把测试报告从头到尾看了一遍。

    精度误差是2.3e-6，远低于1e-5的要求。

    性能也达到了N卡实现的83%。

    不信邪的赵文渊直接打开生成的原始代码，逐行看了起来。

    他越看越沉默。

    整段代码的结构和之前一次生成的大差不差，但所有需要经过大量测试才能得出来的结论都被替换成了新值，而这些新值导致了结果的变化。

    这是一个对底层硬件有深刻理解的人才能写出来的东西。

    不，准确地说，是一个对底层硬件有深刻理解的人，才能指导AI写出来的东西。

    赵文渊转过头，看着韩路一。

    “韩总，这些值，你都是怎么确定下来的？你怎么知道它们能过？”

    韩路一往后靠在椅背上，微微一笑：“我看了文档。”

    “我去，原来你看了文档啊，不早说。”赵文渊先开了个玩笑，然后声音突然拔高，“我也看了两天文档，跑了十几个测试，我都没找到这个tile尺寸，你看了几分钟就看出来了？”

    韩路一没有回答，只是接着笑。

    赵文渊盯着他看了好一会儿，最后像泄了气一样靠回椅子上。

    “行吧。”他叹了一口气，说道，“我不问了。”

    他之前不是没想过用AI来做这些工作，但AI根本做不了。每次跑出来的结果，不是卡死，就是偏差太大。

    怎么韩路一一上手就好用了？

    赵文渊现在只想火速删掉发给韩路一的那个共享文档的标题。

    韩路一在他眼前，把他觉得不可能的事情做出来了。

    如果这个不是偶然呢？

    如果scaled_dot_product_attention可以这样做，那其他算子呢？

    什么暂无可行性啊？

    什么叫“别想了，没戏”啊？

    这不是有戏了吗？

    他现在非常想让那个前同事过来现场看看。

『加入书签，方便阅读』