第二百八十六章 视界，加点 (第3/3页)

 韩路一精神一振。

    虽然这些提示语都是他自己写的插件，但功能是实打实的。

    韩路一打开江松然发来的适配清单，滚动了一会儿，找到一个标着三个红色感叹号的条目。

    FusedAttentionBackward，注意力融合反向算子。

    这是汤圆训练框架里最关键的算子之一，前向推理完全用不到，只有反向传播计算梯度时才会触发。

    正因为只在训练里出现，赵文渊和江松然他们一直没去适配它。毕竟要先保推理路径的流畅性，可训练效率上的损耗真实存在；真要做训练，这个算子必须得做。

    融合算子是什么？反向算子又是什么？

    前向Attention（注意力）大家都很熟悉。

    Query、Key、Value三组张量进来，算出注意力权重，再乘上V，得到输出。

    推理时，最重要的是前向快。

    可训练时，真正麻烦的是反向。

    你不仅要知道输出是什么，还要知道输出变化之后，Q、K、V三组值该怎么调整。

    按普通实现，这里可以用很多其他算子替代。

    先算dV，再算dP，再还原softmax梯度，一步步算过去。

    最后能得到一个新值，但每一个算子运算都要读写一次显存、搬运一次数据。

    而大家公认：搬数据，比算数据贵。

    聪明的芯片工程师想出一个办法。

    既然这个反向计算每次都要跑，跑法又固定，那把这些算子融合在一起，直接在显卡核心里一次性跑完，不就不用把数据搬来搬去了吗？

    这就是融合算子。

    想法很好，做起来却很难。

    反向计算本身占的内存就大，融合之后更大。

    这个算子，可以说是在考验工程师对硬件理解和内存编排的极限。

    这么难的任务，怎么办呢？

    韩路一调用刚拿到的【算子适配】技能，指向这个注意力融合反向算子。

    随即，韩路一眼中出现一个L100显卡的透明模型。

    模型在半空中逐渐放大，仿佛变成一座悬浮的立体工厂。

    每一个线程块，都是发光的巨大机械臂。

    每一段共享内存，是一排排透明储物格。

    寄存器像传送带，围绕巨大的计算核心运转；一块块数据被送进高速运转的计算核心，随后又被吐出来。

    韩路一明白，接下来的任务，是优化这座工厂的操作流程。

『加入书签，方便阅读』