第二百八十八章 你不知道NullPointer是谁？ (第1/3页)

    范小天把这不算太长的代码从头看到尾，又从尾看到头。

    然后又从头看到尾。

    整整看了半个小时。

    说实话，他没看懂。

    没看懂不是因为代码写得烂；恰恰相反，是代码写得太优雅了。

    优雅得不像适配层的代码。

    适配层的代码有个特点：它需要追求极致性能，但这也是有代价的——有时候不得不牺牲可读性。

    这跟做互联网的程序员不一样：对他们来说，程序的运算效率并不是最重要的，可读性反而更重要。

    因为代码终究是写给人看的：一个组里那么多工程师，今天你写，明天我写，如果你写的东西别人都看不懂，就很容易出Bug；至于这个程序会不会快或慢几十毫秒，相对来说没那么重要。

    所以互联网程序的代码往往不需要极致优化，但代码规范要求却很严格。

    而硬件适配层的代码就不一样了：可读性当然也重要，但硬件的使用效率往往追求极致——几毫秒的效率损耗会在高强度运行下被成千上万倍地放大，所以里面经常会有各种奇技淫巧的骇客（hack）方法。

    所谓骇客方法，是编程里的黑话，指那种不太规范、但好用的方法。

    比如在显卡里，正常应该在运行时计算显存和内核的比例；可这个数又不常变化，运行时计算等于凭空增加损耗，所以骇客方法就是把这个比例写死在代码里。

    虽然这会导致代码放到别的硬件上完全没法用，因为比例是写死的，但能提高运行效率。

    然而，刚刚提交的这段代码里，没有范小天平时看到的各种难以理解的骇客方法。

    简单、简洁、优雅，没有任何注释，可代码本身就能让你看明白它在干什么。

    就是这种看得懂，反而让范小天看不懂了。

    块内重计算的策略他认识，这是FlashAttention的核心思想之一：用重计算换显存，理论上可以把显存读写量降到接近理论最优值。

    但问题在于，把这个策略移植到L100上可不是一件容易的事。

    因为L100的共享内存布局和英伟达家的卡不一样，英伟达的实现没法直接搬过来，必须重新写一套专门适配L100内存架构的版本。

    这个版本要怎么写？得靠真实的性能分析（Profiling）数据反复校准。

    可我们现在连性能分析工具（Profiler）都还没写出来呢。

    这就相当于在没有仪表盘、没有导航，甚至没有地图的道路上赛车，还要排水渠过弯，把每一个弯道都跑出理论极限。

    这怎么可能？藤原拓海来

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』