第四百四十一章 新模型，新名字 (第2/3页)

是系统一的任务：答案域极窄，无非简单、中等、复杂三档；想再细些，五档也绰绰有余。

    韩路一问道：“所以这类任务，有比用汤圆轻量版更好的解法？”

    视频里的赵文渊露出高深莫测的笑：“有的，韩总，有的。”

    他接着解释：“当初Transformer架构刚出来时，用的是编码器-解码器（Encoder-Decoder）架构；现在的类GPT大模型，包括汤圆，用的全是只有解码器的架构。这当然是因为这条路线足够优秀，能解决非常复杂的问题。可实际上，不同路线适用于不同问题。我们刚才讨论的分类问题，就有一种更合适的架构——只有编码器的架构。”

    江松然惊讶出声：“你是说BERT？”

    韩路一慢了一拍才反应过来：BERT是谷歌在2018年提出的技术路线，在GPT出现之前曾在机器学习领域非常热门；但随着类GPT模型成为市场主流，如今已渐渐少有人提起。

    “你是说？”韩路一问道。

    “传统BERT大概在几亿参数这个级别；而且因为不需要自回归生成预测，它不必反复做前向运算，只需一次就能得出结论。对我们刚才说的分类任务，完全可以做到50毫秒以内。”

    “多少？”江松然的呼吸都急促起来。

    “还不止。我刚说的是通用分类器；顺着这个思路，完全可以训练针对调度任务的特化分类器。汤圆API开放到现在积攒的调度数据，已足够训练。这种情况下，我们连几亿参数都不需要，可以把参数压到千万级别。这种模型的一次运算——”

    赵文渊一口气说了一大段，越说越兴奋；说到这里特意停顿，才伸出两只手，五指张开：“我说一个数——10毫秒。”

    “不可能！”江松然脱口而出。

    韩路一没有表态。现在还只是讨论技术方向，10毫秒的任务分类确实夸张：这速度都快赶上用代码写死的规则集分类了，更别提用模型动态分类了。

    可即使达不到10毫秒，50毫秒也足以让每次任务调度都跑一次这个新分类器模型；如果还能保持汤圆1.0的精确度，整个调度层的效率还能再提一大截。

    同样的硬件、同样的算

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』