正文 第845章 花钱挂个名，很合理吧？
顾屿敲了敲桌面，抛出了那个价值千金的灵魂拷问。
“一个句子里面的每个词，为什么不能对这句话里的其他所有词施加注意力？让序列内部自己看自己。”
会议室里安静得落针可闻。
安德烈的眼睛瞪大，此刻只觉像遭了高压电击。
顾屿提出的这个概念，就是后世大模型时代的基石。
自注意力机制。
为了让这几个天才彻底打通任督二脉，顾屿开始用最通俗的语言描绘那个恐怖的数学模型。
“你们把每一个词想象成带着三个不同身份去参加相亲大会。我们管这三个身份叫Q、K和V。”
顾屿竖起三根手指。
这其实是一个非常直白的查询匹配逻辑。
Q代表QUery，也就是查询。相当于你带着一个问题去图书馆找书。
K代表Key，也就是键值。相当于书架上每一本书的标签和简介。
V代表ValUe，也就是内容。相当于那本书里真正写着的知识。
“当一个词想要理解自己在句子中的含义时，它就拿着自己的Q，去和句子里所有其他词的K进行匹配打分。谁的分数高，就说明谁跟它关系最紧密。然后把高分对应的V提取出来，融合到自己身上。”
顾屿看着屏幕那头目瞪口呆的三人，做出了最终的总结陈词。
“不需要排队。所有的词在同一时间，拿着自己的Q去和别人的K进行矩阵相乘。这完全是一个可以用GPU暴力加速的并行矩阵运算。”
安德烈根本没等顾屿把话说完。他直接抄起一支红色的马克笔，转身扑向了背后的白板。
笔尖在白板上疯狂摩擦，发出一连串刺耳的吱吱声。一串串极其复杂的矩阵变换公式被他写了出来。
“对。对。矩阵乘法。Q的转置乘以K。太优美了。这就解决了并行的计算瓶颈。”
安德烈一边写一边用俄语大声感叹。
但他写着写着，动作突然停住了。
“等等，有个数学上的漏洞。”安德烈盯着白板上的一个点积运算式，
“如果序列变长，维度变大。Q和K的点积结果会变得极其庞大。这丢进SOftmaX函数里，会导致梯度直接消失。模型根本无法训练。”
任少卿也看出了这个问题，脸色变得有些凝重。
这就是新架构在理论推导时最容易死掉的环节。
顾屿坐在北京的办公室里，极其随意地掸了掸袖口。
“那就给它套个缰绳。”顾屿语气平缓，循循善诱，
“安德烈，既然是向量维度变大导致点积结果的方差变大，作为一个数学家，你通常用什么工具把它的分布重新拉回标准差为1的平滑状态？”
白板前的安德烈猛地一僵。
他脑子里灵光乍现，几乎是咆哮着用俄语喊了出来：
“除以方差的平方根！对！除以维度的平方根！”
他赶紧用袖子擦掉一半的算式，重新
“一个句子里面的每个词，为什么不能对这句话里的其他所有词施加注意力？让序列内部自己看自己。”
会议室里安静得落针可闻。
安德烈的眼睛瞪大，此刻只觉像遭了高压电击。
顾屿提出的这个概念，就是后世大模型时代的基石。
自注意力机制。
为了让这几个天才彻底打通任督二脉，顾屿开始用最通俗的语言描绘那个恐怖的数学模型。
“你们把每一个词想象成带着三个不同身份去参加相亲大会。我们管这三个身份叫Q、K和V。”
顾屿竖起三根手指。
这其实是一个非常直白的查询匹配逻辑。
Q代表QUery，也就是查询。相当于你带着一个问题去图书馆找书。
K代表Key，也就是键值。相当于书架上每一本书的标签和简介。
V代表ValUe，也就是内容。相当于那本书里真正写着的知识。
“当一个词想要理解自己在句子中的含义时，它就拿着自己的Q，去和句子里所有其他词的K进行匹配打分。谁的分数高，就说明谁跟它关系最紧密。然后把高分对应的V提取出来，融合到自己身上。”
顾屿看着屏幕那头目瞪口呆的三人，做出了最终的总结陈词。
“不需要排队。所有的词在同一时间，拿着自己的Q去和别人的K进行矩阵相乘。这完全是一个可以用GPU暴力加速的并行矩阵运算。”
安德烈根本没等顾屿把话说完。他直接抄起一支红色的马克笔，转身扑向了背后的白板。
笔尖在白板上疯狂摩擦，发出一连串刺耳的吱吱声。一串串极其复杂的矩阵变换公式被他写了出来。
“对。对。矩阵乘法。Q的转置乘以K。太优美了。这就解决了并行的计算瓶颈。”
安德烈一边写一边用俄语大声感叹。
但他写着写着，动作突然停住了。
“等等，有个数学上的漏洞。”安德烈盯着白板上的一个点积运算式，
“如果序列变长，维度变大。Q和K的点积结果会变得极其庞大。这丢进SOftmaX函数里，会导致梯度直接消失。模型根本无法训练。”
任少卿也看出了这个问题，脸色变得有些凝重。
这就是新架构在理论推导时最容易死掉的环节。
顾屿坐在北京的办公室里，极其随意地掸了掸袖口。
“那就给它套个缰绳。”顾屿语气平缓，循循善诱，
“安德烈，既然是向量维度变大导致点积结果的方差变大，作为一个数学家，你通常用什么工具把它的分布重新拉回标准差为1的平滑状态？”
白板前的安德烈猛地一僵。
他脑子里灵光乍现，几乎是咆哮着用俄语喊了出来：
“除以方差的平方根！对！除以维度的平方根！”
他赶紧用袖子擦掉一半的算式，重新
本章未完，点击下一页继续阅读
(2/4)