Transformer 块内部拆解:自注意力 + 前馈神经网络是怎么协作的
42
上一篇把 LLM 拆成了 4 大模块,这篇深入 Transformer 块内部 —— 自注意力让词元"看别人",前馈网络让词元"想自己",两者一拍即合,堆 100 层就是 GPT。
AI #AI #大模型 #Transformer #自注意力 #NLP
阅读全文 上一篇把 LLM 拆成了 4 大模块,这篇深入 Transformer 块内部 —— 自注意力让词元"看别人",前馈网络让词元"想自己",两者一拍即合,堆 100 层就是 GPT。
把 LLM 看成黑盒太简单了 —— 拆解分词器、嵌入层、堆叠的 Transformer 块、语言建模头四个模块,讲清楚一句"我今天很"是怎么变成"开心"的。