Transformer 与大语言模型：第5章 Attention 的思想

第5章 Attention 的思想本章目标：不用公式，理解 Attention 为什么会出现，以及 Query、Key、Value 这三个名字的直觉含义。本章目录5.1 从一个问题开始5.2 人类是如何理解"it"的？5.3 RNN 是怎么做的？5.4 Attention 是怎么做的？5.5 Query、Key、Value 的直觉5.6 一个更直观的例子5.7 为什么需要三个矩阵？5.8 Attention 的本质5.9 与 CNN 的对比本章总结本章思考题下一章预告5.1 从一个问题开始假设你在读一篇文章：The animal didn't cross the street because it was too tired.请问：it指的是什么？你一眼就知道：it指的是animal，而不是street。但是你是怎么知道的？你的大脑做了什么？5.2 人类是如何理解"it"的？你读到it的时候，你的大脑会：扫描整个句子找到所有可能的候选词（animal、street）根据语义判断：tired更可能描述animal，而不是street得出结论：it = animal这个过程就是：根据当前词，去整个句子中寻找相关的词，并根据相关程度加权。这就是 Attention 的核心思想。5.3 RNN 是怎么做的？RNN 的做法是：Theanimaldidn'tcrossthestreetbecauseit信息从左到右，一步一步传递。当 RNN 处理到it的时候，animal的信息已经经过了 7 步传递。每一步都会有信息损失。所以 RNN 很难记住animal。5.4 Attention 是怎么做的？Attention 的做法是：