AI 公式

Transformer 的核心，通过 Query-Key-Value 计算注意力权重，让模型聚焦于输入序列中最相关的部分

为没有顺序信息的 Transformer 注入位置感知，使模型能够区分序列中不同位置的 token

Positional Encoding 的数学基础，正弦与余弦函数如何编码绝对与相对位置信息

将任意实数向量归一化为概率分布，是 Attention 权重计算和分类任务输出层的关键函数

Transformer 中每个层的非线性变换模块，由两层线性变换夹一个激活函数组成

对同一层所有神经元的输出做归一化，稳定训练过程、加速收敛，是 Transformer 的标配组件

概率论与机器学习中频繁出现的核心积分，是正态分布归一化常数的数学基础