标签： #transformer

从显存读写瓶颈出发，手算分块在线 Softmax，解释 FlashAttention 如何不物化 L×L 矩阵、保持精确结果，并用 PyTorch 2.14 SDPA 验证后端与性能。

从全注意力的平方成本出发，手算稀疏可见图，拆解局部窗口、块布局和全局 token，并用 PyTorch 2.14 验证掩码语义与输出。

从训练长度外的 RoPE 相位失配出发，推导位置插值与非均匀频率缩放，并用长度、证据位置和任务复杂度分桶验证有效上下文。

从自注意力的置换等变性出发，比较正弦与学习式绝对位置，并推导 RoPE 如何把相对位移写进 Query–Key 点积。

从自回归推理的重复前缀计算出发，追踪 Key/Value 缓存的张量生长、等价性、复杂度与工程边界。

从条件生成的信息边界出发，组装因果自注意力、交叉注意力与 FFN，并拆解并行训练和逐 token 生成。

从注意力只负责位置混合的局限出发，拆解逐位置前馈网络、两条残差路径，并比较 Pre-LN 与 Post-LN 的数据流和梯度路径。

从循环注意力的串行瓶颈出发，手算 Query、Key、Value 的缩放点积，解释多头分工、位置编码与两类掩码，并对齐 PyTorch 2.13 当前 API。