标签： #深度学习

从全注意力的平方成本出发，手算稀疏可见图，拆解局部窗口、块布局和全局 token，并用 PyTorch 2.14 验证掩码语义与输出。

从训练长度外的 RoPE 相位失配出发，推导位置插值与非均匀频率缩放，并用长度、证据位置和任务复杂度分桶验证有效上下文。

从自注意力的置换等变性出发，比较正弦与学习式绝对位置，并推导 RoPE 如何把相对位移写进 Query–Key 点积。

从自回归推理的重复前缀计算出发，追踪 Key/Value 缓存的张量生长、等价性、复杂度与工程边界。

从条件生成的信息边界出发，组装因果自注意力、交叉注意力与 FFN，并拆解并行训练和逐 token 生成。

从注意力只负责位置混合的局限出发，拆解逐位置前馈网络、两条残差路径，并比较 Pre-LN 与 Post-LN 的数据流和梯度路径。

从循环注意力的串行瓶颈出发，手算 Query、Key、Value 的缩放点积，解释多头分工、位置编码与两类掩码，并对齐 PyTorch 2.13 当前 API。

从定长上下文瓶颈出发，手算 Bahdanau 加性注意力的能量、掩码与加权和，并用 PyTorch 2.13 实现可检查的序列到序列训练和自回归推理。