标签：Transformer

共 1 篇文章

• 给模型做注意力体操：从Attention原理推导高质量后训练数据的五条黄金法则 2026-09-05

  基于《Understanding Attention》手册从QKV、因果掩码与位置编码、密集与稀疏注意力、注意力可解释性、KV缓存压缩等底层原理，推导出高质量后训练数据（SFT、RLHF/DPO、Long-Context微调）构建的五条黄金法则，并给出统一框架、自检清单与实操示例。