标签：长上下文

共 3 篇文章

• 把一亿 token 装进模型的“记忆”里：EverMind 开源 MSA 能干什么、不能干什么，以及对银行知识库的启示 2026-10-22

  MSA（Memory Sparse Attention）是盛大集团旗下 EverMind 团队开源的长记忆框架，主张把检索和生成合进一个端到端可训练的稀疏注意力层，在 2 张 A800 上支撑 1 亿 token 的记忆推理。本文依据 GitHub 仓库、arXiv 论文与 Hugging Face 模型卡，拆解其架构、三阶段推理与 Memory Interleave 多跳机制，梳理实测数据与局限，并分析它对银行 RAG 知识库、长历史智能体和数据合规的意义。

• 预填充只走前半程：小米 MiMo-V3 架构剧透，给银行大模型长上下文划出三条线 2026-09-24

  以量子位对小米 MiMo-V3 架构（HySparse2）的报道为切口，把预填充提前退出、两级 KV 共享、token 级稀疏选择三项工程取舍翻译成银行语言，提出“效率层/控制层”二分、“三把尺子”口径纪律与“证据粒度阶梯”三个分析框架，拆解 KV Cache 驻留背后的数据留存风险，并给出机构侧六项行动清单与六组问答。

• 给模型做注意力体操：从Attention原理推导高质量后训练数据的五条黄金法则 2026-09-05

  基于《Understanding Attention》手册从QKV、因果掩码与位置编码、密集与稀疏注意力、注意力可解释性、KV缓存压缩等底层原理，推导出高质量后训练数据（SFT、RLHF/DPO、Long-Context微调）构建的五条黄金法则，并给出统一框架、自检清单与实操示例。