银行自建推理的新底座

2026 年 10 月 20 日，DeepSeek 宣布全面开源内部核心推理框架 DeepInfer，其单个集群一天可服务约 155 万亿 Token，V4.1 Flash 高吞吐、低延迟的大规模推理正建立在它之上。

DeepInfer 采用 Apache 2.0 协议，同时开源的还有生产级 Token 编解码组件 deepseek-recipe（MIT 协议），支持英伟达 SM100 GPU 与华为昇腾 950 NPU。

官方线上数据显示，平均每个请求输入约 7.7 万 Token，首字平均 400 毫秒即可返回，生成阶段每秒输出约 230 个 Token，约 96% 的输入能够直接命中缓存。

如果说模型开源解决的是“用什么大脑”，那么推理引擎开源解决的是“如何把大脑高效、便宜、安全地跑起来”，这恰恰是银行私有化部署最关心的一层。

本文核验 DeepInfer 的技术机制与开源边界，分析其对金融业的价值、风险与落地路径。

一、新闻由头：从模型开源走向推理开源

1. DeepInfer 开源：10 月 20 日，DeepSeek 宣布将内部推理框架全面开源，希望帮助企业优化大规模推理的吞吐与延迟，降低算力成本与能耗。
2. 配套组件：同步开源生产级 Token 编解码组件 deepseek-recipe，负责把 OpenAI、Anthropic 等不同 API 格式统一转换并完成 Token 编解码。
3. 硬件支持：支持名单包含英伟达 SM100 GPU 与华为昇腾 950 NPU，兼容多厂商计算芯片。
4. 开源脉络：此前 DeepSeek 已开源模型、TileLang 算子语言与多个推理算子库，此次把请求从进门到输出的整条推理链路进一步摊开。
5. 持续承诺：官方表示，后续新模型的推理代码与性能优化都会在 DeepInfer 中持续开源。

二、DeepInfer 解决什么问题

1. 推理是成本大头：模型一旦进入生产，算力、显存、延迟与并发主要由推理系统决定，智能体长流程任务对推理成本尤其敏感。
2. 两阶段资源不同：推理分为 Prefill（一次性读入全部 Token，比拼算力）与 Decode（逐字生成，瓶颈在显存读写），两类任务对硬件的需求完全不同。
3. PD 分离架构：DeepInfer 把 Prefill 与 Decode 拆到不同机器，Prefill 用 8 卡机、Decode 用 64 到 128 卡超节点，官方建议最小部署单元为 64 卡 Prefill 加 64 卡 Decode。
4. 统一 API 入口：deepseek-recipe 把 OpenAI 的 Chat Completions、Responses 与 Anthropic 的 Messages 统一为同一对话格式，并处理特殊 Token 标记，降低多模型接入成本。
5. 目标是性价比：整套设计围绕“在保证能力的前提下，把单位 Token、单位任务的成本压到最低”。

三、核心技术机制拆解

1. KV 缓存复用：智能体每轮都要重发系统提示与历史，DeepInfer 把算过的 KV 缓存存下，下一轮只算新增部分；同一张卡 Prefill 无缓存约每秒 6 万 Token、命中缓存可达约 150 万，相差约 25 倍。
2. 缓存集中存储：缓存放在约 100PiB 的全固态 3FS 存储集群，智能体流量保留 3 天、聊天流量保留 7 天，任何 Prefill 机器都能读取，机器故障不影响缓存。
3. 滑动窗口注意力：部分层采用窗口为 128 个 Token 的滑动窗口注意力，原本每次需重建最后 2560 个 Token 的窗口缓存，现在只需算 128 个，Prefill 总计算量减少近一半。
4. 投机解码：自研 DSpark 先估计每个猜测被接受的概率，低概率不验证，配合 CPU 与 GPU 流水线并行，线上 Decode 吞吐进一步提升。
5. MoE 专家并行：V4.1 Flash 有 384 个路由专家，DeepInfer 将其摊到 64 张卡、每卡 6 个专家加 1 个热门副本，离线测试 64 卡 Decode 每卡每秒可输出约 2.6 万个 Token。
6. 动态负载均衡：热门专家副本按负载统计动态重分配，Prefill 按输入长度分档、Decode 按请求数与缓存长度调度，系统整体可跑到理想均衡状态的约 80%。

四、对金融业的核心价值

1. 支撑私有化与数据不出域：银行可在行内机房自建推理，信贷、客户、交易等敏感数据无需离开自有环境，直接契合数据安全与合规要求。
2. 显著降低自建成本：PD 分离、缓存复用、专家并行等机制把单位算力吞吐大幅拉高，使银行自建推理集群的总体拥有成本（TCO）下降。
3. 信创与自主可控：对华为昇腾等国产芯片的支持，为银行推进信创算力、降低对单一海外硬件依赖提供了可运行的推理底座。
4. 高并发与低延迟：首字 400 毫秒、每秒数百 Token 的能力，可支撑客服、营销、交易辅助等海量并发场景与业务高峰。
5. 适配银行智能体：96% 的缓存命中率尤其契合多轮、长文档、重复系统提示的银行智能体，让长流程任务“算得过账”。
6. 协议友好可商用：Apache 2.0 与 MIT 都是宽松协议，允许商用与二次开发，银行可在其基础上做安全加固与定制。

五、需要看清的边界与风险

1. 开源版仅离线推理：官方明确开源版本目前提供离线推理，直接对外服务的在线能力仍需自行补齐。
2. 核心调度未全开：KV 缓存管理与负载均衡因与内部基础设施绑定较深，代码暂未完整开源，仅以技术长文和问答披露设计。
3. 部署门槛较高：最小 64 卡 Prefill 加 64 卡 Decode 的单元规模，对中小银行的资金、机房与运维能力构成现实门槛。
4. 依赖配套基础设施：高缓存命中率依赖 3FS 等大规模分布式存储，银行需评估自身存储与网络条件。
5. 一方数据口径：吞吐、延迟、命中率等主要来自官方线上统计或媒体测算，实际表现与业务负载、硬件型号强相关，需自测验证。
6. 运维与人才要求：高性能推理系统的调优、排障与持续迭代，对银行的工程团队提出较高要求。

六、银行的落地建议

1. 先定部署模式：按数据敏感度与业务规模，选择全自建、专有云或混合模式，核心敏感场景优先私有化，通用场景可走 API。
2. 规划信创推理栈：结合昇腾等国产芯片做兼容性与性能测试，逐步构建可替代、可演进的信创推理能力。
3. 善用行业云与联合建设：中小银行可依托行业云、区域联合或与厂商合作，分摊 64 卡级集群的建设与运维成本。
4. 补齐在线调度能力：针对未开源的缓存管理与负载均衡，通过自研、采购或与 DeepSeek 生态合作补齐，避免“能离线、难上线”。
5. 做好容量与成本规划：参考 PD 分离比例、缓存周期与每卡吞吐，建立自己的容量模型与单任务成本模型，纳入 FinOps 管理。
6. 从非核心场景试点：先在离线批处理、文档分析、内部助手等场景验证稳定性与收益，再逐步扩展到对客与高风险场景。
7. 建立性能基准：用本行真实流量与硬件环境压测首字延迟、生成速度、命中率与可用性，不直接套用官方数字。
8. 坚持高风险人工兜底：涉及授信、资金、理赔的关键决策仍保留人工审批与审计留痕，推理底座只负责提效，不替代责任。

结语

DeepInfer 的开源，是 DeepSeek 从“开源模型”迈向“开源推理基础设施”的关键一步。对银行而言，它提供了一个把大模型高效、便宜、安全地跑在自己机房里的新底座，同时通过对国产芯片的支持，呼应了信创与自主可控的长期主线。但也要清醒看到：开源版本聚焦离线推理，最关键的在线缓存管理与负载均衡尚未完整开放，且 64 卡级的部署门槛不低。真正的机会，属于那些既看得懂这套架构、又能结合自身规模补齐工程能力的银行——大型机构可深度自研，中小机构可借力行业云与生态合作。 唯有把“降本的引擎”与“合规的缰绳”同时握住，银行才能在智能体规模化落地的浪潮中，既享受推理普惠的红利，又守住风险与安全的底线。

（口径说明：DeepInfer 与 deepseek-recipe 的开源时间、协议、硬件支持、集群规模、首字延迟、生成速度、缓存命中率、PD 分离与专家并行等机制，来自 DeepSeek 官方公告及 36 氪转新智元、新浪财经、微博等报道（2026-10-20）；性能数据多为官方线上统计或媒体测算，属厂商或第三方口径，实际生产表现以银行在自身硬件与负载下的测试为准。本文为行业与风险管理分析，不构成投资建议。）