---
title: "银行自建推理的新底座"
date: 2026-10-21
description: "2026年10月20日，DeepSeek全面开源内部核心推理框架DeepInfer（Apache 2.0）及Token编解码组件deepseek-recipe（MIT），支持英伟达SM100与华为昇腾950。官方数据显示首字平均400毫秒、96%输入命中缓存。本文核验PD分离、KV缓存、专家并行等机制，分析其对银行私有化、信创、降本的价值及开源仅离线、64卡门槛等边界。"
tags: ["DeepSeek","DeepInfer","推理框架","私有化部署","信创","银行算力","AI治理"]
schema_type: Article
references:
  - title: "突发，DeepSeek重磅开源核心推理引擎（36氪转新智元，2026-10-20）"
    url: "https://m.36kr.com/p/4034109983036552"
    source: "36氪/新智元"
  - title: "DeepSeek宣布将内部推理框架DeepInfer全面开源（新浪财经，2026-10-20）"
    url: "https://finance.sina.cn/2026-10-20/detail-inivwuii6427179.d.html"
    source: "新浪财经"
  - title: "DeepSeek V4.1 Flash大规模推理部署实践（微博，2026-10-20）"
    url: "https://m.weibo.cn/detail/5356155935130311"
    source: "微博"
  - title: "DeepInfer 开源仓库（GitHub）"
    url: "https://github.com/deepseek-ai/DeepInfer"
    source: "DeepSeek-AI"
  - title: "deepseek-recipe 生产级Token编解码组件（GitHub）"
    url: "https://github.com/deepseek-ai/deepseek-recipe"
    source: "DeepSeek-AI"
---

# 银行自建推理的新底座

**2026 年 10 月 20 日，DeepSeek 宣布全面开源内部核心推理框架 DeepInfer，其单个集群一天可服务约 155 万亿 Token，V4.1 Flash 高吞吐、低延迟的大规模推理正建立在它之上。**

**DeepInfer 采用 Apache 2.0 协议，同时开源的还有生产级 Token 编解码组件 deepseek-recipe（MIT 协议），支持英伟达 SM100 GPU 与华为昇腾 950 NPU。**

**官方线上数据显示，平均每个请求输入约 7.7 万 Token，首字平均 400 毫秒即可返回，生成阶段每秒输出约 230 个 Token，约 96% 的输入能够直接命中缓存。**

**如果说模型开源解决的是“用什么大脑”，那么推理引擎开源解决的是“如何把大脑高效、便宜、安全地跑起来”，这恰恰是银行私有化部署最关心的一层。**

**本文核验 DeepInfer 的技术机制与开源边界，分析其对金融业的价值、风险与落地路径。**

## 一、新闻由头：从模型开源走向推理开源

1. **DeepInfer 开源**：10 月 20 日，DeepSeek 宣布将内部推理框架全面开源，希望帮助企业优化大规模推理的吞吐与延迟，降低算力成本与能耗。
2. **配套组件**：同步开源生产级 Token 编解码组件 deepseek-recipe，负责把 OpenAI、Anthropic 等不同 API 格式统一转换并完成 Token 编解码。
3. **硬件支持**：支持名单包含英伟达 SM100 GPU 与华为昇腾 950 NPU，兼容多厂商计算芯片。
4. **开源脉络**：此前 DeepSeek 已开源模型、TileLang 算子语言与多个推理算子库，此次把请求从进门到输出的整条推理链路进一步摊开。
5. **持续承诺**：官方表示，后续新模型的推理代码与性能优化都会在 DeepInfer 中持续开源。

## 二、DeepInfer 解决什么问题

1. **推理是成本大头**：模型一旦进入生产，算力、显存、延迟与并发主要由推理系统决定，智能体长流程任务对推理成本尤其敏感。
2. **两阶段资源不同**：推理分为 Prefill（一次性读入全部 Token，比拼算力）与 Decode（逐字生成，瓶颈在显存读写），两类任务对硬件的需求完全不同。
3. **PD 分离架构**：DeepInfer 把 Prefill 与 Decode 拆到不同机器，Prefill 用 8 卡机、Decode 用 64 到 128 卡超节点，官方建议最小部署单元为 64 卡 Prefill 加 64 卡 Decode。
4. **统一 API 入口**：deepseek-recipe 把 OpenAI 的 Chat Completions、Responses 与 Anthropic 的 Messages 统一为同一对话格式，并处理特殊 Token 标记，降低多模型接入成本。
5. **目标是性价比**：整套设计围绕“在保证能力的前提下，把单位 Token、单位任务的成本压到最低”。

## 三、核心技术机制拆解

1. **KV 缓存复用**：智能体每轮都要重发系统提示与历史，DeepInfer 把算过的 KV 缓存存下，下一轮只算新增部分；同一张卡 Prefill 无缓存约每秒 6 万 Token、命中缓存可达约 150 万，相差约 25 倍。
2. **缓存集中存储**：缓存放在约 100PiB 的全固态 3FS 存储集群，智能体流量保留 3 天、聊天流量保留 7 天，任何 Prefill 机器都能读取，机器故障不影响缓存。
3. **滑动窗口注意力**：部分层采用窗口为 128 个 Token 的滑动窗口注意力，原本每次需重建最后 2560 个 Token 的窗口缓存，现在只需算 128 个，Prefill 总计算量减少近一半。
4. **投机解码**：自研 DSpark 先估计每个猜测被接受的概率，低概率不验证，配合 CPU 与 GPU 流水线并行，线上 Decode 吞吐进一步提升。
5. **MoE 专家并行**：V4.1 Flash 有 384 个路由专家，DeepInfer 将其摊到 64 张卡、每卡 6 个专家加 1 个热门副本，离线测试 64 卡 Decode 每卡每秒可输出约 2.6 万个 Token。
6. **动态负载均衡**：热门专家副本按负载统计动态重分配，Prefill 按输入长度分档、Decode 按请求数与缓存长度调度，系统整体可跑到理想均衡状态的约 80%。

## 四、对金融业的核心价值

1. **支撑私有化与数据不出域**：银行可在行内机房自建推理，信贷、客户、交易等敏感数据无需离开自有环境，直接契合数据安全与合规要求。
2. **显著降低自建成本**：PD 分离、缓存复用、专家并行等机制把单位算力吞吐大幅拉高，使银行自建推理集群的总体拥有成本（TCO）下降。
3. **信创与自主可控**：对华为昇腾等国产芯片的支持，为银行推进信创算力、降低对单一海外硬件依赖提供了可运行的推理底座。
4. **高并发与低延迟**：首字 400 毫秒、每秒数百 Token 的能力，可支撑客服、营销、交易辅助等海量并发场景与业务高峰。
5. **适配银行智能体**：96% 的缓存命中率尤其契合多轮、长文档、重复系统提示的银行智能体，让长流程任务“算得过账”。
6. **协议友好可商用**：Apache 2.0 与 MIT 都是宽松协议，允许商用与二次开发，银行可在其基础上做安全加固与定制。

## 五、需要看清的边界与风险

1. **开源版仅离线推理**：官方明确开源版本目前提供离线推理，直接对外服务的在线能力仍需自行补齐。
2. **核心调度未全开**：KV 缓存管理与负载均衡因与内部基础设施绑定较深，代码暂未完整开源，仅以技术长文和问答披露设计。
3. **部署门槛较高**：最小 64 卡 Prefill 加 64 卡 Decode 的单元规模，对中小银行的资金、机房与运维能力构成现实门槛。
4. **依赖配套基础设施**：高缓存命中率依赖 3FS 等大规模分布式存储，银行需评估自身存储与网络条件。
5. **一方数据口径**：吞吐、延迟、命中率等主要来自官方线上统计或媒体测算，实际表现与业务负载、硬件型号强相关，需自测验证。
6. **运维与人才要求**：高性能推理系统的调优、排障与持续迭代，对银行的工程团队提出较高要求。

## 六、银行的落地建议

1. **先定部署模式**：按数据敏感度与业务规模，选择全自建、专有云或混合模式，核心敏感场景优先私有化，通用场景可走 API。
2. **规划信创推理栈**：结合昇腾等国产芯片做兼容性与性能测试，逐步构建可替代、可演进的信创推理能力。
3. **善用行业云与联合建设**：中小银行可依托行业云、区域联合或与厂商合作，分摊 64 卡级集群的建设与运维成本。
4. **补齐在线调度能力**：针对未开源的缓存管理与负载均衡，通过自研、采购或与 DeepSeek 生态合作补齐，避免“能离线、难上线”。
5. **做好容量与成本规划**：参考 PD 分离比例、缓存周期与每卡吞吐，建立自己的容量模型与单任务成本模型，纳入 FinOps 管理。
6. **从非核心场景试点**：先在离线批处理、文档分析、内部助手等场景验证稳定性与收益，再逐步扩展到对客与高风险场景。
7. **建立性能基准**：用本行真实流量与硬件环境压测首字延迟、生成速度、命中率与可用性，不直接套用官方数字。
8. **坚持高风险人工兜底**：涉及授信、资金、理赔的关键决策仍保留人工审批与审计留痕，推理底座只负责提效，不替代责任。

## 结语

DeepInfer 的开源，是 DeepSeek 从“开源模型”迈向“开源推理基础设施”的关键一步。对银行而言，它提供了一个把大模型高效、便宜、安全地跑在自己机房里的新底座，同时通过对国产芯片的支持，呼应了信创与自主可控的长期主线。但也要清醒看到：开源版本聚焦离线推理，最关键的在线缓存管理与负载均衡尚未完整开放，且 64 卡级的部署门槛不低。**真正的机会，属于那些既看得懂这套架构、又能结合自身规模补齐工程能力的银行——大型机构可深度自研，中小机构可借力行业云与生态合作。** 唯有把“降本的引擎”与“合规的缰绳”同时握住，银行才能在智能体规模化落地的浪潮中，既享受推理普惠的红利，又守住风险与安全的底线。

（口径说明：DeepInfer 与 deepseek-recipe 的开源时间、协议、硬件支持、集群规模、首字延迟、生成速度、缓存命中率、PD 分离与专家并行等机制，来自 DeepSeek 官方公告及 36 氪转新智元、新浪财经、微博等报道（2026-10-20）；性能数据多为官方线上统计或媒体测算，属厂商或第三方口径，实际生产表现以银行在自身硬件与负载下的测试为准。本文为行业与风险管理分析，不构成投资建议。）