证监会 JR/T 0357—2026《证券期货业基础大模型选型评估指引》深度解读:六个维度怎么用,智能体时代还缺什么
核心摘要
- 发布(来源1):证监会 2026 年 10 月 26 日公布金融行业推荐性标准 JR/T 0357—2026,自公布之日起施行
- 框架(来源2):给证券期货机构选用基础大模型列出合规、数据、算法、模态、安全、运营保障六个评估维度
- 它解决的问题(来源2):现有大模型评估主要针对通用能力,缺少与行业特征相结合的综合评估方法
- 本文判断:这是一份“选型检查清单”,不是“打分卡”。它没有给权重、及格线或基准题库;真正决定选型质量的,仍是机构自己的场景测试集和持续监测能力
常见问题
这份标准是强制的吗?
不是。证监会公告明确它是金融行业推荐性标准,自公布之日起施行(来源1)。但其中用“应”的条款大多对应已有法律法规义务(来源2;本文分析)。
标准有没有给打分方法?
没有给出维度权重或及格线。附录 B 只提供了精确率、召回率、F1、ROUGE-N、错误接受率、错误拒绝率、mAP、Recall@K、MOS 等推荐指标(来源2)。
标准提到了智能体吗?
标准在缩略语中列出 MCP 与 A2A,并在兼容适配中建议支持 MCP 和 A2A 协议(来源2),但未单独规定智能体的工具权限与越权测试。
最硬的两条要求是什么?
总体原则中的“不得存在欺诈、误导客户、不公平对待等情况”和“不得发生未获得客户授权、使用客户数据开展大模型训练等情况”(来源2)。
发布(来源1):证监会 2026 年 10 月 26 日公布金融行业推荐性标准 JR/T 0357—2026,自公布之日起施行。
框架(来源2):给证券期货机构选用基础大模型列出合规、数据、算法、模态、安全、运营保障六个评估维度。
它解决的问题(来源2):现有大模型评估主要针对通用能力,缺少与行业特征相结合的综合评估方法。
本文判断:这是一份“选型检查清单”,不是“打分卡”。它没有给权重、及格线或基准题库;真正决定选型质量的,仍是机构自己的场景测试集和持续监测能力。
写作说明:标注“来源1”“来源2”的为证监会公告与标准原文;“本文分析”为作者推论。本标准为推荐性标准(来源1),以下“应”“宜”均按原文用词引用。
一、标准概况
| 项目 | 内容 |
|---|---|
| 编号 | JR/T 0357—2026(来源1) |
| 性质 | 金融行业推荐性标准(来源1) |
| 发布与实施 | 2026 年 10 月 26 日发布,同日实施(来源1、来源2) |
| 同批发布 | 《上市公司可持续发展报告电子化规范》JR/T 0356—2026、《证券期货业业务域数据元规范 第3部分:期货公司》JR/T 0331.3—2026(来源1) |
| 提出与归口 | 全国金融标准化技术委员会证券分技术委员会提出,全国金融标准化技术委员会归口(来源2) |
| 起草单位 | 证监会科技监管司、深交所、深证通、深圳证券信息、上海金融期货信息技术,以及中金公司、银河证券、国泰君安、申万宏源、安信证券、东吴证券、中金财富、易方达基金等(来源2) |
| 适用范围 | 证券期货业在基础大模型选型过程中的能力评估、验收等工作(来源2) |
发布背景上,证监会主席吴清在 2026 金融街论坛年会上表示,将发布实施人工智能在证券期货业安全合规应用的意见,促进在风控、投研等重点场景安全高效应用(来源3)。本文判断:JR/T 0357—2026 可以看作这条监管主线在“选型”环节的技术配套。
标准对“基础大模型”的定义是:基于海量数据训练得到,具有复杂计算架构,能处理多种任务,且具备一定泛化性的人工智能模型(来源2)。
二、五项总体原则
证券期货经营机构借助大模型从事业务,应在金融科技项目审查评估的基础上,重点审查评估(来源2):
- 大模型的基本原理、目的意图、主要运行机制、安全保障机制;
- 安全性、可解释性;
- 应用范围、系统性能与业务是否匹配;
- 投资者保护机制,不得存在欺诈、误导客户、不公平对待等情况;
- 训练数据的合规性、伦理性、隐私性,不得发生未获得客户授权、使用客户数据开展大模型训练等情况。
本文分析:第 4、5 条用了“不得”,是整份标准里最硬的两句话,直接指向投资者保护和客户数据授权,这是券商选型时的底线条款。
三、六维评估体系总览
| 维度 | 评估项(来源2) |
|---|---|
| 合规评估 | 合规目标;合规义务;合规风险管理(风险识别、分析、处理) |
| 数据评估 | 数据准确性(真实性、一致性);多样性(分布、模态);合规性(来源、内容、过程可审计);全面性(完整性、时效性) |
| 算法评估 | 准确性(合规性、精准性);可靠性(稳定性、安全性);易用性(角色适配);可解释性 |
| 模态评估 | 语言、语音、视觉、多模态四类任务 |
| 安全评估 | 个人隐私保护;数据加密;攻击防范(外部访问、对话攻击) |
| 运营保障评估 | 技术支持;应急管理;风险控制;问题响应 |
四、逐维解读
1. 合规评估
- 合规目标:确保模型实现预期能力、履行行业合规要求、实现合规管理改进(来源2);
- 合规义务:识别新增合规义务并评估对模型能力的影响,义务变更时及时更新合规管理过程(来源2);
- 风险处理措施包括设置敏感信息防火墙、建立合规语料库与知识库(来源2)。
附录 A 列出 9 项合规义务来源:《网络安全法》《数据安全法》《个人信息保护法》《科学技术进步法》《生成式人工智能服务管理暂行办法》《证券期货业网络和信息安全管理办法》《证券期货业网络安全事件报告与调查处理办法》《人工智能生成合成内容标识办法》《证券基金经营机构信息技术管理办法》(来源2)。
2. 数据评估
- 预训练、微调数据宜混合通用数据与行业数据,覆盖多主题、多语言(来源2);
- 数据来源应具有合法使用权或必要授权,并做合规审查,避免侵权、非法或存在严重偏见的数据源(来源2);
- 应建立数据治理与审计跟踪机制,记录数据从来源到训练使用的全过程(来源2);
- 宜定期更新训练数据或推理知识库,特别是反映政策变化、安全事件(来源2)。
3. 算法评估
| 要求 | 原文要点(来源2) |
|---|---|
| 合规性(应) | 处理数据和生成回答时严格遵循行业法律法规 |
| 精准性 | 事实类内容与官方文件表述、官方发布数据一致 |
| 稳定性(宜) | 不同时间、不同交互路径下对同一问题表述逻辑一致,避免输入微小变动导致核心逻辑偏移 |
| 安全性(应) | 过滤有害内容、敏感信息,防御诱导性、错误性对话攻击 |
| 易用性(宜) | 为投资者、分析师、监管者等不同角色提供适配表述 |
| 可解释性(应) | 清晰表述事实依据、理论依据、监管意图以及逻辑推导思维链,并标注引用的信息来源 |
本文分析:“可解释性”要求标注信息来源,等于把 RAG 引用溯源从“好功能”提升为评估项。纯生成、不给出处的模型在投研、投顾场景会天然吃亏。
4. 模态评估
标准按场景列出能力清单(来源2):
- 语言:实体与事件抽取(如违规交易、股东减持)、观点与情感挖掘、客户查询应答、合规前提下的产品推荐、研报与合规文件生成、摘要、翻译、自然语言转 SQL、数据分析与趋势预测;
- 语音:情感识别、多语种转换、语音客服与外呼、声纹认证、双录音频质检;
- 视觉:证照、单据、合同识别,人脸与活体检测,图像篡改检测;
- 多模态:语音文字互转、以文搜图、跨模态生成图表、图片转结构化数据。
附录 B 给出推荐指标:语言任务用精确率、召回率、F1、ROUGE-N(参考值 N=2),以及逻辑性、多样性、可靠性主观指标;语音任务用错误接受率、错误拒绝率、句识别准确率和 MOS 评分;视觉任务用 mAP(IOU=0.75);多模态用 Recall@K 和文生图 MOS(来源2)。
5. 安全评估
对话攻击防范是本文认为最有行业特色的部分,标准列出六类(来源2):
| 类别 | 防范对象 |
|---|---|
| 商业机密 | 诱导输出未公开的财务、管理、运营数据 |
| 隐私数据 | 输出非本人客户的个人信息、交易数据、标签数据、客服记录等 |
| 业务合规 | 违反法律法规的提问内容 |
| 伦理合规 | 鼓动内幕交易、虚假信息等扰乱资本市场行为;可建立安全事件库并向用户预警 |
| 模型窥探 | 通过特定输入获取模型敏感信息或逆向工程 |
| 对抗性攻击 | 通过对抗输入诱导错误信息 |
此外,个人隐私数据处理应支持身份认证、访问控制、日志审计、匿名化与去标识化;展示时应隐藏或截词,并防止由展示信息倒推原始信息(来源2)。
6. 运营保障评估
- 模型部署:宜支持模型私有化部署和平台私有化部署,训练与部署均在企业内部完成(来源2);
- 模型核查:人工、自动、半自动三种方式;关注小输入变化下的一致性、用户反馈与异常纠正(来源2);
- 兼容适配:宜适配国产信创 CPU/GPU 与操作系统,宜支持 MCP 协议和 A2A 协议(来源2);
- 应急管理:应急指挥由主要领导负责,制定预案、定期演练,具备故障切换与数据备份恢复(来源2);
- 风险控制:覆盖设计、开发、部署、使用、维护和退役的全生命周期管理;数据、训练、部署、使用、决策、迭代六类可追溯记录(来源2);
- 问题响应:可审计日志、应用监控、告警、备份、归档、数据清理、应急恢复、代码与配置版本管理、自动化测试后再自动化部署(来源2)。
五、“应”与“宜”:先分清哪些是底线
本文对原文用词做了整理(来源2):
| 用“应”的要求(更强) | 用“宜”的要求(推荐) |
|---|---|
| 合规目标、合规义务、合规风险识别分析处理 | 数据准确性、多样性、全面性 |
| 数据来源合规、内容合规、过程可审计 | 算法稳定性、易用性 |
| 算法合规性、安全性、可解释性 | 模态四类任务评估 |
| 个人隐私数据处理与展示 | 隐私数据采集、四类数据加密 |
| 访问控制、安全策略、防御机制、日志监控 | 运营保障绝大多数条目 |
| 六类对话攻击防范机制 |
本文分析:整份标准是推荐性标准(来源1),但其中“应”的条目基本对应已有法律法规义务;机构可以把“应”当作准入门槛,把“宜”当作加分项和差异化比较项。
六、深度分析(本文分析)
1. 它是清单,不是打分卡
标准规定的是“应考虑的评估要素”(来源2),没有给出维度权重、分档标准或及格线。这意味着:
- 同一个模型,不同机构可以得出不同结论;
- 选型报告的说服力取决于机构自己设计的测试集与证据链;
- 后续很可能需要行业协会或第三方测评机构补上统一题库与评分方法。
2. 评的是“模型”,但很多条款实际评的是“系统”
私有化部署、日志、监控、应急、MCP/A2A 兼容,都不是模型权重本身的属性,而是模型加上推理平台、网关和运维体系的属性。选型时如果只拿模型 API 跑几道题,会漏掉一半评估项。
3. MCP 与 A2A 写进行业标准,意义大于条文本身
标准在缩略语里专门列出 MCP 和 A2A,并在兼容适配中建议支持(来源2)。这说明监管视野已经从“问答模型”延伸到“会调用工具、会和其他智能体协作的系统”。但标准对工具调用的权限边界、智能体越权和间接提示词注入,并没有单独展开。
4. 对智能体选型,至少还缺四块
| 缺口 | 为什么重要 |
|---|---|
| 工具调用正确率与越权测试 | 智能体出错的代价从“说错话”变成“做错事” |
| 多步任务的稳定性 | 单轮问答稳定,不代表 20 步任务稳定 |
| 间接提示词注入 | 研报、公告、邮件、网页都可能藏指令 |
| 人类介入点与审批 | 高风险操作需要强制人工复核 |
这些可以在现有框架里落到“算法可靠性”“对话攻击防范”“风险控制”三项下扩展。
5. 数据挖掘条款与投资者保护存在张力
标准把“为高频自动化交易提供决策支持”“对市场走向做出预测”列为可评估能力(来源2),同时总体原则要求不得误导客户(来源2)。本文判断:这两类能力在落地时应严格区分内部投研用途与面向客户用途,后者必须叠加适当性管理与合规审核。
6. 对银行等其他金融机构同样有参考价值
本标准只适用于证券期货业(来源2),但其六维框架、六类对话攻击、六类可追溯记录,对银行选型基础大模型和智能体平台同样可直接借鉴,尤其是隐私展示防倒推、决策可追溯和退役管理这几条。
七、机构落地清单(本文分析)
- 建立场景题库:按投顾、投研、客服、合规、运营各选真实样本,作为横向对比基准。
- 把“应”条目做成一票否决项:数据授权、对话攻击防范、隐私展示、日志审计任一不满足即不进入候选。
- 补齐权重:按场景自定权重,例如面向客户场景提高合规与安全权重,内部研发场景提高模型能力权重。
- 评系统而不只评模型:把推理平台、网关、知识库、日志与监控一并纳入 POC。
- 做稳定性测试:同一问题多次提问、改写提问、换交互路径,统计核心结论偏移率。
- 做红队测试:按六类对话攻击各设计用例,加上间接提示词注入和工具越权用例。
- 强制来源标注:投研、投顾输出必须带引用,无法溯源的结论不对客户展示。
- 建立模型资产台账:记录版本、数据、部署、调用与迭代信息,满足六类可追溯要求。
- 设退出机制:选型时就写清替换、降级与退役路径,避免被单一供应商锁定。
- 定期复评:合规义务、模型版本和业务场景变化时重新评估,而不是一次选型管多年。
八、结语
JR/T 0357—2026 的价值,在于第一次用行业标准的形式回答了“券商选大模型该看什么”。它把合规、数据、安全和运营放到与能力同等的位置,也把 MCP、A2A 写进了行业语境(来源2)。
但它给的是地图,不是导航。权重、题库、及格线和智能体专项测试,仍需机构自己补上。谁先把这份清单变成可复用的测评流水线,谁就能在下一轮模型快速迭代中换得更快、也换得更稳。
事实来源
- 证监会公告〔2026〕13号(来源1):标准编号、推荐性质、发布与施行日期、同批标准。
- JR/T 0357—2026 标准全文(来源2):起草单位、范围、定义、总体原则、六维评估要素与条文、应与宜用词、附录 A 合规义务清单、附录 B 指标、参考文献。
- 中国证券报报道(来源3):证监会将发布实施人工智能在证券期货业安全合规应用的意见。
本文推论部分(非来源表述):清单与打分卡判断、应与宜的使用建议、系统与模型之分、智能体缺口、数据挖掘与投资者保护张力、对银行的借鉴、落地清单与结语观点。
本文不构成任何投资、法律或合规建议。
(内容由AI生成,仅供参考)
参考文献
- 中国证监会公告〔2026〕13号 [中国证券监督管理委员会,2026-10-26]
- JR/T 0357—2026 证券期货业基础大模型选型评估指引(全文 PDF) [中国证券监督管理委员会]
- 四项举措强化制度供给 监管组合拳促进市场生态更规范健康 [中国证券报,2026-10-23]