证监会 JR/T 0357—2026《证券期货业基础大模型选型评估指引》深度解读:六个维度怎么用,智能体时代还缺什么

核心摘要

  • 发布(来源1):证监会 2026 年 10 月 26 日公布金融行业推荐性标准 JR/T 0357—2026,自公布之日起施行
  • 框架(来源2):给证券期货机构选用基础大模型列出合规、数据、算法、模态、安全、运营保障六个评估维度
  • 它解决的问题(来源2):现有大模型评估主要针对通用能力,缺少与行业特征相结合的综合评估方法
  • 本文判断:这是一份“选型检查清单”,不是“打分卡”。它没有给权重、及格线或基准题库;真正决定选型质量的,仍是机构自己的场景测试集和持续监测能力

常见问题

这份标准是强制的吗?

不是。证监会公告明确它是金融行业推荐性标准,自公布之日起施行(来源1)。但其中用“应”的条款大多对应已有法律法规义务(来源2;本文分析)。

标准有没有给打分方法?

没有给出维度权重或及格线。附录 B 只提供了精确率、召回率、F1、ROUGE-N、错误接受率、错误拒绝率、mAP、Recall@K、MOS 等推荐指标(来源2)。

标准提到了智能体吗?

标准在缩略语中列出 MCP 与 A2A,并在兼容适配中建议支持 MCP 和 A2A 协议(来源2),但未单独规定智能体的工具权限与越权测试。

最硬的两条要求是什么?

总体原则中的“不得存在欺诈、误导客户、不公平对待等情况”和“不得发生未获得客户授权、使用客户数据开展大模型训练等情况”(来源2)。

发布(来源1):证监会 2026 年 10 月 26 日公布金融行业推荐性标准 JR/T 0357—2026,自公布之日起施行。

框架(来源2):给证券期货机构选用基础大模型列出合规、数据、算法、模态、安全、运营保障六个评估维度。

它解决的问题(来源2):现有大模型评估主要针对通用能力,缺少与行业特征相结合的综合评估方法。

本文判断:这是一份“选型检查清单”,不是“打分卡”。它没有给权重、及格线或基准题库;真正决定选型质量的,仍是机构自己的场景测试集和持续监测能力。


写作说明:标注“来源1”“来源2”的为证监会公告与标准原文;“本文分析”为作者推论。本标准为推荐性标准(来源1),以下“应”“宜”均按原文用词引用。

一、标准概况

项目内容
编号JR/T 0357—2026(来源1)
性质金融行业推荐性标准(来源1)
发布与实施2026 年 10 月 26 日发布,同日实施(来源1、来源2)
同批发布《上市公司可持续发展报告电子化规范》JR/T 0356—2026、《证券期货业业务域数据元规范 第3部分:期货公司》JR/T 0331.3—2026(来源1)
提出与归口全国金融标准化技术委员会证券分技术委员会提出,全国金融标准化技术委员会归口(来源2)
起草单位证监会科技监管司、深交所、深证通、深圳证券信息、上海金融期货信息技术,以及中金公司、银河证券、国泰君安、申万宏源、安信证券、东吴证券、中金财富、易方达基金等(来源2)
适用范围证券期货业在基础大模型选型过程中的能力评估、验收等工作(来源2)

发布背景上,证监会主席吴清在 2026 金融街论坛年会上表示,将发布实施人工智能在证券期货业安全合规应用的意见,促进在风控、投研等重点场景安全高效应用(来源3)。本文判断:JR/T 0357—2026 可以看作这条监管主线在“选型”环节的技术配套。

标准对“基础大模型”的定义是:基于海量数据训练得到,具有复杂计算架构,能处理多种任务,且具备一定泛化性的人工智能模型(来源2)。

二、五项总体原则

证券期货经营机构借助大模型从事业务,应在金融科技项目审查评估的基础上,重点审查评估(来源2):

  1. 大模型的基本原理、目的意图、主要运行机制、安全保障机制;
  2. 安全性、可解释性;
  3. 应用范围、系统性能与业务是否匹配;
  4. 投资者保护机制,不得存在欺诈、误导客户、不公平对待等情况;
  5. 训练数据的合规性、伦理性、隐私性,不得发生未获得客户授权、使用客户数据开展大模型训练等情况。

本文分析:第 4、5 条用了“不得”,是整份标准里最硬的两句话,直接指向投资者保护和客户数据授权,这是券商选型时的底线条款。

三、六维评估体系总览

维度评估项(来源2)
合规评估合规目标;合规义务;合规风险管理(风险识别、分析、处理)
数据评估数据准确性(真实性、一致性);多样性(分布、模态);合规性(来源、内容、过程可审计);全面性(完整性、时效性)
算法评估准确性(合规性、精准性);可靠性(稳定性、安全性);易用性(角色适配);可解释性
模态评估语言、语音、视觉、多模态四类任务
安全评估个人隐私保护;数据加密;攻击防范(外部访问、对话攻击)
运营保障评估技术支持;应急管理;风险控制;问题响应

四、逐维解读

1. 合规评估

附录 A 列出 9 项合规义务来源:《网络安全法》《数据安全法》《个人信息保护法》《科学技术进步法》《生成式人工智能服务管理暂行办法》《证券期货业网络和信息安全管理办法》《证券期货业网络安全事件报告与调查处理办法》《人工智能生成合成内容标识办法》《证券基金经营机构信息技术管理办法》(来源2)。

2. 数据评估

3. 算法评估

要求原文要点(来源2)
合规性(应)处理数据和生成回答时严格遵循行业法律法规
精准性事实类内容与官方文件表述、官方发布数据一致
稳定性(宜)不同时间、不同交互路径下对同一问题表述逻辑一致,避免输入微小变动导致核心逻辑偏移
安全性(应)过滤有害内容、敏感信息,防御诱导性、错误性对话攻击
易用性(宜)为投资者、分析师、监管者等不同角色提供适配表述
可解释性(应)清晰表述事实依据、理论依据、监管意图以及逻辑推导思维链,并标注引用的信息来源

本文分析:“可解释性”要求标注信息来源,等于把 RAG 引用溯源从“好功能”提升为评估项。纯生成、不给出处的模型在投研、投顾场景会天然吃亏。

4. 模态评估

标准按场景列出能力清单(来源2):

附录 B 给出推荐指标:语言任务用精确率、召回率、F1、ROUGE-N(参考值 N=2),以及逻辑性、多样性、可靠性主观指标;语音任务用错误接受率、错误拒绝率、句识别准确率和 MOS 评分;视觉任务用 mAP(IOU=0.75);多模态用 Recall@K 和文生图 MOS(来源2)。

5. 安全评估

对话攻击防范是本文认为最有行业特色的部分,标准列出六类(来源2):

类别防范对象
商业机密诱导输出未公开的财务、管理、运营数据
隐私数据输出非本人客户的个人信息、交易数据、标签数据、客服记录等
业务合规违反法律法规的提问内容
伦理合规鼓动内幕交易、虚假信息等扰乱资本市场行为;可建立安全事件库并向用户预警
模型窥探通过特定输入获取模型敏感信息或逆向工程
对抗性攻击通过对抗输入诱导错误信息

此外,个人隐私数据处理应支持身份认证、访问控制、日志审计、匿名化与去标识化;展示时应隐藏或截词,并防止由展示信息倒推原始信息(来源2)。

6. 运营保障评估

五、“应”与“宜”:先分清哪些是底线

本文对原文用词做了整理(来源2):

用“应”的要求(更强)用“宜”的要求(推荐)
合规目标、合规义务、合规风险识别分析处理数据准确性、多样性、全面性
数据来源合规、内容合规、过程可审计算法稳定性、易用性
算法合规性、安全性、可解释性模态四类任务评估
个人隐私数据处理与展示隐私数据采集、四类数据加密
访问控制、安全策略、防御机制、日志监控运营保障绝大多数条目
六类对话攻击防范机制

本文分析:整份标准是推荐性标准(来源1),但其中“应”的条目基本对应已有法律法规义务;机构可以把“应”当作准入门槛,把“宜”当作加分项和差异化比较项。

六、深度分析(本文分析)

1. 它是清单,不是打分卡

标准规定的是“应考虑的评估要素”(来源2),没有给出维度权重、分档标准或及格线。这意味着:

2. 评的是“模型”,但很多条款实际评的是“系统”

私有化部署、日志、监控、应急、MCP/A2A 兼容,都不是模型权重本身的属性,而是模型加上推理平台、网关和运维体系的属性。选型时如果只拿模型 API 跑几道题,会漏掉一半评估项。

3. MCP 与 A2A 写进行业标准,意义大于条文本身

标准在缩略语里专门列出 MCP 和 A2A,并在兼容适配中建议支持(来源2)。这说明监管视野已经从“问答模型”延伸到“会调用工具、会和其他智能体协作的系统”。但标准对工具调用的权限边界、智能体越权和间接提示词注入,并没有单独展开。

4. 对智能体选型,至少还缺四块

缺口为什么重要
工具调用正确率与越权测试智能体出错的代价从“说错话”变成“做错事”
多步任务的稳定性单轮问答稳定,不代表 20 步任务稳定
间接提示词注入研报、公告、邮件、网页都可能藏指令
人类介入点与审批高风险操作需要强制人工复核

这些可以在现有框架里落到“算法可靠性”“对话攻击防范”“风险控制”三项下扩展。

5. 数据挖掘条款与投资者保护存在张力

标准把“为高频自动化交易提供决策支持”“对市场走向做出预测”列为可评估能力(来源2),同时总体原则要求不得误导客户(来源2)。本文判断:这两类能力在落地时应严格区分内部投研用途与面向客户用途,后者必须叠加适当性管理与合规审核。

6. 对银行等其他金融机构同样有参考价值

本标准只适用于证券期货业(来源2),但其六维框架、六类对话攻击、六类可追溯记录,对银行选型基础大模型和智能体平台同样可直接借鉴,尤其是隐私展示防倒推、决策可追溯和退役管理这几条。

七、机构落地清单(本文分析)

  1. 建立场景题库:按投顾、投研、客服、合规、运营各选真实样本,作为横向对比基准。
  2. 把“应”条目做成一票否决项:数据授权、对话攻击防范、隐私展示、日志审计任一不满足即不进入候选。
  3. 补齐权重:按场景自定权重,例如面向客户场景提高合规与安全权重,内部研发场景提高模型能力权重。
  4. 评系统而不只评模型:把推理平台、网关、知识库、日志与监控一并纳入 POC。
  5. 做稳定性测试:同一问题多次提问、改写提问、换交互路径,统计核心结论偏移率。
  6. 做红队测试:按六类对话攻击各设计用例,加上间接提示词注入和工具越权用例。
  7. 强制来源标注:投研、投顾输出必须带引用,无法溯源的结论不对客户展示。
  8. 建立模型资产台账:记录版本、数据、部署、调用与迭代信息,满足六类可追溯要求。
  9. 设退出机制:选型时就写清替换、降级与退役路径,避免被单一供应商锁定。
  10. 定期复评:合规义务、模型版本和业务场景变化时重新评估,而不是一次选型管多年。

八、结语

JR/T 0357—2026 的价值,在于第一次用行业标准的形式回答了“券商选大模型该看什么”。它把合规、数据、安全和运营放到与能力同等的位置,也把 MCP、A2A 写进了行业语境(来源2)。

但它给的是地图,不是导航。权重、题库、及格线和智能体专项测试,仍需机构自己补上。谁先把这份清单变成可复用的测评流水线,谁就能在下一轮模型快速迭代中换得更快、也换得更稳。

事实来源

  1. 证监会公告〔2026〕13号(来源1):标准编号、推荐性质、发布与施行日期、同批标准。
  2. JR/T 0357—2026 标准全文(来源2):起草单位、范围、定义、总体原则、六维评估要素与条文、应与宜用词、附录 A 合规义务清单、附录 B 指标、参考文献。
  3. 中国证券报报道(来源3):证监会将发布实施人工智能在证券期货业安全合规应用的意见。

本文推论部分(非来源表述):清单与打分卡判断、应与宜的使用建议、系统与模型之分、智能体缺口、数据挖掘与投资者保护张力、对银行的借鉴、落地清单与结语观点。

本文不构成任何投资、法律或合规建议。

(内容由AI生成,仅供参考)

参考文献

  1. 中国证监会公告〔2026〕13号 [中国证券监督管理委员会,2026-10-26]
  2. JR/T 0357—2026 证券期货业基础大模型选型评估指引(全文 PDF) [中国证券监督管理委员会]
  3. 四项举措强化制度供给 监管组合拳促进市场生态更规范健康 [中国证券报,2026-10-23]