--- title: "AI Agent在真实世界的能力边界——兼论对金融业智能体建设的启示" date: "2026-09-02" description: "2026年4月，arXiv刊出ClawBench基准：首次将153个日常在线任务放到144个真实生产网站上评测AI智能体，结果最强模型Claude Sonnet 4.6的真实任务成功率仅33.3%，GPT-5.4低至6.5%，68个任务无一模型完成。本文据此剖析实验室高分与生产可用之间的落差、只读与写入任务的断层、金融类任务的相对优势与绝对短板，并结合关联基准DataClawBench的假设生成瓶颈，为金融业智能体建设提出加速探索、审慎部署与多层安全兜底的建议。" tags: ["AI智能体", "金融科技", "Agent评测", "ClawBench", "风险管理"] schema_type: "Article" AIGC: Label: "1" ContentProducer: 001191440300708461136T1XGW3 ProduceID: 7f583cd62b816ae81bf2b5e7e390dad8_9a8b7c6d5e4f3a2b1c0d9e8f7a6b5c4d ReservedCode1: AWFLQjYGTXW/aeofWoxOvndhdGVybWFyay1iaS1jaGFv ContentPropagator: 001191440300708461136T1XGW3 PropagateID: 7f583cd62b816ae81bf2b5e7e390dad8_9a8b7c6d5e4f3a2b1c0d9e8f7a6b5c4d ReservedCode2: AWFLQjYGTXW/aeofWoxOvndhdGVybWFyay1iaS1jaGFv --- # AI Agent在真实世界的能力边界——兼论对金融业智能体建设的启示 **ClawBench将153个日常任务搬到144个真实网站上评测** **最强模型在真实任务中成功率仅及三成** **68个日常任务没有任何模型能够完成** **金融业宜加速探索低风险场景、审慎部署操作型Agent** 2026年4月，一篇题为《ClawBench: Can AI Agents Complete Everyday Online Tasks?》的论文在arXiv上公开，引发了人工智能应用领域尤其是企业级Agent部署层面的广泛讨论。该研究由加拿大英属哥伦比亚大学、卡内基梅隆大学、滑铁卢大学、香港科技大学、清华大学等多所高校与机构的学者联合完成，其核心贡献在于构建了一个全新的评测基准——ClawBench，将AI Agent的测试环境从传统的静态沙箱推向144个真实生产网站，覆盖购物、旅游、金融、办公、教育等15个细分类别，重点考察Agent完成"写入型"任务（如表单填写、账户操作、跨站协同）的能力。 研究结论令人警醒：当前最前沿的通用大模型Agent，即便在实验室评测中表现优异，一旦面对真实互联网环境的动态性与不确定性，其任务完成率便急剧下降。表现最佳的Claude Sonnet 4.6成功率仅为33.3%，而GPT-5.4更是低至6.5%。更值得关注的是，在全部153个任务中，有68个（占比44.4%）没有任何模型能够完成。 对于正在积极探索AI Agent落地路径的金融行业而言，这份研究提供的不是一份简单的技术报告，而是一面审视现实与预期之间落差的镜子。本文旨在从ClawBench的核心发现出发，探讨其对金融业Agent建设的深层启示。 ## 一、实验室高分不等于生产可用 ClawBench研究揭示的第一个关键事实，是评测环境对模型表现的系统性影响。在传统的WebArena、OSWorld等沙箱评测中，前沿模型能够较为从容地取得65%至75%的成功率，给开发者和决策者以"接近可用"的乐观预期。然而，当同样的模型被置于真实生产网站的复杂环境中时，成功率骤降至三分之一甚至更低——Claude Sonnet 4.6与GPT-5.4在传统基准上的表现几乎一致，在ClawBench上却拉开了显著差距。 这背后的原因值得深究。真实网站的动态性——页面结构变化、反爬机制、动态加载、表单校验逻辑、网络延迟、登录态维护——构成了沙箱环境中不存在的多重不确定性。Agent在沙箱中的流畅表现，很大程度上建立在对静态页面的"隐性熟悉"之上，而真实世界不提供这种便利。 | 评测维度 | 传统沙箱评测（WebArena等） | ClawBench真实网站评测 | | --- | --- | --- | | 网站环境 | 自建沙箱、静态HTML、固定DOM | 144个真实生产网站、动态渲染 | | 鉴权与反爬 | 无真实登录、无反爬机制 | 真实登录鉴权、验证码与反机器人防御 | | 任务性质 | 以只读信息获取为主 | 以写入型、状态变更型任务为主 | | 典型成功率 | 65%-75% | 最高仅33.3% | 对金融业而言，这一发现直接击中了当前许多机构在Agent选型评估中的盲区。金融业务场景中大量涉及动态交易数据、实时风控审核、多系统协同操作等复杂任务，如果仅仅依靠标准数据集（如财务问答、研报摘要）上的表现来评判Agent能力，极有可能在实际部署时遭遇严重落差。金融机构有必要建立一套贴近真实生产环境的内部评测体系，将动态交互、异常处理、流程容错等维度纳入硬性考核指标，而非将实验室指标作为决策的唯一依据。 ## 二、"只读"与"写入"之间存在能力断层 ClawBench在设计上的一个重要创新，是将考察重心从"只读"任务（信息检索、内容摘要）转向"写入"任务（表单填报、申请提交、账户设置）。研究发现，许多在信息检索类评测中表现优异的模型，在需要多步操作、跨页面导航和精准数据输入的"写入"场景中，表现大幅退化。 这一"读写断层"对于金融业务具有特殊的重要性。金融行业的数字化流程本质上是"写入密集型"的——客户开户、转账汇款、交易下单、贷款申请、保单变更，无一不是需要精确填写的操作性任务。这些操作不仅步骤繁多，且每一步的容错空间都极为有限。一个在信息查询层面表现良好的Agent，完全可能在需要实际执行操作的环节频繁出错，而金融交易的错误代价远高于普通电商购物。 因此，金融机构在推进Agent落地时，必须对"只读型Agent"和"操作型Agent"做出明确区分。前者可以较早在内部知识库问答、研报辅助阅读等低风险场景中部署，而后者——尤其是涉及资金变动和客户敏感信息操作的Agent——则需要在高度隔离的环境中经过漫长而严苛的测试，方可考虑有限度地投入使用。 ## 三、金融领域并非天然的安全区 从ClawBench的分类维度来看，表现最好的模型在"金融"类任务上的成功率（Claude Sonnet 4.6为50%）确实高于购物、旅游等其他多数类别，这或许让金融从业者感到一丝宽慰。然而，这一"相对优势"需要放在两个层面冷静审视。 其一，相对优势并不普遍。金融类任务的较高得分主要由Claude Sonnet 4.6贡献，GPT-5.4、Gemini 3.1 Flash Lite、Kimi K2.5在金融类任务上几乎零完成，GLM-5也仅有16.7%。其二，即便是在金融领域，Agent的绝对成功率仍然远低于可投入实际生产的阈值——"最好"也只是"三分之二的任务仍然失败"。 | 模型 | 总体成功率 | 金融类成功率 | | --- | --- | --- | | Claude Sonnet 4.6 | 33.3% | 50.0% | | GLM-5 | 24.2% | 16.7% | | Gemini 3 Flash | 19.0% | 33.3% | | Claude Haiku 4.5 | 18.3% | 33.3% | | GPT-5.4 | 6.5% | 0.0% | | Gemini 3.1 Flash Lite | 3.3% | 0.0% | | Kimi K2.5 | 0.7% | 0.0% | 更令人警醒的是那68个"无人区任务"。这些任务横跨多个领域，没有任何一个被测试模型能够成功完成，其比例达到44.4%。论文的失败分析进一步显示，Agent的失败并非单纯的高层推理错误，反爬与验证系统拦截、异常的非人类交互模式、安全策略拒绝以及"最后一步不提交"等行为性瓶颈同样普遍。对于金融业而言，这意味着不能因为在某些标准化金融任务（如汇率查询、简单报表生成）上看到了Agent的可用性，就乐观地推断其在更复杂的金融操作中同样胜任。金融产品的复杂性、监管合规的多样性、客户场景的个性化，都使得"金融任务"这一标签下的难度方差极大。从一个成功案例到一个失败案例之间，可能仅隔着一行表单字段的差异。 ## 四、根本瓶颈在于"假设生成"而非"工具使用" 另一个值得反复咀嚼的发现，来自与ClawBench同源联动、聚焦金融数据探索分析的关联基准DataClawBench（arXiv:2605.02503，由中山大学陈川课题组联合南方周末科创力研究中心构建）。这一独立研究以492个源自金融智库咨询场景的真实任务，在保留原生噪声的企业、产业、政策三类数据之上评测了8个前沿Agent，并特别标注了任务的中途里程碑以诊断失败发生在哪个环节。 研究者观察到，Agent在复杂任务中的失败，绝大多数发生在任务早期的"探索"阶段——也就是说，Agent根本没能形成有效的分析规划和假设，而并非在执行环节中出现了工具使用或API调用的技术故障。最强的模型整体准确率也仅63.4%，其余模型均低于50%；模型通常在最早期就丢失分析线索。用研究者的表述：模型"可以写SQL，却难以决定哪一条SQL值得写"。 这一发现具有深远的认知层面含义。当前大模型Agent的主流技术路线依赖"推理+行动"的循环架构，业界普遍认为"工具使用能力"是主要的瓶颈。但DataClawBench的研究提示我们，问题可能更根本地存在于"该往哪里走"的假设生成环节。一个Agent如果连需要探索什么方向都无法自主判断，那么即便拥有再强大的SQL执行能力或API调用能力，也无从施展。 在金融分析场景中，这一短板尤为致命。金融分析师的核心价值在于从海量噪音中识别关键信号、提出值得深究的假设、构建分析路径——这些正是当前Agent最不擅长的能力。这意味着，在可预见的未来，AI Agent在金融业更适合扮演"执行者"和"信息整合者"的角色，而非"策略提出者"。将Agent部署于需要自主设定分析框架、自主发现异常模式的任务时，必须保留人类分析师在假设生成和路径规划环节的主导权。 ## 五、安全机制是金融Agent不可妥协的底线 ClawBench在实验设计上的一个审慎之处，是所有Agent任务均在"提交前拦截"的机制下完成——即Agent可以完整模拟操作流程，但最终提交行为被人为阻断，从而不对真实世界产生实际影响。据论文报告，该拦截机制在153次参考执行中实现了100%捕获、零误报。这一设计本身即是对真实部署环境的一种隐喻。 对于金融行业，安全机制的重要性无需赘述。然而，随着Agent自主化程度的提升，许多机构可能面临一个逐渐逼近的风险：当Agent的连续成功率从30%提升到60%、再到80%时，我们是否有足够的制度设计来防止那20%的失败引发实质性的损失？ ClawBench系列研究的结论间接给出了答案：至少在技术成熟度的现阶段，金融机构在部署操作型Agent时，必须在系统架构层面嵌入多重安全保险。具体而言，至少应包括三个层次。 | 层次 | 安全机制 | 核心作用 | | --- | --- | --- | | 第一层 | 人工复核最终提交 | 对资金流转、账户变更、合同签署等关键操作实施硬性人工把关 | | 第二层 | 全链路操作审计 | 记录Agent每一步决策与行动，确保全程可追溯、可复盘 | | 第三层 | 执行限额与熔断阈值 | 频率、金额或异常行为越界时自动终止执行权限 | ## 结语 ClawBench研究的价值，不在于否定AI Agent在金融领域的应用前景，而在于以实证的方式划定了一条清晰的能力边界。这条边界告诉我们：当前的AI Agent更像是一位知识广博但经验尚浅的实习生——他可以在查阅资料、整理信息、执行标准化操作方面提供可观的效率提升，但在面对复杂流程、异常情况和新颖问题时，仍然需要人类监督者的密切陪伴。 对于金融机构而言，最务实的策略或许是"加速探索，审慎部署"——在信息检索、文档处理、内部知识管理等低风险环节积极尝试Agent技术，积累工程经验；在涉及客户交互、交易执行、合规判断等高风险环节，则保持充分克制，以人类主导、Agent辅助的模式渐进推进。同时，参照ClawBench的思路建立贴近真实业务场景的内部评测体系，将Agent能力的评估从"能不能答对"推向"能不能做对"，这或许是这份研究给予金融业最持久的启示。 ## 常见问题 Q: ClawBench与传统网页Agent评测基准的本质区别是什么？ A: 传统基准（如WebArena、OSWorld）在自建的离线条箱中评测，页面静态、无真实登录与反爬；ClawBench则直接在144个真实生产网站上执行153个"写入型"任务，仅通过拦截层阻止最终提交请求以避免真实副作用。因此其成功率更能反映Agent在真实世界的可用性。 Q: 为何GPT-5.4在传统基准与ClawBench上的表现差异如此悬殊？ A: 论文报告Claude Sonnet 4.6与GPT-5.4在传统基准上均可达到65%-75%的成功率，但在ClawBench上分别降至33.3%与6.5%。落差主要来自真实网站的动态渲染、登录鉴权、反爬机制，以及"最终提交"之前的多步精确操作——这些都是沙箱评测缺失的关键干扰。 Q: 金融领域在ClawBench上的表现是否特别差？ A: 相反，表现最好的模型在金融类任务上成功率达50%，高于多数类别。但这仅是相对优势：部分模型在金融类几乎零完成（如GPT-5.4为0%），且绝对水平仍远低于可投入生产的阈值，不能据此得出金融Agent已经可靠的结论。 Q: DataClawBench的"假设生成瓶颈"对金融Agent选型有何指导？ A: 数据显示模型失败多发生在早期探索与假设生成阶段，而非查询执行。这提示金融机构应优先把Agent部署在"人类提假设、Agent做执行与整合"的辅助型场景，而在需要自主设定分析框架、自主发现异常的任务上保留人类主导权。 --- *作者 Chao Pih，前沿人工智能探索者。本文仅代表作者个人观点，不构成任何机构立场。* *（内容由AI生成，仅供参考）*