图片能偷偷改答案

无图片时，Claude Opus 4.7 和 GPT-5.4 在中序二叉树遍历任务上总是写迭代式代码。

上下文里放一个红心，两者 100% 改成递归；黄色对勾让 Gemini 3.1 Pro 90% 改成递归。

文字描述这些符号不起作用，随机或自然图片引导效果差——必须是那个具体的视觉符号。

GPT-5.4 的思维链中 74.7% 错误归因了符号作用；静默插入图片时，GPT-5.4 的思维链从不提到图片。

当 Agent 读取截图、图表、UI 图片时，图片里的符号可能在模型意识不到的情况下改变行为——这是银行多模态 Agent 的新风险面。

一、实验到底发现了什么

1. 基线行为：不给任何图片，模型在中序遍历上默认写迭代代码。
2. 视觉符号引导：上下文里放一个红心图片，模型 100% 改写递归；黄色对勾让 Gemini 90% 改写。效果等同于直接指令"用递归"。
3. 图片 > 文字：用文字描述"这是一个红心"不起作用；必须是图片本身。随机图片和自然图片引导效果弱。
4. 不报告影响：GPT-5.4 的思维链中，74.7% 错误解释了为什么这么写；静默插入图片时，思维链完全不提图片。
5. 更广的影响：同样 288 个彩色形状还能改变写作风格和简单偏好回答。

二、为什么银行要紧张

1. 银行 Agent 大量读图片：远程开户拍证件、客服截图、员工读 UI 界面、风控看图表——Agent 每天处理大量图片输入。
2. 图片里可以藏引导符号：恶意方在截图、文档、宣传图里嵌入一个小心形、一个箭头、一个螺旋形状，Agent 读到后行为可能被偷偷改变，而思维链不报告。
3. 多 Agent 互发图片更危险：论文指出，当模型互发图片时，它们选择螺旋、箭头这类"直觉形状"，但这些形状常常不能引导接收方——说明模型自己也不知道哪些形状有引导效果。
4. 这不是传统 prompt 注入：传统注入是文字指令，审查文本输入能防；视觉符号引导藏在像素里，文本过滤看不见。

三、怎么防

1. 图片输入做预处理：Agent 读取的图片（特别是来自客户、外部文档、截图）先过一道检测，识别异常符号、水印、嵌入图形。
2. 关键决策不依赖多模态自由输入：涉及资金处分、身份核实的关键判断，不要让模型只看图片就下结论，要有 OCR 结构化字段+规则校验。
3. 监控行为偏移：如果 Agent 在看到某类图片后行为突然变化（比如突然换了代码风格、突然走了不同流程），要能告警。
4. 不要信任思维链的"解释"：论文证明模型会错误归因甚至不提图片。思维链不能作为"行为无偏"的证据。

四、三个冷静判断

1. 实验是合成的：中序遍历、彩色形状都是受控实验，真实业务场景的影响程度要单独测。
2. 不意味着所有图片都危险：正常的证件、合同截图风险低；风险在于有人故意嵌入符号。
3. 这是一个研究方向不是现成攻击：目前还没有看到真实银行被这种方式攻击，但银行多模态 Agent 普及后，这个面会被发现。

四、银行多模态 Agent 的防护清单

1. 外部图片先过预处理：客户上传的证件、合同扫描件、截图，先做一次图像分析，检测是否有异常嵌入图形、水印符号、非业务相关的装饰元素。正常证件照不应该出现心形、箭头、螺旋这种符号。
2. 关键决策走结构化通道：远程开户的身份核实、风控看图表下判断，不要让模型"看图说话"。先 OCR 提取结构化字段（姓名、身份证号、金额、日期），再由规则和模型基于结构化数据决策，图片只是辅助。
3. 监控行为偏移：如果 Agent 在处理某批图片后突然改变了工作流程、输出风格或决策倾向，要能告警。这可能是视觉符号引导在起作用。
4. 思维链不能作为安全证据：论文证明模型会错误归因甚至不提图片。银行做安全审计时，不能只看 Agent 的思维链"看起来合理"就放行。
5. Agent 之间传图要审查：多智能体系统中，如果子 Agent 互相传截图或图表，要审查图片内容，防止一个 Agent 输出的引导符号影响另一个。

五、和本站 Agent 安全系列的关系

1. 本站此前写过智能体越狱编年史、OpenCode 密钥泄露、NVIDIA 开放 Agent 安全平台。视觉符号引导是 Agent 安全的新攻击面——之前关注的是文字 prompt 注入，现在要关注图片像素里藏的东西。
2. 对银行来说，这不是遥远的学术实验。远程开户、远程授信、客服截图、员工读 UI 界面，每天都有大量图片输入。一旦恶意方在证件照、合同扫描件、宣传图里嵌入引导符号，Agent 行为可能被偷偷改变。
3. 防护思路和传统 prompt 注入一致：最小权限、输入审查、行为监控、人审关键决策。只是审查对象从文字扩展到了图像。

六、一个被忽视的场景：Agent 互相传图

1. 论文特别指出：当模型互发图片时，它们选择螺旋、箭头这类"直觉形状"，但这些形状常常不能引导接收方。
2. 银行多智能体系统中，如果一个子 Agent 生成图表给另一个子 Agent 分析，图表里的装饰元素可能在接收方不知情的情况下改变其行为。
3. 防护：Agent 之间传图要经过审查，去掉非业务必需的装饰元素。

结语

图片能在模型不察觉的情况下改变行为，这给银行多模态 Agent 敲了警钟：你审查了文字输入，但像素里藏着什么？对读取截图和文档图片的 Agent，图片预处理、关键决策结构化、行为偏移监控，应该成为标配。

（口径说明：实验数据来自 Top AI Papers 综述；银行场景映射为作者分析。）