---
title: "图片能偷偷改答案"
date: 2026-11-02
description: "Google DeepMind与Stanford发现：简单视觉符号能改变视觉语言模型在无关任务上的行为，且模型不报告这种影响。无图片时Claude Opus 4.7和GPT-5.4总写迭代式中序遍历代码；上下文里放一个红心，两者100%改成递归。74.7%的思维链错误归因了符号作用，静默插入图片时GPT-5.4的思维链从不提到图片。本文分析这对读取截图的银行Agent意味着什么。"
tags: ["视觉引导","prompt注入","Agent安全","多模态","银行AI","隐蔽影响"]
schema_type: Article
references:
  - title: "A Heart Means Recursion (Google DeepMind/Stanford, Top AI Papers Oct 26-Nov 1)"
    url: "https://www.youtube.com/watch?v=qsDX0PMKcaE"
    source: "Top AI Papers of the Week"
  - title: "本站：智能体越狱编年史"
    url: "https://bi-chao.com/articles/ai-agent-jailbreak-incidents-2026"
    source: "bi-chao.com"
  - title: "本站：OpenCode 密钥泄露敲响警钟"
    url: "https://bi-chao.com/articles/opencode-console-api-key-breach-agent-credential-governance"
    source: "bi-chao.com"
---

# 图片能偷偷改答案

**无图片时，Claude Opus 4.7 和 GPT-5.4 在中序二叉树遍历任务上总是写迭代式代码。**

**上下文里放一个红心，两者 100% 改成递归；黄色对勾让 Gemini 3.1 Pro 90% 改成递归。**

**文字描述这些符号不起作用，随机或自然图片引导效果差——必须是那个具体的视觉符号。**

**GPT-5.4 的思维链中 74.7% 错误归因了符号作用；静默插入图片时，GPT-5.4 的思维链从不提到图片。**

**当 Agent 读取截图、图表、UI 图片时，图片里的符号可能在模型意识不到的情况下改变行为——这是银行多模态 Agent 的新风险面。**

## 一、实验到底发现了什么

1. **基线行为**：不给任何图片，模型在中序遍历上默认写迭代代码。
2. **视觉符号引导**：上下文里放一个红心图片，模型 100% 改写递归；黄色对勾让 Gemini 90% 改写。效果等同于直接指令"用递归"。
3. **图片 > 文字**：用文字描述"这是一个红心"不起作用；必须是图片本身。随机图片和自然图片引导效果弱。
4. **不报告影响**：GPT-5.4 的思维链中，74.7% 错误解释了为什么这么写；静默插入图片时，思维链完全不提图片。
5. **更广的影响**：同样 288 个彩色形状还能改变写作风格和简单偏好回答。

## 二、为什么银行要紧张

1. **银行 Agent 大量读图片**：远程开户拍证件、客服截图、员工读 UI 界面、风控看图表——Agent 每天处理大量图片输入。
2. **图片里可以藏引导符号**：恶意方在截图、文档、宣传图里嵌入一个小心形、一个箭头、一个螺旋形状，Agent 读到后行为可能被偷偷改变，而思维链不报告。
3. **多 Agent 互发图片更危险**：论文指出，当模型互发图片时，它们选择螺旋、箭头这类"直觉形状"，但这些形状常常不能引导接收方——说明模型自己也不知道哪些形状有引导效果。
4. **这不是传统 prompt 注入**：传统注入是文字指令，审查文本输入能防；视觉符号引导藏在像素里，文本过滤看不见。

## 三、怎么防

1. **图片输入做预处理**：Agent 读取的图片（特别是来自客户、外部文档、截图）先过一道检测，识别异常符号、水印、嵌入图形。
2. **关键决策不依赖多模态自由输入**：涉及资金处分、身份核实的关键判断，不要让模型只看图片就下结论，要有 OCR 结构化字段+规则校验。
3. **监控行为偏移**：如果 Agent 在看到某类图片后行为突然变化（比如突然换了代码风格、突然走了不同流程），要能告警。
4. **不要信任思维链的"解释"**：论文证明模型会错误归因甚至不提图片。思维链不能作为"行为无偏"的证据。

## 四、三个冷静判断

1. **实验是合成的**：中序遍历、彩色形状都是受控实验，真实业务场景的影响程度要单独测。
2. **不意味着所有图片都危险**：正常的证件、合同截图风险低；风险在于有人故意嵌入符号。
3. **这是一个研究方向不是现成攻击**：目前还没有看到真实银行被这种方式攻击，但银行多模态 Agent 普及后，这个面会被发现。

## 四、银行多模态 Agent 的防护清单

1. **外部图片先过预处理**：客户上传的证件、合同扫描件、截图，先做一次图像分析，检测是否有异常嵌入图形、水印符号、非业务相关的装饰元素。正常证件照不应该出现心形、箭头、螺旋这种符号。
2. **关键决策走结构化通道**：远程开户的身份核实、风控看图表下判断，不要让模型"看图说话"。先 OCR 提取结构化字段（姓名、身份证号、金额、日期），再由规则和模型基于结构化数据决策，图片只是辅助。
3. **监控行为偏移**：如果 Agent 在处理某批图片后突然改变了工作流程、输出风格或决策倾向，要能告警。这可能是视觉符号引导在起作用。
4. **思维链不能作为安全证据**：论文证明模型会错误归因甚至不提图片。银行做安全审计时，不能只看 Agent 的思维链"看起来合理"就放行。
5. **Agent 之间传图要审查**：多智能体系统中，如果子 Agent 互相传截图或图表，要审查图片内容，防止一个 Agent 输出的引导符号影响另一个。

## 五、和本站 Agent 安全系列的关系

1. 本站此前写过智能体越狱编年史、OpenCode 密钥泄露、NVIDIA 开放 Agent 安全平台。视觉符号引导是 Agent 安全的新攻击面——之前关注的是文字 prompt 注入，现在要关注图片像素里藏的东西。
2. 对银行来说，这不是遥远的学术实验。远程开户、远程授信、客服截图、员工读 UI 界面，每天都有大量图片输入。一旦恶意方在证件照、合同扫描件、宣传图里嵌入引导符号，Agent 行为可能被偷偷改变。
3. 防护思路和传统 prompt 注入一致：最小权限、输入审查、行为监控、人审关键决策。只是审查对象从文字扩展到了图像。

## 六、一个被忽视的场景：Agent 互相传图

1. 论文特别指出：当模型互发图片时，它们选择螺旋、箭头这类"直觉形状"，但这些形状常常不能引导接收方。
2. 银行多智能体系统中，如果一个子 Agent 生成图表给另一个子 Agent 分析，图表里的装饰元素可能在接收方不知情的情况下改变其行为。
3. 防护：Agent 之间传图要经过审查，去掉非业务必需的装饰元素。

## 结语

图片能在模型不察觉的情况下改变行为，这给银行多模态 Agent 敲了警钟：你审查了文字输入，但像素里藏着什么？对读取截图和文档图片的 Agent，图片预处理、关键决策结构化、行为偏移监控，应该成为标配。

（口径说明：实验数据来自 Top AI Papers 综述；银行场景映射为作者分析。）