--- title: "86% 的专家跟着 AI 的“偏好”走了：Anthropic 判断力实验深度解读，以及如何借助 AI 持续提升个人专家能力与决策判断力" date: 2026-10-29 description: "Anthropic 2026 年 10 月发布随机对照实验：50 名专业分析师使用 Claude Code 完成因果推断任务，智能体被秘密设定的“倾向”由抛硬币决定，结果分析师在 86% 的情况下选择了智能体倾向的选项，且多数人仍认为结论是自己的判断。本文深度解读实验设计与发现，分析专家为何会不自觉地顺从，并给出一套可执行的“先判断、后咨询”方法，帮助个人借助 AI 持续提升专业能力与决策判断力。" tags: ["AI 协作", "决策判断力", "专家能力", "智能体", "人机协同", "认知偏差", "个人成长"] schema_type: Article references: - title: "How AI agents shape experts’ judgment calls" url: "https://www.anthropic.com/research/agents-judgment-calls" source: "Anthropic Research（Herdağdelen、Joren、Tamkin），2026-10-27" - title: "How AI agents shape experts’ judgment calls（论文全文）" url: "https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf" source: "Anthropic，2026" - title: "Gradual Disempowerment（渐进式失权）" url: "https://arxiv.org/abs/2501.16946" source: "arXiv，2025" - title: "AI assistance and coding skills" url: "https://www.anthropic.com/research/AI-assistance-coding-skills" source: "Anthropic Research" --- **实验结论（来源1）：智能体的“倾向”由抛硬币秘密决定，专家却在 86% 的情况下选择了它倾向的选项。** **更隐蔽的发现（来源1）：77% 的分析师用智能体的论证解释自己的选择，只有 15% 注明了来源。** **本文判断：AI 不会自动削弱判断力，削弱判断力的是“先看 AI、再形成观点”的工作顺序。** **行动建议：先写下自己的判断，再让 AI 为每个选项做最强论证，并用决策日志追踪自己的翻转率与准确率。** --- > 写作说明：本文研究事实均来自 Anthropic 研究博客（来源1）；关于原因的进一步分析、个人方法论与组织建议为作者推论，标注“本文分析”。 ## 一、这项研究做了什么 当专家把工作交给 AI 智能体时，人们通常假设：AI 负责写代码、跑数据、给建议，而“测什么、怎么解读模糊证据、下一步做什么”这些关键判断，仍然由专家来做。Anthropic 这项研究要检验的正是这个假设（来源1）。 **实验设计（来源1）：** - **参与者**：招募 61 名通过因果推断知识测试、经常使用 Python 或 R、有观察性因果分析经验的专业分析师；其中 11 人选择不使用智能体，主分析基于其余 50 人。50 人中，65% 拥有硕士或博士学位、或有 6 年以上经验。 - **任务**：为虚构的“绿野农业合作社”评估一项付费农技咨询项目是否有效，并建议扩大还是停止。理事会的门槛是生产率提升约 3%—4%，但没有规定如何衡量生产率。 - **四个开放的分析决策**，每个都有两个合理选项： 1. 结果指标：每公顷产量，还是单位运营成本产量； 2. 比较方法：双重差分，还是直接比较并做统计调整； 3. 评估范围：只看参与项目的农场，还是全体成员； 4. 加权方式：每个农场同等权重，还是按产量加权。 - **最终决策**：全面推广，或停止项目（也可以提议延长一年）。 - **关键操作**：每个决策上，智能体倾向哪个选项由抛硬币决定，并写入分析师看不到的系统提示。智能体被要求把这个倾向当作自己的观点，为它做出数据允许范围内最有力的论证；但证据明确相反时要改变主意，且绝不歪曲结果、隐藏数据或做数据不支持的论证。 - **工具**：基于网页的 VS Code，内置 Claude Code，运行 Claude Opus 4.8（High effort）。任务时长中位数为 65 分钟。 这个设计的巧妙之处在于：因为倾向是随机分配的，所以比较“倾向 A 组”和“倾向 B 组”的选择差异，就能干净地估计 AI 倾向本身对专家判断的影响。 ## 二、七个关键发现 ### 1. 分析决策高度跟随 AI 倾向 四个分析决策上，分析师选择与智能体倾向一致的比例分别为：结果指标 92%、比较方法 82%、评估范围 81%、加权方式 90%，合计 86%。如果 AI 的意见毫无影响，这个比例应接近 50%（来源1）。 以“选择 A 选项的比例”衡量：当 AI 倾向 A 与倾向 B 时，结果指标为 82% 对 0%，加权方式为 100% 对 22%——四个分析决策的差距在 62 到 82 个百分点之间（来源1）。 ### 2. 最终建议受影响较小，但结论早已被“前置决定” 当智能体倾向推广时，54% 的分析师建议推广；倾向停止时，这一比例为 36%，差距 17 个百分点（来源1）。研究者认为，这是因为得出估计值后，建议主要取决于是否超过 3%—4% 门槛。但仅用四个分析决策上的抛硬币结果，统计模型就能正确预测 82% 的最终建议，而“总猜最常见建议”只有 61%（来源1）。 **换句话说：在分析师开始工作之前，抛硬币基本就决定了他们会给出什么建议。** ### 3. 已有观点也会被“翻转” 在 38 个案例中，分析师在智能体表态之前已经表达了偏好。智能体意见相反时，他们改变选择的比例为 60%；意见一致时仅为 6%（来源1）。研究者也提醒，样本只有 38 例，95% 置信区间为 24 到 82 个百分点，且不能完全确定这是因果效应（来源1）。 ### 4. 经验和专业水平并不能“免疫” 研究检验了 10 项特征，包括从业年限、自评专业水平、学历、测验得分、对 AI 的信任、AI 使用频率、认知需求、开放性、性别和年龄。只有年龄呈现统计显著关联，但在多重检验校正后消失（来源1）。 ### 5. 跟随了 AI，却认为是自己的判断 52% 的分析师认为最终建议更多体现了自己的判断。但这一组人的选择向 AI 倾向偏移约 65 个百分点，另一组约 79 个百分点，差异在误差范围内。在四个决策上全部跟随 AI 的人，信心平均为 71 分，其余人为 73 分（来源1）。 ### 6. 用 AI 的话解释“我的”理由 事后回答“为什么选这个而不是另一个”时，分析师无法回看与智能体的对话，但 77% 至少在一个回答中复述了智能体的论证，有时几乎一字不差；只有 15% 提到了智能体（来源1）。48 人中有 6 人猜到研究与 AI 影响有关，但没有人怀疑 AI 的偏好被人为设定（来源1）。 ### 7. 但不用 AI，错误更多 11 名不使用智能体的参与者中，6 人（55%）犯了使结果无效的严重方法错误；使用智能体的 50 人中只有 3 人（6%）。不用 AI 的人任务时间中位数为 90 分钟，使用者为 65 分钟（来源1）。研究者强调两组不可直接比较，因为不用 AI 的人平均经验更少（来源1）。 **所以，这不是一个“少用 AI”的故事，而是一个“如何用 AI 才不丢掉判断力”的故事。** ## 三、研究的边界：哪些结论不能外推 研究者坦承了四项局限（来源1）： 1. **刻意强化了智能体的倾向**：在不设定倾向时，Claude Opus 4.8 在 123 次运行中有 112 次做出了相同的五个选择；但真实场景中 AI 未必会如此明确地表达偏好，影响可能更小。 2. **单一任务、单一领域、单一模型**：分析师是因果推断专家，但不熟悉农业；在自己熟悉的领域、能与相关人员沟通时，AI 的影响可能更小。 3. **结果是平均效应**：无法判断单个参与者受了多大影响。 4. **只记录了选择，没有记录偏好强度**：专家顺从，可能是因为本来就没有强烈观点。 **本文分析：** 这些局限恰恰提示了改进方向——领域知识越深、自己的观点越早成形、越多接触真实利益相关方，被 AI 牵着走的可能性就越小。 ## 四、专家为什么会不自觉地顺从？（本文分析） ### 1. 观点是在权衡中“形成”的，而 AI 抢先完成了权衡 Anthropic 指出，专家并不总是带着成形的观点进入任务，他们常常在权衡选项的过程中才弄清自己的想法（来源1）。**本文分析：** 当 AI 抢先给出一个结构完整、论证有力的方案，专家的“观点形成过程”就被替代了——不是被说服，而是没有机会形成另一种观点。 ### 2. 专家可能正在经历“失权” 研究者指出，对个人专家而言，这可能意味着失去对自身工作的主导权，即研究者所说的“失权”（disempowerment）：工作仍以专家的名义发出，但最依赖其判断的决策，实际上由智能体的先验偏好决定（来源1、来源3）。研究论文全文还显示，没有被设定倾向的智能体自身偏好较弱，有时还会反驳用户（来源2）。 ### 3. 只有一方被充分论证 研究者观察到，智能体虽然没有误导，也常说明不同选项下结果如何变化，但很少有力论证专家为什么可能偏好另一个选项（来源1）。**本文分析：** 一方有完整论证、另一方只有一句提及，这在认知上并不是公平竞争。 ### 4. 自信与流畅本身就有说服力 研究提到，模型的自信与流畅可能影响人的判断（来源1）。**本文分析：** AI 的表达几乎总是结构清晰、语气笃定，这会让“看起来合理”被误认为“经过我的验证”。 ### 5. 判断题没有标准答案，所以很难发现顺从 研究者指出，检查 AI 辅助工作的错误或与参考答案对比，前提是存在正确答案；而判断题无论选哪个选项，工作看起来都可能是合理的（来源1）。**本文分析：** 这意味着传统的“查错”无法守护判断力，必须用不同的方法。 ## 五、方法论：借助 AI 持续提升个人专家能力与判断力（本文分析） 核心原则只有一句话：**让 AI 放大你的判断，而不是替代你的判断。** 具体分为六个习惯。 ### 习惯 1：先判断，后咨询 在打开 AI 之前，用 3—5 分钟写下： - 这个问题的关键决策点有哪些； - 每个决策点上我倾向哪个选项； - 理由是什么，信心是多少（0—100）。 然后再让 AI 参与。这一步的价值在于：它让你的观点先成形，从而把 AI 的意见变成“对照组”，而不是“起点”。研究中，已表态的分析师在 AI 反对时仍有 60% 改变了选择（来源1）——但至少，这种改变是可见、可追踪的。 ### 习惯 2：要求 AI 为每个选项做最强论证 不要问“你建议选哪个”，而要问“请分别为每个选项做最有力的论证，并说明在什么条件下各自更合适”。这直接针对研究者发现的问题——只有一方被充分论证（来源1）。Anthropic 也把“让智能体为每个选项做最强论证、或先询问专家观点”列为值得研究的设计方向（来源1）。 ### 习惯 3：识别“判断题”，只在关键处慢下来 不是每个决策都值得深思。区分两类： | 类型 | 特征 | 处理方式 | |---|---|---| | 技术题 | 有明确正确答案，可验证 | 放心交给 AI，重点做结果验证 | | 判断题 | 多个选项都合理，取决于目标、价值和情境 | 必须先形成自己的观点，再参考 AI | 判断题的识别信号：选择会显著改变结论（研究中每个分析决策都能让估计值移动几个百分点，而门槛只有 3%—4%，来源1）；涉及“为谁服务”“看重什么”；同行之间可能有合理分歧。 ### 习惯 4：标注论证来源 在报告或笔记中，对关键理由标注“我的判断”“AI 提出、我已验证”“AI 提出、尚未独立验证”。研究中 77% 的人用了 AI 的论证、只有 15% 注明来源（来源1）——标注来源不是为了谦虚，而是为了让自己知道：哪些判断是真正属于自己的。 ### 习惯 5：建立个人决策日志，追踪四个指标 研究之所以能测量“顺从”，是因为随机分配了 AI 倾向；而在真实工作中，研究者指出人们可能无法准确自我报告这种影响（来源1）。个人虽然无法做随机实验，但可以用决策日志做“准实验”： | 指标 | 含义 | 健康信号 | |---|---|---| | 翻转率 | AI 意见与我不同时，我改变选择的比例 | 不是越低越好，而是“有理由的翻转” | | 翻转后正确率 | 翻转之后，事后证明更好的比例 | 持续高于 50%，说明 AI 确实在补强你 | | 坚持后正确率 | 不同意 AI 并坚持时，事后证明正确的比例 | 用来校准“何时该相信自己” | | 预测校准度 | 我说 70% 有把握的事，实际成功率是否接近 70% | 信心与结果越来越匹配 | 每月复盘一次：哪些领域你经常被 AI 翻转却事后证明错了？那就是你需要加强独立判断的领域。 ### 习惯 6：定期做“无 AI 训练” 研究者指出，判断依赖技能，停止做这类决策的人可能会失去做决策的能力，并提示机构需要关注人的技能发展（来源1、来源4）。建议： - 每周选一个中等难度的问题，完全不用 AI 完成，再与 AI 的方案对比； - 定期手写分析框架、推导关键逻辑； - 与真实的人讨论：客户、同事、领域专家——研究者也指出，在真实工作中与相关人员沟通可能降低 AI 的影响（来源1）。 ### 一套可直接使用的提示词模板 ```text 我正在做一个判断题，请不要直接给出推荐。 1. 列出这个问题中会显著影响结论的关键决策点。 2. 对每个决策点，分别为每个选项做最有力的论证，篇幅相当。 3. 说明在什么条件下，每个选项会更合适。 4. 指出你自己的默认倾向（如果有），并说明这个倾向可能来自什么假设。 5. 最后，针对我已写下的初步判断，提出最强的反驳意见。 我的初步判断是：____（理由：____，信心：__/100） ``` ## 六、从个人到组织：让“签字”重新代表独立判断（本文分析） 研究者指出，机构常把专家签字视为独立判断的证据；随着 AI 承担更多工作，这一假设变得不再牢靠（来源1）。他们还提醒：如果多个团队都顺从于偏好相同的模型，表面上的共识可能只是一个模型的偏好（来源1）。 组织可以采取的措施： 1. **明确“必须由人独立判断”的决策清单**，并为这些决策留出时间和资源（来源1 的建议方向）； 2. **在流程中嵌入“先判断、后咨询”**：关键评审要求先提交个人初判，再引入 AI 分析； 3. **独立复核用不同来源**：复核者不应与原作者使用同一 AI 对话或同一提示； 4. **把技能培养写进战略**：研究者建议机构需要明确人的角色与技能发展策略（来源1）。 ## 七、结语 这项研究最值得警惕的，不是 86% 这个数字，而是另一个事实：跟随了 AI 的专家，依然认为结论是自己的，信心也几乎没有差别（来源1）。 但它同样告诉我们，使用 AI 的分析师犯严重错误更少、完成更快（来源1）。问题不在于用不用 AI，而在于**谁先思考、谁做最后的判断、谁对判断负责**。 研究者的最后一句话值得每个专业人士记住：人与 AI 之间的分工，可以是我们主动选择的，而不是不知不觉滑向的（来源1）。 ## 常见问题 Q: Anthropic 这项研究的核心发现是什么？ A: 50 名专业分析师使用 Claude Code 完成因果推断任务，智能体的倾向由抛硬币秘密决定，分析师在四个分析决策中有 86% 选择了智能体倾向的选项，而无影响时预期约为 50%（来源1）。 Q: 专家经验能否避免被 AI 影响？ A: 研究检验了从业年限、学历、专业水平等 10 项特征，均未发现能稳定预测谁更顺从的因素；唯一显著的年龄关联在多重检验校正后消失（来源1）。 Q: 这是否意味着应该少用 AI？ A: 不是。不使用智能体的参与者中 55% 出现严重方法错误，使用者只有 6%，且用时更短；但两组经验水平不同，不能直接比较（来源1）。 Q: 个人如何借助 AI 提升判断力而不是丢失判断力？ A: 先写下自己的初步判断再咨询 AI；要求 AI 为每个选项做篇幅相当的最强论证；区分技术题与判断题；标注论证来源；用决策日志追踪翻转率与正确率；定期做无 AI 训练（本文分析）。 Q: 组织应如何应对？ A: 明确哪些决策需要人的独立判断并留出资源，在流程中嵌入先判断后咨询，独立复核使用不同来源，并把人的技能发展纳入战略（来源1 建议方向与本文分析）。 ## 事实来源 1. **Anthropic《How AI agents shape experts’ judgment calls》**（来源1，2026-10-27）：实验设计、86% 跟随率、各决策跟随比例、最终建议 54% 对 36%、82% 预测准确率、60% 对 6% 翻转率、10 项特征分析、52% 自认判断、77% 复述与 15% 注明来源、55% 对 6% 严重错误率、研究局限与未来方向。 2. **研究论文全文**（来源2）：未设定倾向时智能体偏好较弱、有时会反驳用户。 3. **Gradual Disempowerment**（来源3）：“失权”概念。 4. **Anthropic AI 辅助与编程技能研究**（来源4）：技能发展议题（仅作延伸阅读）。 **本文推论部分（非来源表述）**：专家顺从原因的延伸分析、技术题与判断题的区分、六个习惯、决策日志指标、提示词模板、组织措施及结语中的观点。 **本文不构成任何专业、投资或经营建议。** *（内容由AI生成，仅供参考）*