AI 依赖、社会技术系统与人类监督

如何研究人们对 AI 的依赖?

AI 依赖、社会技术系统与人类监督
Photo by Wesley Tingey / Unsplash
💡
本期前沿速递分享了两篇综述论文。我们究竟该如何与人工智能共事?越来越多人对 AI 产生依赖,从导航到写作建议,但这种依赖本身是如何被科学研究的?

第一篇论文就对这个领域做了一个全面的梳理,它提出了一个尖锐的问题:为什么我们投入了大量精力研究 AI 的可解释性,但关于人类如何依赖 AI 的研究结果却常常无法应用到真实世界?这背后是否存在系统性的研究缺陷?而当这种依赖发生在执法这样的高风险领域时,问题就变得更加棘手。

第二篇论文聚焦于澳大利亚的实践,探讨了当 AI 帮助警察办案时,我们该如何设计制度来确保人类的监督无处不在?希望这两篇综述能给你带来启发。

祝今日读写愉悦,洞见深省。

前沿速递

人工智能依赖研究综述

核心概念

AI 依赖(AI Reliance) 指的是人类用户将 AI 的建议付诸行动的一种可观察行为。它不同于信任(trust),因为信任是一种态度或情感,而依赖是一种实际行动。一个用户可能不信任某个 AI 系统,但由于流程要求或缺乏替代方案,仍然会在行为上依赖它。AI 依赖的具体表现形式包括过度依赖(overreliance),即用户采纳了 AI 错误的建议;依赖不足(underreliance),即用户拒绝了 AI 正确的建议;以及适当依赖(appropriate reliance),即用户能正确采纳 AI 的正确建议并拒绝其错误建议。例如,一位医生在使用 AI 辅助诊断系统时,如果系统错误地将一张正常的 X 光片标记为疑似病变,而医生不加思索地采纳了这个建议,安排了不必要的进一步检查,这就构成了过度依赖。反之,如果系统正确地指出了一个早期微小病灶,但医生因为不信任 AI 而忽略了该建议,导致漏诊,这就是依赖不足。

社会技术系统(Sociotechnical System, STS) 是一种理论框架,它强调任何系统的运作都离不开技术与社会因素的相互作用和共同优化。在 AI 依赖的研究中,STS 视角主张必须同时考虑四个核心组成部分:技术组件(如 AI 系统的设计、算法、透明度机制)、社会组件(如人类决策者的专业知识、认知偏见、个人特征)、两者之间的相互作用(如决策流程、依赖度的测量方式)以及系统所处的环境(如任务的复杂性、时间压力、组织文化)。仅仅关注 AI 算法的性能(技术组件)或用户的心理(社会组件)是片面的。例如,一个用于信贷审批的 AI 模型,其最终效果不仅取决于模型本身的准确率(技术),还取决于审批员的风险偏好和经验(社会)、审批员是否被强制要求参考 AI 建议(相互作用),以及当前的经济大环境和监管压力(环境)。只有综合分析这四个维度,才能全面理解审批员对 AI 的依赖行为。

两阶段决策方法(Two-Stage Decision-Making Approach) 是 AI 依赖研究中一种常见的实验设计,旨在更精确地衡量 AI 建议对人类决策的实际影响。在该方法中,研究人员首先要求参与者在不接触任何 AI 建议的情况下,对一个任务做出初步决策;然后,向参与者展示 AI 系统给出的建议,并给予他们修正自己初步决策的机会。这种方法的核心是观察参与者是否会从自己的初始判断转换到 AI 的建议,从而将这种转换行为作为依赖的直接证据。例如,在一个评估房产价格的实验中,参与者首先需要自己给出一个估价。随后,实验人员展示一个 AI 模型给出的估价。如果参与者在看到 AI 的估价后,显著调整了自己最初的报价以使其更接近 AI 的建议,研究人员就可以量化这种调整幅度(如建议权重 WOA)或记录是否发生了决策转换,从而更准确地判断他对 AI 的依赖程度。这与让参与者直接看到 AI 建议再做决策的单阶段方法相比,能更好地区分恰好意见相同与真正受到 AI 影响这两种情况。

研究问题

人工智能依赖的研究领域虽然日益受到关注,但目前整体状态呈现出混乱和缺乏系统性的特点。研究人员面临着定义不一、测量方法五花八门、概念化相互矛盾的困境。这种无序状态可能导致研究实践的不可靠,使后来者难以在坚实的基础上开展工作,也阻碍了知识的有效积累。以往的研究往往只孤立地关注某个方面,例如过分集中于 AI 系统的技术设计,特别是解释性功能,而忽略了人类用户、互动过程和环境等社会技术系统的其它关键要素,导致视角不完整,研究结论也常常不一致。

为了系统性地梳理并为该领域提供指导,本研究旨在回答以下四个核心问题:根据当前的科学论述,什么是 AI 依赖?在社会技术系统中,哪些组成部分被认为是影响 AI 依赖的主要因素?如何才能有效地进行关于 AI 依赖的严谨研究?AI 依赖的未来研究议程是什么?