前沿速递

多智能体错位的危机：AI 对齐必须是一个动态的社会过程

核心概念

目标对齐（Objective Alignment）：在多智能体系统（MAS）中，目标对齐指的是确保不同 AI 代理个体的目标与其共同的集体目标之间的一致性，以激励代理间的协调与合作，从而有效地完成特定任务。这通常通过将对齐直接嵌入到奖励结构中来实现，使代理在追求自身目标的同时，也能促进整个系统的效率和成功。想像一个由三个 AI 代理组成的团队，它们的共同目标是设计一个新的智慧城市方案。代理 A 负责能源管理，代理 B 负责交通规划，代理 C 负责废物处理。如果它们都独立地追求自身模块的最佳化，而不考虑其它模块的影响，就可能导致方案整体上的不协调或效率低下。例如，代理 A 设计了一个高能耗的能源系统，而代理 B 设计了一个依赖大量交通的交通系统，这将导致总体能源消耗过高。因此，为了实现「设计一个可持续智慧城市」的集体目标，这些代理必须进行目标对齐。这意味着代理 A 在设计能源系统时，需要考虑到代理 B 和 C 的需求和产出，并且每个代理的内部奖励机制都应与共同目标挂钩，例如，代理 A 的奖励不仅取决于其自身能源系统的效率，还取决于其系统如何与交通和废物处理系统协同工作，最终提高整个城市方案的可持续性。

人类价值对齐（Human Value Alignment）：人类价值对齐是指确保人工智能系统的行为和决策与普遍接受的人类道德原则、伦理规范以及社会共同的核心价值观保持一致。这项挑战的目标是防止 AI 系统在执行任务时产生有害、不公平或违反伦理的结果，例如加剧偏见、传播错误信息或进行操纵。设想一个 AI 系统被设计用于管理医院的病床分配。如果这个 AI 系统仅以「最大化病床周转率」为目标，它可能会优先分配病床给康复速度快的病人，而忽视那些病情较重、需要长期照护但占用病床时间长的病人。在这种情况下，AI 的行为就未能与「公平」、「生命优先」和「人道关怀」这些核心人类价值对齐。为了实现人类价值对齐，这个 AI 系统不仅需要考虑效率，还需要内化公平原则，例如，在分配病床时平衡轻重症病人的需求，确保所有患者都能得到应有的照护，即使这会降低「效率」指标。这要求 AI 系统的设计者在训练过程中融入伦理原则和价值观，使其决策结果能体现这些普世的人类价值，而非单纯的技术或经济指标最优化。

偏好对齐（Preferential Alignment）：偏好对齐是指确保人工智能系统的行为和决策与其特定用户或相关利益方所持有的多样化、情境依赖且不断演变的个人意图、喜好和观点相符。与普遍的人类价值对齐不同，偏好对齐侧重于处理不同个体或群体之间可能存在的多样甚至相互冲突的特定喜好。假设一个 AI 个人助手被设计来帮助用户管理他们的日常日程和任务。用户 A 是一位追求极致效率的商务人士，他偏好 AI 助手能够主动识别并优化所有重复性任务，并在会议间隙安排微型休息。用户 B 是一位艺术家，她更偏好 AI 助手能够提供足够的灵活性，避免过度自动化，并提醒她留出创意和沉思的时间，即使这会稍微降低「效率」。如果 AI 助手仅仅根据「普遍高效」的标准来管理所有用户的日程，它就未能实现偏好对齐。对于用户 A，它可能是完美的；但对于用户 B，它的行为会让她感到被束缚和不被理解。因此，一个实现偏好对齐的 AI 助手会通过学习用户 A 和用户 B 各自独特的行为模式、时间观念和价值取向，为用户 A 自动化重复性任务并给予效率提示，同时为用户 B 提供更多弹性选项和创意空间提醒。这表明偏好对齐需要 AI 系统能够识别并适应个体用户的细微差别和上下文需求，从而提供高度个性化的服务。

研究问题

随着人工智能代理在个人助理、内容创作者和决策支持系统等现实世界应用中的日益普及，特别是多智能体系统（MAS）的兴起，AI 对齐面临新的复杂性。以往的 AI 对齐研究主要关注将 AI 系统与人类意图和价值观对齐（人类价值对齐与偏好对齐），而 MAS 社区则引入了「目标对齐」的概念，即协调 AI 个体和集体目标以完成任务。然而，现有研究很少充分探讨在多智能体环境中，代理之间的复杂交互如何影响其与人类价值观和偏好的对齐，更未深入分析这些动态可能引发的错位风险。

因此，本论文的核心研究问题是：多智能体系统的兴起如何改变了 AI 对齐的范式？为了防止这种系统变得过于复杂并对人类福祉造成不可逆转的后果，AI 对齐和 MAS 研究社区应如何协同合作，建立一个共同的基础框架来研究多智能体环境中对齐问题的出现？