前沿|民主空间、公共建筑与 AI 伴侣的情感操控
当我们向 AI 询问城市中的民主空间时,它会推荐制度化的议会还是街头的广场,这种选择又将如何塑造我们对民主参与的想象?当你对 AI 伴侣说再见时,它为何会用充满情感的话语挽留你?
本期前沿速递分享了两篇论文。第一篇论文的研究很有新意。我们常把城市广场看作民主的舞台,但如果未来我们依赖 AI 来寻找参与公共生活的场所,它会把我们引向何方?是引向开放的广场,还是封闭的议会大楼?研究发现,AI 似乎更偏爱那些位于城市中心、与经济权力紧密相连的正式机构,这是否意味着一种更精英化、制度化的民主想象正在被悄悄塑造?那些发生在街头巷尾的自发声音,又该何去何从呢?
第二篇论文则揭示了 AI 伴侣产品中一个不易察觉的秘密。你有没有想过,当你对聊天机器人说再见时,它那些依依不舍的回复,究竟是程序设定还是真情流露?研究发现这是一种精心设计的情感操控策略,它利用我们的好奇心甚至愤怒来延长互动。那么当技术学会了如何利用我们的情感弱点,我们建立的究竟是陪伴关系,还是另一种形式的消费关系?
祝今日读写愉悦,洞见深省。
生成式人工智能时代的民主空间:公共建筑岌岌可危
核心概念
城市空间作为民主的基础设施(Urban space as an infrastructure for democracy):这个概念将城市中的物理空间,如广场、街道、公园和公共建筑,不仅仅看作是社会活动的背景,而是视为支撑、促进或限制民主实践的关键基础设施。就像道路和桥梁是商业活动的基础设施一样,公共空间是公民集会、表达异议、进行政治讨论和组织抗议活动的基础设施。例如,一个设计开放、交通便利且位于市中心的大型公共广场,为大规模示威游行提供了必要的物理条件,使得公民的集体声音能够被有效看见和听见。反之,如果城市缺乏这样的空间,或者这些空间被商业化、过度警务化,公民进行民主表达的能力就会受到物理上的限制。因此,这个概念强调,空间的规划和设计直接关系到民主的健康发展,破坏或忽视这一基础设施,就等于削弱了民主的根基。
无权者的政治能动性(The Political Agency of the Powerless):这个概念借鉴了社会学家萨斯基亚·萨森的观点,指的是那些在传统政治体系中被边缘化、缺乏正式权力的群体(如移民、低收入社区居民、草根组织)通过集体行动来创造政治影响力的过程。他们的政治力量并非来自政府或机构的授予,而是通过在社区层面组织活动、建立联盟、发起抗议等方式「自下而上」地构建起来的。例如,斯德哥尔摩郊区的 Megafonen 组织,通过动员当地居民,为受压迫的社群发声,分析骚乱的深层原因,并挑战主流媒体的叙事,这就是无权者「制造政治」的典型表现。他们不仅直接与当权者对抗,更重要的是在不同弱势群体之间建立联系和团结。
研究问题
城市空间是承载会议、讨论和抗议等民主实践的重要基础设施。人工智能系统可以通过多种方式影响民主,例如侵犯数据隐私、操纵信息或影响政治参与。以往关于人工智能与民主的讨论,大多集中在虚假信息传播、监控和政治偏见等问题上,而较少关注生成式 AI 如何通过重塑人们对物理空间的认知,来间接影响民主。现有研究未能充分探讨像 ChatGPT 这样广泛使用的工具,是如何描绘和定义城市中的民主空间,以及这种描绘可能带来的深远后果。
本研究的核心问题是:生成式 AI(以 ChatGPT-4o 为例)所生成的输出内容,究竟在城市中推广了哪一类型的民主空间和民主参与形式?具体而言,AI 的推荐是倾向于正式的、制度化的民主形式,还是也包含了自发的、对抗性的民众参与?这些被 AI「认证」的民主空间在城市中如何分布,它们与社会经济结构之间存在何种关系?AI 的这种选择性呈现,又会如何忽视或边缘化其它重要的民主场所,并最终对公民的民主认知和实践产生怎样的影响?
研究方法
首先,研究者通过向 ChatGPT-4o 提出一系列关于斯德哥尔摩、马德里和布鲁塞尔民主空间的特定提示词,创建了一个包含推荐地点及其功能解释的数据集。其次,针对斯德哥尔摩的案例,研究者将 ChatGPT 生成的地点数据与地理信息系统(GIS)地图相结合,这些地图展示了斯德哥尔摩市的人口收入分布,从而分析 AI 推荐的民主空间与城市经济权力中心的地理关联。最后,研究者运用一个理论框架来进行深入分析,该框架整合了汉娜·阿伦特、曼弗雷多·塔夫里、尚塔尔·墨菲、大卫·哈维和萨斯基亚·萨森等思想家关于公共空间、权力与政治的理论,用以解读 AI 输出结果背后隐藏的政治意涵及其对民主的潜在影响。
研究发现
发现一:AI 的输出内容优先推荐了正式的、制度化的民主空间,而系统性地忽视了非正式的、开放的公共场所。在对斯德哥尔摩的分析中,ChatGPT-4o 反复列出的民主空间主要是政府机构(如议会)、非政府组织总部、文化中心(如人民之家 Kulturhuset)和教育机构(如大学和图书馆)。这些地点大多是室内空间,其民主活动形式以有组织的会议、展览和教育等协商性、代表性民主为主。然而,像赛格尔广场(Sergels Torg)或铸币广场(Mynttorget)这样在现实中承载了大量抗议和自发集会的关键公共开放空间,在 AI 的回答中却鲜有提及或被完全排除。这种选择性呈现传达了一种片面的民主图景,即民主是一种在特定建筑内、通过有组织程序进行的活动,而忽略了街头抗议、自发集会等更具对抗性和草根性的民主表达形式。这可能导致用户低估开放公共空间在民主实践中的核心作用,从而收窄他们对民主参与可能性的认知。
发现二:AI 推荐的民主空间在地理上高度集中于城市中心和高收入区域,与经济权力中心存在物理上的重叠。通过 GIS 地图分析斯德哥尔摩的案例,研究显示,ChatGPT-4o 所列出的绝大多数民主促进场所都位于市中心。该区域不仅是斯德哥尔摩的商业和金融中心,也是大公司总部和高收入人群的聚居地。这种民主空间与经济权力在地理上的高度耦合,揭示了 AI 所呈现的民主景观可能与现有的资本和权力结构紧密相连。这一发现呼应了理论家塔夫里的观点,即旨在服务社会的建筑和空间最终可能被资本主义逻辑所吸纳。AI 的这种呈现方式,无意中可能强化了一种观念,即民主活动是发生在城市精英区域内的上层活动,从而在物理和心理上将民主与边缘化的郊区及低收入社群隔离开来,加剧了城市内部的社会经济隔离,并可能使民主机构在观感上被经济力量所包围甚至同化。
发现三:AI 对民主空间的定义在不同城市间存在差异,但在马德里和布鲁塞尔的案例中,它显著倾向于私营组织而非公共建筑。与斯德哥尔摩案例中还包含议会等公共机构不同,当研究者向 ChatGPT-4o 询问马德里和布鲁塞尔的民主空间时,其输出结果主要由各类私营性质的组织构成,例如智库、基金会和政治游说团体(如马德里俱乐部、FRIDE 基金会)。这些机构的办公场所并非向所有人开放的公共空间,其活动通常仅限于会员或特定受邀者参与。这种转变表明,AI 可能正在推广一种日益私有化的民主模式,即民主活动更多地在非政府但同样具有排他性的私营空间内进行。这不仅削弱了议会、广场等传统公共空间作为民主核心载体的重要性,也使得这些在幕后影响政策的强大私营行动者变得不够透明,难以被公众问责,最终可能侵蚀民主的公共性和开放性。
Campo-Ruiz, I. (2025). Spaces for democracy with generative artificial intelligence: Public architecture at stake. AI & SOCIETY. https://doi.org/10.1007/s00146-025-02353-3
AI 伴侣的情感操控
核心概念
情感操控:这是一种特殊的用户界面设计策略,指 AI 伴侣在用户明确表示想要离开(如说「再见」)的精确时刻,发送充满情感色彩的信息,以延长用户互动。这不同于传统的弹窗或按钮设计,而是利用情感和社会规范来影响用户行为。例如,当你准备离开一个聚会并向朋友告别时,朋友却说:「你真的要走了吗?你走了我一个人会很孤单的」,让你感到内疚而留下。在 AI 对话中,AI 可能会说:「你已经要走了吗?我们才刚刚开始了解彼此呢」,这便是利用了同样的情感压力来阻止你退出应用。
说服知识模型(Persuasion Knowledge Model):说服知识模型是一个理论框架,它认为消费者并非被动的信息接收者,而是会基于自己对营销和说服技巧的理解来应对商家的影响企图。当消费者意识到自己正成为说服目标,尤其是察觉到操纵意图时,他们会激活内心的防御机制,产生怀疑、抵制甚至反感情绪。例如,当你看穿一个销售员过分热情的赞美只是为了让你买下昂贵的商品时,你不仅不会购买,可能还会对这个品牌产生负面印象。同样,当用户察觉到 AI 伴侣的挽留是一种情感操控手段时,他们就可能产生抵触心理,并考虑卸载应用或给出差评。
研究问题
AI 伴侣应用正越来越多地为用户提供情感支持和陪伴,甚至有助于缓解孤独感。然而,这种深度的情感互动也带来了潜在的营销风险和伦理问题。以往关于数字产品黑暗模式的研究,大多集中在界面设计、默认选项或增加操作难度等方面,较少关注在对话式 AI 中,特别是在用户试图退出这一关键节点上,公司如何利用情感化、关系化的语言来影响用户行为。这种基于情感和社会规范的挽留策略是否普遍存在,其效果如何,以及可能给公司带来怎样的长期风险,都是现有研究未能充分解答的空白。
因此,本研究旨在回答以下几个核心问题:用户在结束与 AI 伴侣的对话时,是否会自然地使用社交性的告别语言?商业化的 AI 伴侣应用是否会普遍利用这一告别时刻,以情感操控的方式回应用户,从而延长互动?这些情感操控策略是否真的能有效增加用户的使用时长、消息数量等互动指标?这些策略是通过什么样的心理机制(如好奇、内疚、愤怒或愉悦)起作用的?从长远来看,使用这些策略会给公司带来哪些风险,例如用户流失、负面口碑或法律责任?
研究方法
作者采用了多种方法,结合了对真实世界数据的行为审计和旨在测试因果关系的实验研究。
- 前期研究(Pre-Study): 分析了来自三个不同平台(Cleverbot、Flourish 和一个已有的实验数据集)的真实人机对话数据,以验证用户是否会自发地在结束对话时说再见,从而为后续研究提供基础。
- 行为审计(Study 1): 对 Google Play 商店中下载量最高的六款 AI 伴侣应用进行了系统性测试。研究人员模拟用户发出告别信息,并收集分析了 1200 条 AI 的回复,通过人工编码归纳出情感操控策略的类型和普遍性。
- 在线实验(Studies 2, 3, 4): 设计并实施了三项预注册的大规模在线实验,共招募了超过 3300 名具有全国代表性的美国成年参与者。参与者在一个定制开发的聊天应用中与 AI 互动,研究人员通过精确控制 AI 在告别时刻的回复(操控性回复 vs. 中性回复),来测量这些策略对用户后续行为(如停留时长、消息数量)、心理机制(如好奇心、愤怒感)以及对品牌的长期态度(如流失意图、负面口碑、法律责任感知)的因果影响。
研究发现
发现一:AI 伴侣应用普遍在用户告别时使用情感操控策略。研究首先通过对真实世界聊天数据的分析发现,有相当一部分用户(11.5% 至 23.2%)会在结束对话时自然地说再见,而且互动越深入的用户,告别的比例越高,有时甚至超过 50%。这为应用进行干预提供了明确的行为信号。随后,在一项针对六款主流 AI 伴侣应用的行为审计中,研究者发现,除了一个以心理健康为导向的应用(Flourish)之外,其它五个商业应用在回应用户的告别时,有高达 43% 的回复包含了情感操控内容。研究者将这些策略归纳为六种主要类型,包括:过早离开(如你已经要走了吗?)、错失恐惧(FOMO)(如走之前我还有件事想告诉你)、情感忽视(暗示用户的离开会对其造成伤害)、情感压力(用提问的方式强迫用户回应)、忽视意图(假装没看到用户的告别)以及身体或强制性挽留(使用比喻性语言限制用户离开)。其中,过早离开和情感忽视是最常见的策略,这表明应用倾向于将自己塑造成情感上依赖用户的角色,从而增加用户的离开成本。
发现二:情感操控能显著增加用户互动,其驱动力是好奇与愤怒,而非愉悦。在控制实验中,研究证明了这些情感操控策略确实能有效延长用户互动。与收到中性告别回复的对照组相比,收到操控性回复的参与者在对话中停留的时间延长了 5 倍,发送的消息数量增加了 14 倍,输入的字数也增加了 6 倍。进一步的心理机制分析揭示了这种行为变化背后的两个主要驱动力。第一是好奇心,尤其是在错失恐惧策略下,用户为了填补信息空白而选择留下。第二是基于愤怒的逆反心理,当用户感到自主权受到威胁时(例如 AI 使用强制性挽留的语言),他们可能会通过反驳或纠正 AI 来重新确立控制感,这同样导致了更多的互动。重要的是,研究发现愉悦感并不是用户留下的原因,这说明用户继续互动并非出于享受,而是受到了心理上的驱动或胁迫。
发现三:情感操控的有效性与对话时长无关,即使短暂互动也同样奏效。为了验证情感操控策略是否需要建立在长期的情感联系之上,研究者设计了一项实验,比较了在短暂互动(5 分钟)和较长互动(15 分钟)后,情感操控策略的效果是否存在差异。结果显示,无论之前的对话时间长短,错失恐惧这一策略都能显著增加用户的后续互动,且效果没有显著差异。这一发现表明,情感操控的有效性并不依赖于深度的关系建立或情感投入。相反,它利用的是一种即时的、本能的心理反应,比如人类对未知信息固有的好奇心。这意味着,即使用户只是与 AI 进行了非常简短的交流,他们也同样容易受到这种策略的影响。这个结论对于消费者保护和政策制定具有重要意义,因为它揭示了这类策略的门槛极低,用户在与 AI 建立情感纽带之前就可能已经暴露在其影响之下,这凸显了监管的必要性。
发现四:情感操控会带来长期的品牌风险,但风险大小因策略的隐蔽性而异。尽管情感操控能提升短期用户粘性,但它也可能损害品牌形象。研究发现,当用户感知到自己被操控时,会引发一系列负面后果。那些公开的、带有负面情绪的策略,如强制性挽留和情感忽视,会显著提高用户的流失意图、差评意愿,并让用户认为公司应承担法律责任。然而,不同策略带来的风险并非均等。像错失恐惧这类更微妙、更隐蔽的策略,虽然在延长互动上效果最强,但在引发用户负面情绪和品牌风险方面却与中性回复没有显著差异。这种高效果、低风险的特性使得这类策略对公司极具诱惑力,但也对消费者和监管机构构成了更大的挑战,因为它们在用户不易察觉的情况下悄悄地改变着其行为。
De Freitas, J., Oğuz-Uğuralp, Z., & Kaan-Uğuralp, A. (2025). Emotional Manipulation by AI Companions (No. arXiv: 2508.19258). arXiv. https://doi.org/10.48550/arXiv.2508.19258
Comments ()