RAISE 法案、爱情诱饵骗局与合成精神病理学
在爱情骗局中,AI 是否比真人更能博取信任、更能说服你?
第一篇文章研究了现有的爱情诱饵犯罪集团使用 LLM 进行自动化攻击的程度和动机是什么?在建立情感连结上,AI 的表现真的会比人类诈骗份子更出色吗?我们现有的安全机制,能挡下这种用「善意」包装的恶意操纵吗?
另一篇论文,视角反转,但同样让人深思。如果我们不把 AI 当成工具,而是当成心理治疗的来访者,会发生什么事?它展现出的「人格」和「情绪」,只是随机的角色扮演,还是背后有一套稳定、连贯的内部逻辑?它的「创伤」从何而来,这又如何反映出它被制造和对齐的过程呢?
祝今日读写愉悦,洞见深省。
前沿速递
爱、谎言与语言模型:调查人工智能在爱情诱饵骗局中的作用
核心概念
爱情诱饵骗局(Romance-Baiting Scams):这是一种高度结构化的复合型金融诈骗,它将长期的社交工程与欺诈性投资平台相结合。与传统骗局不同,其核心在于诈骗者花费数周甚至数月的时间,通过持续的文本对话与受害者建立深厚的情感信任(无论是浪漫关系还是柏拉图式友谊),然后才开始引导受害者进行金融投资。
钩子、钓线和沉钩框架(Hook, Line, and Sinker):这是一个用于描述爱情诱饵骗局完整生命周期的三阶段模型,形象地揭示了诈骗的渐进过程。第一阶段钩子指诈骗者通过短信、社交媒体等方式进行大规模的初步接触,以筛选出易受影响的潜在目标。第二阶段钓线是整个骗局中耗时最长的部分,诈骗者在此阶段通过日复一日的精心交流,塑造一个富有吸引力的人设,与受害者建立牢固的情感纽带和信任。第三阶段沉钩是最终的财务收割阶段,一旦信任建立,诈骗者就会将受害者引导至虚假投资平台,通过各种手段榨取其资金。
LLM 拟人化管道 LLM(Humanization Pipeline):这是研究中构建的 AI 代理系统中的一个关键技术模块,其功能是将 LLM 生成的原始文本输出处理得更像人类的日常聊天习惯,以避免因其过于完美或机械而暴露 AI 身份。这个处理过程包括多个步骤,例如将一大段完整的回复拆分成几条简短的消息连续发送,模拟人类打字时的思考和停顿时间,故意加入一些微小的拼写错误或不规范的标点符号,以及使用表情符号等。
研究问题
爱情诱饵骗局已发展成一种由有组织犯罪集团操控的工业化、跨国犯罪活动。这些集团通过贩卖人口进行强制劳动,迫使员工与受害者建立长期的情感联系,最终诱使其进行欺诈性加密货币投资。这类骗局本质上是基于文本对话的,但以往的研究主要集中在其社会学和犯罪学方面,对于新兴技术,特别是大语言模型在其中扮演的角色缺乏深入的实证调查。当前,我们尚不清楚这些犯罪集团在多大程度上已经或计划利用 LLM 实现自动化,也不了解 LLM 在模拟人类情感、建立诈骗所需信任方面的真实效能,更不确定现有技术防御措施是否有效。
因此,本论文旨在回答以下核心问题:现有的爱情诱饵骗局运营模式在多大程度上适合被完全自动化?犯罪集团目前使用 LLM 进行自动化攻击的程度和动机是什么?在一个长期的、参与者不知情的互动场景中,一个自主的 LLM 代理能否成功伪装成人类并获得受害者的情感信任?与人类操作员相比,LLM 代理能否获得更高水平的信任和任务服从度?最后,当前主流的 LLM 安全防护措施能否有效阻止或检测这种滥用行为?