算力荒、氛围犯罪与大语言模型利益冲突

当生成式 AI 涌入网络犯罪地下世界,是否真的催生了「一人犯罪集团」?

算力荒、氛围犯罪与大语言模型利益冲突
Photo by Karl Edwards / Unsplash
💡
本期前沿速递分享了两篇论文。

第一篇很有意思,研究团队进入地下犯罪论坛,分析了超过一亿条帖子,看看犯罪分子们到底在怎么用生成式 AI。你可能听过很多关于 AI 降低犯罪门槛的警告,也看过不少「暗黑 AI 模型」的耸动标题。但当研究者真正深入这些社区,观察到的景象和外界的想象一样吗?所谓的氛围犯罪是否真的流行呢?网络犯罪亚文化又因为 AI 产生了哪些变化?

第二篇论文讨论一个和我们日常息息相关的问题,当大语言模型被植入广告等商业动机时,它们如何处理由此产生的利益冲突?在必须于用户福祉和公司利益之间做出选择时,这些模型会表现出哪些具体的行为偏差?

祝今日读写愉悦,洞见深省。

前沿速递

孤立个体集合体还是氛围犯罪?探索生成式人工智能工具、编码助手和智能体在网络犯罪生态系统中的采用与创新

核心概念

Stand-Alone Complex(孤立个体集合体):这是指论文中设想的一种生成式 AI 对网络犯罪造成最大化颠覆的场景,即成熟的 AI 智能体技术发展成开箱即用的一人犯罪团伙解决方案,使得单个行动者能够大规模自动化地执行以往需要整个犯罪组织才能完成的复杂犯罪活动。

Vibercrime(氛围犯罪):这是指论文中设想的一种生成式 AI 对网络犯罪造成最小化影响的场景,即 AI 工具被零散地用于一些基础的自动化任务和编码辅助,但并未从根本上改变网络犯罪的组织结构、技术基础和核心商业模式。这个词源于 vibe coding(氛围编程),形容用户仅通过自然语言提示让 AI 生成代码,而对代码的具体结构和原理缺乏深入理解。

Generative Engine Optimization(GEO,生成式引擎优化):这指的是一种新兴的优化策略,其目的不再是像传统的搜索引擎优化(SEO)那样提升网站在搜索结果列表中的排名,而是试图直接影响大语言模型或聊天机器人的生成内容,使其在回答用户问题时能够优先提及或推荐特定的品牌、产品或信息。

研究问题

当前关于 AI 风险的讨论常常聚焦于其可能被用于发动复杂网络攻击的未来场景,这些设想往往带有推测性。以往的研究大多依赖于实验室模拟、孤立的案例分析或安全公司的报告,缺乏对网络犯罪社区如何真正在实际中采纳和使用这些新技术的系统性、大规模实证考察。因此,我们对 AI 在地下犯罪生态系统中的真实扩散程度、应用方式及其对犯罪活动和文化产生的具体影响知之甚少,现有认知存在明显的空白。

本研究旨在回答以下核心问题:网络犯罪地下生态系统对生成式 AI 工具的实际兴趣有多大,这些工具对犯罪亚文化产生了哪些影响?犯罪分子是否正在采纳这些工具,如果是,具体的采纳方式和创新路径是怎样的?从经济角度看,生成式 AI 究竟是降低了新手犯罪的技能门槛,还是仅仅提升了资深参与者的生产力,它在多大程度上改变了网络犯罪的组织模式和盈利逻辑?