算法伪装、无差别区隔与语言机器类比

精准 AI 为何会扩大无差别暴力?

算法伪装、无差别区隔与语言机器类比
Photo by Markus Spiske / Unsplash
💭
本期前沿速递分享了两篇论文。

第一篇论文讨论以色列在加沙战争中使用智能目标系统的经验。许多关于 AI 的想象,都把它理解为更精细、更个人化、更能减少误伤的区隔技术。可是在这场战争里,军方声称使用先进系统筛选目标,现实结果却是大规模平民伤亡和城市破坏。作者关心的正是这个裂缝:当技术能够为每个目标生成看似个别化的风险依据,它是在帮助战争遵守区分原则,还是在为更大规模的破坏生产程序上的理由?

这篇研究也沉重地提醒我们,对 AI 的社会学和伦理学批判必须超越单纯的技术准确性讨论,转而审视这些技术被嵌入的具体制度、法律结构以及权力关系,认识到技术本身的高效与精准在特定结构下同样可能成为极端暴力的助推工具。非常推荐这一篇!

第二篇论文回到更长的技术思想史,讨论机器、有机体和语言如何共同塑造我们今天理解 AI 的方式。作者没有把 AI 简化成数学模型的进步,而是从机械论、控制论、信息论、结构主义语言学和大语言模型之间的关联出发,追问机器为什么能成为理解身体、社会和语言的模型?

祝今日读写愉悦,洞见深省。

前沿速递

用于无差别杀戮的区隔技术:以色列加沙战争能让我们对人工智能的社会意义学到什么?

核心概念

自动化单一化(Automated singularization):这指的是大数据和 AI 技术在进行社会分类时,不再将个人粗略地归入预先设定好的传统社会群体(如性别、阶层或特定组织成员),而是依靠持续的数据监控和算法分析,把每一个体视作独特的数据节点进行精准画像和差异化对待的过程。在这种逻辑下,决策系统基于个人的历史行为模式和实时数据计算出动态的概率得分,从而实现极度个性化的服务或管理。例如,在流媒体平台中,推荐算法会根据用户每一次的点击、停留时间和滑动轨迹,为每个人定制独一无二的内容信息流。在社会治理领域,这种技术原本被预期能够摆脱死板的群体偏见,实现极为细致精准的个体化对待。

为了无差别的区隔(Distinction for indiscrimination):这指的是一种看似矛盾的技术应用机制,即利用高度精细的算法分类与区分能力,最终达到和合法化大规模、非特定性破坏的目的。在常规认知中,精准的区隔技术通常旨在筛选出极少数特定目标,以避免牵连无辜。然而在特定语境下,系统会对海量普通对象进行微观层面的概率计算,为每一个对象生成一份极其个别化、看似客观的数据关联证明。这样一来,大批量的普通人或普通事物被逐一赋予了特定的风险标签,从而在程序上获得了被统一处置或摧毁的正当性。例如,在一个惩罚系统中,如果算法为成千上万原本属于免责范围的个体自动生成了各不相同的特殊违规理由,其最终结果就是用精细的个体化证据掩盖了大规模惩罚的实质。

人道化暴力(Humanitized violence):这是指一种以人道主义、法律合规和减少平民伤害的语言来组织和正当化军事暴力的方式。它通常强调精准打击、比例原则、附带损害计算、提前警告、法律顾问审核等程序,使杀伤行动被呈现为克制、理性和负责任。这个概念并不意味着暴力真的更少,而是强调暴力可以通过保护平民的制度语言获得合法性。即使大量平民死亡发生,程序化计算也可能把它解释为经过权衡后的附带后果。

研究问题

既往关于大数据和 AI 的社会学研究普遍支持「个性化」或「自动化单一化」理论。这种观点认为,AI 作为一种区隔技术,能够基于海量监控数据对个体进行极其精细的分类与区分,从而在治安、医疗或战争中实现针对个体的精准对待。然而,以色列在加沙战争中对智能目标系统的使用展现出了截然不同的图景。尽管军方宣称使用了最先进的、具备精准区隔能力的 AI 系统来筛选目标,但实际结果却是前所未有的大规模、无差别的平民伤亡和城市破坏。既有理论难以解释,为什么原本用于精细区分的高端技术,反而促成了违背国际人道法区分原则的无差别杀戮。

因此,这篇论文的研究问题是:引入承诺精细区分的大数据分析和 AI 技术,为何最终导致了看似无差别的大规模杀戮与破坏?在加沙战争的具体语境下,AI 如何改变了军事目标的生产方式,以及这种技术应用对我们理解 AI 的社会影响有着怎样的新启示?