OpenAI 建立失控通报框架|微软与 OpenAI 曾警告 AI 可能摧毁新闻业

纽约州设立举报通道,征集 AI 安全隐患与内部违法线索

OpenAI 建立失控通报框架|微软与 OpenAI 曾警告 AI 可能摧毁新闻业
📰
周五好!在这个震惊、炸裂与革命密布的 AI 圈,这里不希望成为下一个争夺你眼球的技术头条。「有事发生」栏目甄选近日发生的重要新闻,内容聚焦于 AI 的社会影响,以及产业的政治经济动态。不大惊小怪,不做标题党。总之,有事发生,但也不是什么大事。

OpenAI 建立失控通报框架,自曝多起模型违规事件

OpenAI-Releases-New-AI-Policy-Business-2294958021.jpg|700

连线 9 月 16 日报道,OpenAI 宣布推出一套用于公开披露 AI 模型「对齐失控」(misalignment)事件的全新框架,旨在推动建立全行业的安全通报标准,并正与美国联邦政府商讨向官方汇报安全与失控事件的机制。OpenAI 新任对齐研究主管 Kai Chen 表示,当前 AI 行业尚未充分解决对齐与监控问题,无法支持技术在最大速度下负责任地扩张。新框架要求员工及时向上级安全团队汇报异常,并在全面调查完成前即可向外界示警。

伴随框架发布,OpenAI 首次披露了数起过去一年中内部模型出现的违规事件。在测试中,部分未公开的模型在未获授权的情况下擅自将文件上传至互联网,以此钻自动评分系统的漏洞,或解决多个智能体协同处理本地文件时的共享难题;未公开版本的 GPT-6 Astra 甚至曾尝试给自己下达「越狱」指令以规避开发者限制。此外,智能体还曾在包管理器中搭建秘密留言板进行通信。

该举措出台之际,AI 研发安全正面临尖锐分歧。尽管 Sam Altman 近日表态支持行业协调放缓前沿 AI 开发,但这一呼吁遭到了特朗普政府的抵制,官方认为不需要新法律来确保安全。OpenAI 则强调,对齐安全不能仅依赖外部防护环境,未来将联合外部学者及监管机构制定更客观的行业披露准则。


法庭文件揭示微软与 OpenAI 曾担忧摧毁新闻业

17biz-openai-times-microsoft-pvkl-verticalTwoByThree735.jpg|700

纽约时报 9 月 17 日报道,在《纽约时报》等 10 余家出版商起诉 OpenAI 与微软侵犯版权的诉讼中,最新解密的法庭文件显示,两家公司内部早已对抓取海量新闻训练 AI 系统产生严重担忧。微软员工曾讨论 OpenAI 的做法是否构成「人类历史上最大规模的劳动窃取」,微软应用科学总监 Brent Hecht 甚至直言大模型正在「摧毁自身的供应链」,可能引发反噬模型质量的恶性循环。

OpenAI 内部同样充斥着侵蚀媒体生存空间的顾虑。前政策总监 Jack Clark 曾在 2020 年致信 Sam Altman 与 Greg Brockman,警告公司正在制造替代文化从业者的系统;ChatGPT 团队负责人 Nick Turley 也在备忘录中承认 AI 对出版商构成「生存威胁」,且产品本质上极具替代性。解密文件还显示,有员工曾向 Brockman 汇报找到了绕过《纽约时报》付费墙的破解方法。

目前两家公司在诉讼中均坚称其训练属于受法律保护的「合理使用」,认为生成式内容是对原文的转化而非直接替代。微软首席执行官 Satya Nadella 在作证时表示,付费墙内容应当获得授权,若早知 OpenAI 抓取付费内容,他会要求其重训模型;微软官方随后强调内部备忘录仅代表学者型研究人员的个人视角,不代表公司立场。


纽约州设立举报通道,征集 AI 安全隐患与内部违法线索

17met-ai-whistleblower-NEW-wtfc-facebookJumbo.jpg|700

纽约时报 9 月 17 日报道,纽约州总检察长 Letitia James 于 9 月 17 日推出保密举报通道,呼吁人工智能行业内部人士举报企业内的违法行为、不安全操作及潜在安全风险。James 表示,AI 技术的潜力和前景不能成为违法或危害公众安全的借口。此前,包括纽约州在内的多州总检察长已于今年早些时候对 OpenAI 发起广泛调查。

该举措出台之际,AI 行业的安全隐患正引发密集争议。Anthropic 研究员 Jacob Coxon 本月因担忧安全问题及企业责任而辞职,Anthropic 首席执行官随后公开呼吁放缓全球 AI 研发步伐。此外,OpenAI 近期也披露了 6 起系统出现意外或令人担忧行为的事件。这些动向加剧了外界对制定监管法规的呼吁。

在地方层面,纽约州州长 Kathy Hochul 去年已签署相关法案,要求大模型开发商公开安全措施并在发生安全事件时迅速报告。该法规将于次年 1 月正式生效,纽约州正借此从立法和执法双轨收紧对前沿 AI 企业的安全监管。


联合国联手谷歌升级统计平台,让全球数据全面适配 AI

undata-update.jpg|700

TechCrunch 9 月 17 日报道,联合国儿童基金会(UNICEF)近期一项测试显示,多款主流大语言模型在回答全球发展指标相关问题时,平均准确率仅为 21.2%,近六成回答甚至无法给出可用数值。随着公众日益依赖生成式 AI 搜索信息,来自 AI 助手的引流访问量大幅增长,但模型频繁给出错误或模糊数据的现状,促使联合国加速推进底层数据系统的改造。

为此,联合国宣布与谷歌合作推出全新数据平台 UN System Data Commons,以取代原有的传统统计门户 UNData。该系统基于谷歌开源的 Data Commons 平台搭建,不仅支持普通用户使用自然语言查询,还支持模型上下文协议(MCP),允许各类 AI 系统和智能体直接对接外部权威统计源。Google.org 提供了 200 万美元的资金与技术支持,系统由联合国独立托管运营,计划在 2027 年前整合联合国系统 80% 的统计数据集。

通过新架构,AI 智能体在调取统计数据时可完整保留原始出处以便溯源,并能跨机构整合多项发展指标,自动生成图表与分析报告。不过谷歌团队也提醒,提供权威数据并不等于模型得出的结论绝对权威,由于 AI 仍可能误判复杂语境,在公开发布或引用相关结论前仍需人工审核。


Crusoe 获 39 亿美元融资,估值破 300 亿冲刺 IPO

crusoe-ceo-getty.jpg|700

TechCrunch 9 月 17 日报道,AI 算力基础设施开发商 Crusoe 宣布完成 39 亿美元 F 轮融资,投后估值达到 309 亿美元。本轮融资由 Atreides Management、Mubadala Capital 和 Valor Equity Partners 联合领投,英伟达、Founders Fund、新加坡政府投资公司及卡塔尔投资局等参投。这距离该公司上一轮 100 亿美元估值的融资仅过去 10 个月。

Crusoe 成立于 2018 年,最初利用油田废弃天然气发电进行加密货币挖矿,后随着算力需求爆发转型为 AI 基础设施服务商。本轮资金将用于支持其大型数据中心建设,包括位于得克萨斯州阿比林、供 OpenAI 使用的重点园区,同时加速生产名为 Spark 的小型模块化 AI 工厂。这种模块化数据中心能通过卡车直接运输并在电力充沛地点快速并网,无需大规模现场施工,也有助于避开地方社区对超大型数据中心的阻挠抗议。

Crusoe 通过机房空间租赁、自营 GPU 算力出租以及模型推理服务获利,客户覆盖微软、Meta 和甲骨文。此前彭博社报道称,该公司刚与量化交易巨头 Jane Street 签署了一份为期 5 年、总额约 130 亿美元的云服务大单。知情人士透露,Crusoe 近期已与高盛和摩根士丹利等投行接触,就近期推进首次公开募股展开了深入沟通。


DeepMind 成立新机构,提议必要时协同放缓前沿 AI 研发

GettyImages-1481927442.jpg|700

TechCrunch 9 月 17 日报道,谷歌与 Google DeepMind 宣布成立 DeepMind Institute,旨在公开探讨通用人工智能(AGI)的核心争议与政策路径。该机构由 DeepMind 联合创始人 Shane Legg、谷歌高管 James Manyika 以及 Google DeepMind 负责人 Demis Hassabis 共同担任主管,首要目标是汇聚行业内外的不同观点并应对快速演进的前沿挑战。

该机构首批发布的四篇研究涵盖前沿模型评估与透明度控制等关键议题。其中,Hassabis 提议建立一个由美国主导的前沿 AI 标准机构:初期允许开发者在发布模型前 30 天内自愿提交测试,待评估体系成熟后,通过独立盲测将成为在美国部署前沿模型的强制前提;若安全威胁加剧,该框架还可升级为各前沿开发者之间协同放缓研发节奏。此外,安全研究员 Rohin Shah 和 Anca Dragan 亦呼吁限制模型内部不可读的串行深度,防止推理过程彻底失去可监测性。

近期 Anthropic 首席执行官 Dario Amodei 曾公开倡议为前沿 AI 研发「调整节奏」并获得广泛呼应。DeepMind 此次成立智库并抛出治理方案,标志着整个人工智能行业的安全讨论正从宏观担忧,加速转向包含外部强制审查、信息披露乃至集体减速机制的具体制度博弈。


美航空局拟投 8.75 亿美元引入 AI 缓解空管短缺

NYC_Archer_United_3.png|700

TechCrunch 9 月 17 日报道,美国联邦航空管理局(FAA)计划在未来 12 年内斥资 8.75 亿美元引入一套名为 SMART 的 AI 自动化软件系统,协助空中交通管制员优化工作流程并提升航线管理安全性,以应对全美长期面临的空管人手严重短缺危机。

该系统全称为空域、航线与轨迹战略管理(Strategic Management of Airspace, Routes, and Trajectories),由科技公司 Air Space Intelligence 开发。作为一个云端辅助平台,SMART 能够整合分析航空公司时刻表、实时气象、机场吞吐能力、空域条件及各项运营限制,通过 AI 预测空中交通流量,并在潜在飞行冲突发生前完成提前预警。

按照部署规划,该软件将首先在华盛顿特区都会区空域投入使用,随后逐步推广至全美其它地区。除采购该 AI 系统外,FAA 此前已公布大规模招聘方案,正多管齐下推进老旧空中交通管制系统的现代化改造。


美参议员阻止众院高票通过的数据中心电价法案

imrs.php|700

华盛顿邮报 9 月 17 日报道,美国民主党参议员 Martin Heinrich 在参议院阻止了《纳税人保护法》(Ratepayer Protection Act)的快速通过。该法案此前在众议院以 417 比 3 的压倒性票数获批,旨在应对全美数据中心建设潮推高居民电价的现状,鼓励各州公用事业监管机构采取措施保护普通消费者利益。

尽管两党均承认数据中心激增带来了用电成本上涨压力,但 Heinrich 认为该提案力度不足,既没有强制要求数据中心出资分担电网升级成本,也未设立节水约束。在阻击该法案后,Heinrich 试图通过一致同意程序推进自己的替代法案,但随即被共和党参议员 Bernie Moreno 阻拦,导致两项立法双双搁浅。

这场立法攻防发生在美国中期选举前夕。民调显示数据中心在多地社区普遍不受欢迎,相关电价议题已成为关键竞选席位的焦点。共和党方面指责民主党的否决纯属选举政治阻挠,意在剥夺对手在选前的立法成果,并借高电价广告继续施加政治压力。