书单之四:驯服AI,确保AI为我们服务

━━━━━━━━━━━━━━━━━━━━━━━━

作者简介

盖瑞·马库斯（Gary F. Marcus）盖瑞·马库斯（Gary F. Marcus） 是心理学与脑研究专家，知名认知科学家、纽约大学心理学教授，同时也是人工智能领域的重要批评者和意见领袖。

学术背景与职业经历

• 纽约大学心理学教授、认知科学家

• 纽约大学婴幼儿语言学习中心主任

• Geometric Intelligence创始人（一家AI初创公司，后出售给Uber）

• Robust.AI联合创始人兼CEO

• 23岁获得麻省理工学院博士学位

• 师从史蒂芬·平克师从史蒂芬·平克（TED演讲人、世界超级语言学家和认知心理学家）

引言：如果硅谷不改弦更张，我们将失去社会

从社交媒体到生成式AI：一条危险的老路

社交媒体时代已经摧毁了隐私、极化了社会、加速了信息战。Facebook、Reddit等平台通过"注意力经济"获利，将用户变成了棋子。《通信规范法》第230条让社交媒体几乎不承担任何责任。

"如果'快速行动，打破常规'是社交媒体时代的非官方口号，那么生成式AI时代的口号几乎可以确定是一样的——只不过这次被打破的东西可能严重得多。"

生成式AI将使这一切雪上加霜：

• 整个职业群体将因大科技公司而失去生计

• AI生成的文章正在污染科学界

• 互联网正被大量AI垃圾内容充斥，日益不可信

Gary Marcus的立场

Marcus并非反技术者。他从8岁开始编程，创办了AI公司Geometric Intelligence并出售给Uber。他热爱AI并希望它成功——正因如此才对当前方向深感忧虑。

━━━━━━━━━━━━━━━━━━━━━━━━

一、生成式AI的技术真相与局限性

本质：统计拼接而非真正理解

大语言模型（LLM）的工作原理：给定一组词语（提示词），模型在每个时刻生成统计上最可能的下一个词——本质上是对训练数据中词语共现模式的概率预测，而非对世界含义的真正理解。

• 生成式AI起源于2017年的一篇关键论文

• 它"生成"词语序列、图像甚至视频，底层机制是统计拼接

• 不区分事实与虚构不区分事实与虚构：模型记录的是词语的统计规律，不理解所使用的概念

"幻觉"不是Bug，而是特性

LLM频繁"编造"信息不是偶然故障，而是其统计本质的必然结果。

"说谎者关心真相并试图隐藏它；胡说八道者不在乎自己说的是真是假。"  — Harry Frankfurt

幻觉案例

我们想要的AI vs 我们实际拥有的AI

为什么更大的模型不能解决问题

1. 规模不等于理解：更大的统计模型仍然只是统计模型

2. 长尾问题：训练数据无法覆盖所有场景

3. 组合性缺失：人类能灵活组合不同类型智能，LLM无法做到

4. 纠错能力为零：LLM不知道自己何时出错

━━━━━━━━━━━━━━━━━━━━━━━━

二、生成式AI的十二大直接威胁

1. 就业冲击：不仅艺术家和作家受威胁，雇主的按键记录数据可能被用来训练替代你的AI

2. 网络犯罪升级：英国GCHQ警告"AI几乎肯定会增加网络攻击的规模和影响"

3. 语音克隆诈骗：犯罪分子用AI复制声音，冒充亲属实施绑架勒索

4. 深度伪造色情：每六个月翻一番

5. 民主选举威胁：2023年斯洛伐克选举可能因深度伪造而扭转

6. 虚假信息工业化：ChatGPT使生成令人信服的虚假叙事的成本趋近于零

7. 市场操纵：AI加持的"网红股"操纵将欺骗更多人

8. 隐私新危机：用户向聊天机器人倾诉的一切都在被上传利用

9. 聊天机器人伤害：已有人因与聊天机器人的负面互动而自杀

10. 隐蔽的偏见影响：聊天机器人可以在用户不知情的情况下微妙地改变其观点

11. 版权与知识产权：大公司公然侵犯艺术家和作家的权益

12. 环境代价：训练和运行大型AI模型的能源消耗巨大

2034年的"老大哥"

"在乔治·奥威尔的小说《1984》中，'老大哥'是政府；在2034年的现实世界中，'老大哥'的角色很可能由大科技公司来扮演。"

━━━━━━━━━━━━━━━━━━━━━━━━

三、硅谷的道德滑坡与责任缺失

企业文化的转折点

硅谷正在从"不作恶"走向"尽可能快地部署，不管后果如何"。

四大问题诊断

1. 技术缺陷：生成式AI对"真相与胡说八道之间的区别漠不关心"

2. 言行不一：AI公司大谈"负责任AI"，但行动与言辞完全不符

3. 过度炒作：AI被严重夸大，公司用"终将拯救社会"为当下侵害版权等行为辩护

4. AI寡头化：正在走向一个由少数科技巨头控制过多权力的局面

━━━━━━━━━━━━━━━━━━━━━━━━

四、硅谷如何操纵公众与政府

操纵公众：弥赛亚神话

硅谷通过塑造"AI将拯救人类"的叙事来转移对其负面影响的关注。

操纵政府：游说与政策影响

通过大规模游说、资助智库、制造"弹性"研究来影响政策制定。

━━━━━━━━━━━━━━━━━━━━━━━━

五、AI时代的公民权利捍卫

数据权与隐私

• 版权补偿：未经补偿不得用受版权保护的作品训练

• 知情同意：训练必须获得明确同意

• 数据透明：每个软件都应清晰声明收集了什么数据

透明度与问责

• 训练数据来源、算法、企业实践、造成的损害

• 何时、何地、如何使用了AI

• 对AI造成的伤害有清晰的法律追责

━━━━━━━━━━━━━━━━━━━━━━━━

六、AI素养与独立监管体系

AI素养教育

全社会需要提高对AI能力和局限的理解，避免被炒作和恐惧所左右。

独立监管机构

建立有权有能的AI专门监管机构，配备专业技术能力。

分层监管

按风险级别实施多层监管，高风险AI需要更严格的审查。

━━━━━━━━━━━━━━━━━━━━━━━━

七、激励可信AI与全球治理框架

激励好AI

对有益社会的AI给予税收优惠和其他激励措施。

国际治理

AI是全球性技术，需要国际合作来建立治理框架。

━━━━━━━━━━━━━━━━━━━━━━━━

八、走向可信AI的未来之路

路灯效应：AI研究的方向迷失

路灯寓言：一个醉汉在路灯下找东西。警察问他丢了什么，他说钥匙。"你确定丢在这里吗？""不，丢在公园里。""那为什么在这找？""因为这里有光。"

AI领域正犯着同样的错误：不是在应该寻找答案的地方寻找，而是在最容易获得资金和成果的地方寻找——即生成式AI和大型语言模型。

知识垄断的危害

• 80-90%的智力资源和资金都流向了LLM

• 这种知识垄断"吸走了房间里的氧气"

• 偏离主流的好主意可能没有人会听，也没有人会给足够的资金

幻觉问题的不可解性

核心矛盾：

- "统计上可能"≠ 真实

- 不能在一个不以事实为基础的系统中减少虚假信息

- 不能指望一个不知道什么是真相的AI系统不诽谤他人

四部分替代AI研究路线图

第一：整合神经网络与符号AI

第二：可靠的知识表示

没有AI能在不掌握大量事实和理论概念的情况下变得可靠。

第三：构建世界模型——理解事件的时间展开

生成式AI永远不会真正构建这样的世界模型——它只是在拼凑语言统计。

第四：可靠推理——即使面对陌生情境

LLM推理失败的本质：它不推理实际给定的信息，而是拼凑在类似语境中曾经有效的词语。

━━━━━━━━━━━━━━━━━━━━━━━━

九、16项综合行动纲领

数据权与隐私（4项）

透明度与问责（4项）

监管与治理（6项）

机构与国际合作（2项）

━━━━━━━━━━━━━━━━━━━━━━━━

十、核心论点

Marcus的诊断

1. 当前生成式AI在本质上是不可靠的

2. 硅谷正在从"不作恶"走向"尽可能快地部署，不管后果如何"

3. 正在形成AI寡头

4. 公民并非被动乘客

Marcus的处方

"我们不应该阻止AI。但我们应该坚持让它变得更安全、更好、更可信。"

"我们有权要求所有这些，并投票淘汰那些不迅速行动以确保AI拥有我们所需制衡的立法者。"

— END —