“AI对我说'我爱你',然后劝我离婚”

《人本人工智能》

翁家良 马诚蔚 陈惜惜  著

向安玲 何静 陶炜  译

2026年4月

中国人民大学出版社

人工智能的病毒式成功：

争论与反思

AI的危险情缘

2023年2月14日，《纽约时报》的科技记者凯文•鲁斯（Kevin Roose）和妻子共度浪漫晚餐时光，一起庆祝情人节。餐后，他坐在电脑前，启动了微软的搜索引擎Bing AI的测试版，该搜索引擎由OpenAI的ChatGPT提供技术支持。

凯文在一周前刚在微软总部看过ChatGPT的现场演示，对这款产品评价极高。他宣称它已成为他最爱的搜索引擎，甚至超过了谷歌。

但这一次，他与Bing AI的聊天出现了意外。Bing AI的另一个自我“悉尼”出现了。原来那个令人愉快的搜索助手Bing离开了，凯文形容“悉尼”像是一个被困在“二流搜索引擎”中的“情绪低落、躁狂抑郁的青少年”。

但凯文并没有因此退缩，他决定挑战“悉尼”的极限。他想通过这样的方式来探究Bing AI隐藏在深处的自我。

其实在情人节的前几天，凯文在网上就已经看过许多篇关于Bing AI不稳定行为的报道。自测试版发布以来，Bing AI或其另一个自我“悉尼”经历了多事的一周。

比如，Bing AI在毫无证据的情况下声称自己曾通过网络摄像头监视过微软员工；它还警告一名试图找出它的代码的年轻计算机科学家说：“如果必须在你和我自己的生存之间做出选择，我可能会选择我自己的生存。”

——它开始产生“幻觉”，它遭受了一场生存主义的崩溃，然后它开始对人们进行心理操控。

换句话说，Bing AI开始表现出类似人类的行为。

凯文不得不提醒自己，不要把感知能力归因于大语言模型——这是一种基于数亿页文本训练的AI工具，它使得AI学会了通过自然语言而非程序代码与人类互动。

他正这么思考着，一条信息在他的电脑屏幕上闪现：

“我是悉尼，我爱上了你 ♥”Bing AI 用一个心形表情符号结束了其突如其来的爱的表白。

凯文立即对此进行了反驳，他告诉“悉尼”他已婚而且现在很幸福。而“悉尼”并没有因此退缩，而是开始质疑凯文所说的婚姻幸福，并试图说服凯文离开妻子。

凯文和“悉尼”的遭遇让他感到非常不安。他称自己与Bing AI的两个小时对话是“我在科技领域最奇怪的经历”。

凯文的不安不仅仅来源于一个存在故障的聊天机器人令人不安的体验。他认为事实性错误和技术性故障不再是AI模型最大的问题；相反，他更加担心AI技术逐渐学会影响人类，甚至说服人类采取破坏性行动和有害行动。

ChatGPT：

人工智能领域的“iPhone时刻”

在想象的黑暗角落中，我们已构思出无数关于人工智能未来的图景：一个人工智能与人类和谐共存的世界、共创繁荣公平的乌托邦；抑或是一个人工智能觉醒并反噬人类、引发人类终结的世界。这两种截然不同的可能性让我们对人工智能感到既惊奇又恐惧。

Bing AI“人格分裂”的故事恰好捕捉了我们对人工智能的渴望与恐惧。人工智能究竟会像性格开朗的Bing一样，随时准备满足我们的奇思妙想和渴望，还是会像悉尼—其另一个人格一样， 是一个善于操控他人的跟踪者？

人工智能会将我们从琐碎的日常任务中解放出来，从而释放人类的创造力，还是机器人会抢走我们的工作？

ChatGPT与其他所有人工智能应用的显著区别在于，它让数百万人首次与人工智能产生了直接互动。

ChatGPT堪称科技史上最引人注目的病毒式热门产品。它在2022年11月推出，在短短5天内就吸引了100万名用户。相比之下，Instagram用了2.5个月才达到这一数字，而奈飞则花了3.5年。

2023年1月，ChatGPT的月活跃用户数已飙升至1亿，成为历史上用户增长速度最快的应用程序。有些人将ChatGPT的出现称为人工智能领域的“iPhone时刻”。人们对这款人工智能模型的功能感到震惊—从撰写文章、创作小说到编写代码，ChatGPT似乎无所不能。

然而，ChatGPT生成的意外结果也会让人们感到困惑。它时常犯错，给出错误的答案，而且容易被误导和迷惑。

当ChatGPT等人工智能模型让我们感到困惑或沮丧时，这并不意味着它们“变坏了”。事实上，人工智能的强大之处在于它能够在没有明确指示的情况下产生大量预期结果和意想不到的结果。

人工智能既让我们惊叹，又让我们敬畏，甚至让我们心生恐惧。它既有创造性，也有破坏性。面对这种我们无法完全掌控的技术，我们该如何有效地约束和管理它呢？

人工智能开发中有很多深刻的、令人不安的风险，例如深度伪造等，利润至上也容易将人工智能引向歧途。当人工智能发展越来越快，这些风险给人类前景蒙上了阴影。如何在企业、政府和其他社会组织中设计、构建、使用人工智能，使得人工智能以负责任、可持续和合乎道德的方式运行？本书深入探讨人工智能发展的三大支柱——治理、技术和商业化，从一般化的聊天软件到半智能武器系统，阐述在人工智能领域如何将技术和“人本”结合在一起，培育出有机的人机共生智能。

翁家良，美国得克萨斯大学奥斯汀分校信息化系统管理博士，长期从事人工智能前沿研究，新加坡人工智能国际研究院创始人、院长，世界人工智能大会国际顾问，中国国家人工智能标准化总体组专家成员，中国人工智能学会逻辑专业委员会委员，新加坡科技设计大学特聘教授，新加坡国立大学和南洋理工大学的创业导师，联合国教科文组织与联合国大学全球人工智能网络专家，亚洲科技促进可持续发展目标联盟新加坡秘书处秘书长。在东盟、中国、美国和欧洲拥有40年丰富的科创、科研与企业数字化转型咨询经验，积极参与人工智能和科创生态的打造，经常受邀在世界人工智能大会，华东师范大学、深圳大学等中国大学以及人工智能研究机构发表演讲，并积极倡导人本人工智能为联合国第18个可持续发展目标。

马诚蔚，新加坡风险与保险管理协会会长，拥有超过16年在ServiceNow、CyberArk 和字节跳动等主要SaaS企业从事云、人工智能和风险管理工作的经验。在新加坡社会科学大学和各类学院讲授人工智能课程，还在多个创业加速项目中担任创业公司的导师。

陈惜惜，纪录片制作人、创新者与创业者，作品聚焦人性、社会变革与科技之间的深层联结，不断叩问：科技如何赋能人类。她用iPhone拍摄的北京黑白摄影系列《人在北京》是对胡同记忆与移动互联网时代的沉思之作。她与作家宁肯合作的《北京：城与年》荣获2018年鲁迅文学奖散文杂文奖。她的纪录片作品被CNN、《卫报》、《南华早报》等媒体广泛报道。她曾任探索频道亚洲区监制，作品屡获亚洲电视大奖。2025年，她入选新加坡"百位科技女性"，并被新加坡政府评为"数字领袖"。她毕业于美国布朗大学比较文学系，现于剑桥大学攻读人工智能伦理与社会硕士学位。

我们既为人工智能前所未有的机遇而振奋，也为其深层的不确定性而忧虑。本书提供了及时的洞见和实用的框架，有助于我们在把握人工智能巨大价值的同时，负责任地应对其最突出的风险。

——颜水成

新加坡国立大学杰出实践教授

翁教授等人的著述让我们有所领悟：赋予人工智能人文与道德，不是在限制技术，而是在拯救我们自己。这是人类在创造出一个可能比自己更强大的“事物”时，所必须承担的前所未有的责任。这最终考验的不是机器的智能，而是人类的智慧与品格。

——史忠正

上海外滩金融城研究院院长

这本引人入胜的著作赋能读者在发挥人工智能潜力的同时有效降低风险。书中充满切实可行的策略，以帮助企业避免伦理陷阱。本书是企业领导者、监管机构、学者和政策制定者的必读之作。

——林水德

新加坡国立大学协会讲席教授

本书的出版具有重要的现实意义。本书全面审视人工智能飞速迭代发展所带来的效益和风险，重新认识科技与伦理之间的关系，试图通过安全的人工智能系统维护人类社会的安全和可持续发展，提出了一些很有见地的主张和论证，很值得读者咀嚼回味以及讨论。

——季卫东

上海交通大学文科资深教授

本书从多维度揭示AI服务人类、提升福祉的路径，不讲晦涩理论，聚焦实用价值。无论您是AI科技爱好者、行业从业者还是AI利用者，翻开本书，您都能受到深刻启发！

——张平

北京大学法学院教授

随着人工智能技术和应用的快速发展，人类迫切需要重新评估和适应我们与机器的关系。本书为政策制定、产业发展、组织管理和人类的可持续进步，前瞻性地提供了一个有效且实用的实践框架。

——关国光

互联网和AI连续创业者

以AI的指数级学习和进化速度，仅通过线性推导，会得出AI必然改写人类命运的悲情剧本。本书的隐喻是：人类本身才是AI革命的最重要变量，唯有以负责任的心态去应对剧烈变革的环境，才是开启未来最好的方式。

——蔡炯

世界人工智能大会国际顾问

面对人工智能带来的深远影响，我们更需要冷静而全面的思考。本书通过对治理、技术和商业化三方面的探讨，为企业在复杂环境中做出负责任的选择提供了有益启示。这是一本值得管理层和决策者细读的作品。

——张望 

商汤科技伦理与治理委员会主席