之前有次跟BAT(老版)的某个项目负责人聊LLM的后训练,那位负责人说现在最头疼的就是怎么让LLM有“活人感”。现状不是如何提升“活人感”,而是如何开始具备“活人感”。
自从这个公众号得到流量眷顾,得到的最多的读者正面评价就是活人感。一开始也实在琢磨不清楚究竟什么是活人感,只能像机器学习的逻辑一样,把这种感觉拟合为“写的东西越抽象,就越有活人感”。
但这显然是有问题的,一是抽象本身就太抽象了,就是因为难以预测,所以才能被称为抽象;二是抽象只能看作活人感的一种表现形式,有“活人感”就能抽象,但抽象了并不意味着有活人感。
回到那次聊天,我把自己的写作过程解构了一下,多多少少也有了一些制造活人感的思路。
总共有三点:生活经历、跳跃性思维以及审美。
生活经历
人有生活经历,就有联想的素材。如果一个人总是完全客观、理性且中立地表达观点,我们能从这个人口中听到很有价值的内容,但大概率不是有个性的内容。而一旦人以自己的经历为素材去表达,那么就能说出有个性的内容,无论是内容本身,还是角度。
有的人喜欢直接引用生活经历,并且由此产生许多偏见,但我们不会说一个充满偏见的人像机器,顶多是怀疑这个人的智力水平。有的人不会直接引用生活经历,但伴随生活经历产生的情绪与心理活动,会影响他们表达的内容的侧重点,这也可以看成一种个性的存在。还有些人对生活有抽象的感知,习惯用抽象的语言来描述、解构自己的生活,那么他们也能用这些抽象的内容来理解并完成对话。
这显然与人们对一个极其智能并且完全理性的模型的期望不符,但正是这种非智力局限性的存在才使得人能区别于机器。
跳跃性思维
跳跃性思维是挺重要的,有了联想的素材还不够,人还得自由且有个性地引用素材。按照理性很难建立起联系的两个事情,往往能在跳跃性思维存在的前提下建立起联系。
例如在日常矛盾中经常发生的情况,甲说了一个自己的安排,乙可能会很生气。甲对于乙的生气不解,并且甚至因此而生气,觉得自己很委屈。但其实,乙是在听完甲的安排之后,想到了这个安排背后的动机或是导致的后果,并且联想到了曾经发生的某段经历,因此产生情绪。
乙不会像一个机器人一样,在生气时一步步地分解自己的情绪来源。虽然情绪是逻辑的最后一部分,但往往是最先被表达的。更不用说,在情绪的影响下,人们的逻辑分析能力也有可能减弱。因此,尽管逻辑是很合理的,但乙的行为以及言语对于甲来说是很跳跃的。
一个逻辑链如果是:A—B—C—D,那么AI会由A谈B,但人可能会由A谈D,尽管人想到了B和C,但并没有表达出来。
审美
审美真是很重要,有审美就意味着对于听者来说,表达的人是有偏好的,这也是个性的体现。如果一个人对于任何事情都毫无偏好,那应该很难被认为有“活人感”。
审美没有好坏高低之分,这是一个十分复杂的问题,不讨论。事实上,“有审美”和“没审美”也是一个值得被反复讨论的问题,但我们总是能主观地感知一个人是否具有审美。
如果LLM能被人感知成“有审美的”,那么就意味着生成的内容是有偏好的,这种偏好不是观点,而更像是一种感受。如果我们能感受到对方是有感受的,那么肯定比那些完全没有感受的人更有活人感。
打个比方,一个人出了场车祸受了伤。如果他因为受伤而不断呻吟甚至大声嚎叫,我们可能觉得这人矫情或者可怜这个人。但是,如果他在血往外淌的时候,没有任何表情也不做任何表达,那就很难让人觉得有“活人感”了。
这个例子放在审美下边看着不是太相关,我再举一个。
大家都有口味的偏好,酸甜苦辣咸,这就是味觉方面的审美。有了味觉审美之后,就会对要吃的东西有取舍,或是优先级的排序。如果没有味觉审美,那就吃什么都无所谓。你问这人为什么不吃某一样东西,他能回答“因为我不想”。有的人比较敏感,还会现场生硬地解释自己为什么不吃,这往往会被解释为“嘴硬”,但恰恰是一种活人感的表现。
我多多少少学习了一些机器学习的理论,知道“审美”、“生活经历”以及“跳跃性思维”都是在当下的训练逻辑下LLM不可能具备的。但人们既然想往这个方向走,好歹得知道目的地具体长啥样才好。
像“活人感”这种玩意吧,你很难界定,但是可以确定的是,让不具备“活人感”的人来定义一定是件麻烦事。
是吧?
最后再举个例子,是一个很有活人感的视频博主,在视频号中的名字是火球&狐狸。
他们的视频风格时而抽象时而正经,我们单说抽象的,就像这个截图中的视频。视觉上来讲,极度夸张的滤镜、特效加上非常拥挤的背景。内容上来讲,就是两人用很尖的嗓子,搭配节奏强烈的伴奏,说出一些逻辑非常简单的话。
例如“为什么骂我爸妈,我爸妈没惹你啊,没惹你啊,没惹你啊,没惹你啊。”
或者“未成年不许谈恋爱,未成年不许谈恋爱,不许不许不许不许谈恋爱。”
很多人可能会对这种内容不解,但对于一些年轻人来说,这种“发疯”且“抽象”的内容,就是有趣的。就算不觉得有趣,甚至说这种内容是“神经病”,也得意识到只有人才能神经病,机器是不能的。
目前只能用这种合法的方式描述这位博主,旱鸭子正在努力联系这位博主,争取能采访一下他们。
本篇只是记录一下思考的内容,主要是“活人感”的来源问题。从算法架构以及数据的角度来说,这篇文章没有任何价值。
早上好各位,记得鸡蛋要在洗衣机中甩干之后再吃。
如果有兴趣和我聊一下“活人感”或是技术方面的内容,欢迎加微信。


夜雨聆风