Karpathy被AI耍了 这件事说明了什么
Karpathy被AI耍了 这件事说明了什么
Karpathy,OpenAI创始成员,特斯拉前AI总监,圈子里公认的聪明人。
结果前两天,他被同一套AI系统连续耍了两道。
怎么个事?
他先用AI花了4个小时,把一篇博客的论证打磨到自认为无懈可击。逻辑严密,论据充分,他觉得这事稳了。
然后他突发奇想:让同一个AI反驳一下自己这篇文章。
AI几秒钟干完,直接把他的整个论证拆得体无完肤。换了对面立场,照样说得头头是道,同样把他彻底说服了。
Karpathy看完沉默了。
他的原话:LLM可以帮你论证任何方向,而且都能让你信。
这东西当工具挺好用,前提是你得同时问它两个对立面。
说白了,LLM就是个高级论点生成器。
它不关心真相,只关心把话说完。你指向哪,它就打向哪。东边需要人,它就替东边跑;西边需要人,它马上替西边冲锋。
它本质是律师,不是法官。明知道真相只有一个,但它只要出手,两边都能给你辩护得滴水不漏。
Karpathy给的建议:用AI的时候,故意让它站在反面打自己一拳。如果它两下都能把你说得心服口服,那你反而要警惕了。
普通人听到一个逻辑严密的论证,第一反应是什么?
信了。
这个习惯在AI时代要改。
逻辑严密≠真相。只能说明它能自圆其说。自圆其说这件事,LLM是专业的。
真正危险的不是AI说谎,是AI能让你觉得它说的就是对的,而且你觉得这个过程是你自己思考出来的。
你以为你在判断,其实你在被引导。
Karpathy这4个小时的教训,咱们普通人值得记一下。
夜雨聆风