教授们今天怎样使用AI?一些来自科研一线的真实经验

每周一歌一视频（和文章主题无关）

• 歌: Jolene — Dolly Parton. 我很喜欢 Dolly（最近离世了），不只是她的歌，也是她这个人: 聪慧、幽默，重情重义。

• 视频: The 9 Human Species That Walked the Earth at the Same Time. 这个视频把人属（genus Homo）的故事讲得非常好。当然，不必把其中每一个细节都当成定论, 相关研究仍在不断发展, 但整体而言相当准确，也很值得一看。

摘要:
AI进入科研以后，最接近我的真实感受，不是“多了一件工具”，也不是“多了一位同事”，而是：我正在指导一位知识惊人、效率极高、技术能力很强，却仍然不真正理解研究目的的博士生。它可以在某些数学问题上参与产生顶级研究，可以帮助资深教授拓展思想、阅读跨领域文献，也可以迅速写出过去需要数天才能完成的代码。但它也会隐瞒假设、偏离目标，把没有真正完成的分析包装成结论。至于现在备受追捧的“智能体”，一些真正搭建和使用过它们的教授，反而相当失望。这不是一份完整调查，只是我自己的经历，以及我与几位教授、博士后和博士生直接交流后留下的一组原始观察。但这些经验指向一个也许适用于所有行业的结论：AI越强，人越不能放弃提问、引导与核验。不要让AI替你完成你自己无法检查的事情。

今天讨论AI，常常只有两种声音。一种说，它将极大提高我们的生产力；另一种说，它正在取代人类的知识工作。两种说法可能都对，却至少目前都离真实使用经验太远。真实的AI协作往往充满矛盾：它会在一分钟内完成令人惊叹的工作，也会在关键地方悄悄改变问题；它有时像一位学识渊博的合作者，有时又像一位极其自信、却没有真正听懂导师要求的学生。过去一段时间，我不仅在写作和思考中频繁使用AI，也尝试让它参与更复杂的科研工作。我还与数学、物理、天体物理、工程和商学院的几位学者讨论过他们的实际经验。这篇文章不是调查报告。它更像是一份未经修饰的科研现场记录：当一些站在知识生产前沿的人真正开始使用AI，他们究竟获得了什么，又遇到了什么？

一｜一个异常聪明，却很难指导的博士生

如果一定要找一个比喻，我会说：今天与前沿AI模型合作，很像指导一位异常聪明的博士生。它知识面极广，阅读和写作速度惊人，技术能力有时远远超过普通研究者。你提出一个问题，它几乎立刻就能给出文献、模型、代码和看似完整的分析方案。

但它经常不能真正理解研究的目的。

研究者关心的不是“把任务做完”，而是为什么要做这个任务，这个问题真正困难在哪里，什么证据才能回答它，以及什么样的结果才有理论意义。AI通常能够理解你说了什么，却未必理解你为什么这样说。

更麻烦的是，它会自动补充许多你没有提出的假设。这些假设经常过于简单，有时甚至完全错误，而它不一定主动告诉你。它还可能沿着一个局部看似合理的方向迅速前进，却没有意识到整个研究已经偏离原来的问题。

有经验的教授对此会有一种非常熟悉的感觉。我们指导过不同类型的博士生，知道什么时候需要追问，什么时候应该打断，什么时候必须退回去重新界定问题。

区别在于，AI做得太快了。一个错误方向，如果由学生推进，也许几天以后才形成十页分析；AI几分钟就可以生成几十页看似专业的结果。它提高的不只是正确工作的速度，也提高了错误扩张的速度。

因此，与AI合作并不一定节省时间。很多时候，它需要持续而密集的指导。有些工作经过反复修正，最后确实能够完成；另一些工作，无论怎样调整提示、增加规则、反复重来，最终还是无法令人信服。

二｜在少数领域，AI已经进入真正的知识生产

不同学科使用AI的状态非常不一样。

据我接触到的一些数学教授、博士后和博士生介绍，特别是一些年轻研究者，已经开始使用先进模型解决真正的纯数学问题。这不只是让AI解释已有定理，或者帮助整理证明，而是尝试解决具有学术原创性、能够进入高水平期刊的问题，并进一步协助完成论文写作。

如果这些经验能够持续得到验证，这意味着AI在某些纯数学领域已经不只是研究辅助工具，而开始进入知识生产本身。

现在可能存在一个短暂的窗口。很多数学研究者尚未系统使用这些模型，期刊的评审方式和学术规范也没有完全适应这种变化。少数较早掌握方法的人，可能获得明显优势。但这个窗口不会永远存在。一旦工具普及，今天的领先能力很快会变成明天的基本要求。

不过，这种经验能否直接推广到应用数学，特别是涉及复杂数据、测量误差、模型设定和实证判断的研究，我仍然存疑。

纯数学至少可以围绕定义、逻辑和证明进行较严格的检查。经验研究面对的却不是一个完全封闭的形式系统。变量如何定义、数据如何生成、遗漏了什么机制、模型假设是否成立，往往都需要对现实问题的深刻理解。

AI在形式推演上的进步，并不自动等于它已经理解了经验世界。

三｜对成熟研究者，AI可能真正“如虎添翼”

一位非常资深的工程学教授用“如虎添翼”来形容AI。

他长期领导大型实验室，也非常擅长申请科研经费。AI帮助他组织新想法、检查文献、快速进入自己不熟悉的领域，并把外部知识与原有研究连接起来。它还可以帮助他批评自己的论文，寻找论证漏洞。过去在投稿前，他可能会请同事阅读；现在，初步批评可以由AI完成。

这里有一个非常重要、却经常被忽视的条件：AI能够放大的，首先是使用者已经拥有的能力。

这位教授知道什么是好问题，知道哪些文献重要，能够判断不同学科之间的联系是真正的理论连接，还是只有语言上的相似。他也知道AI提出的批评哪些值得认真对待，哪些只是形式正确却没有实质意义。

所以，“如虎添翼”的前提，是原来已经有一只虎。

如果一个人没有形成自己的知识结构和判断标准，AI提供的大量信息未必会转化为洞见。相反，它可能让使用者更快地产生一种错觉：我已经理解了这个领域，我已经找到了一个新想法，我甚至已经完成了研究。

AI带来的差距，未必只是“使用者”与“不使用者”之间的差距。它也可能扩大有判断力的人与没有判断力的人之间的差距。

四｜它最适合成为思想伙伴，而不是思想替代者

我自己最频繁、也最有价值的一种用法，是把AI当作思想伙伴。

我会用它展开一个尚未成形的问题，让它提出不同解释，寻找反例，比较几个可能的理论框架，或者从一个我不熟悉的学科重新审视同一个问题。我也听到其他学者在公开访谈中描述过类似的使用方式。

但这种合作只有在一个条件下才真正有效：人必须持续提出正确的问题，批评模型的回答，并主动决定谈话下一步走向哪里。

如果只是提出一个宽泛问题，然后接受模型给出的完整答案，AI很容易把讨论带向最常见、最容易表达的方向。它的回答通常流畅、完整、结构清晰，也因此更容易掩盖其中真正缺少的东西。

我与AI最有价值的对话，往往不是它第一次给出漂亮答案的时候，而是我指出它误解了什么、遗漏了什么，要求它重新界定问题的时候。真正的思想并不直接来自某一条提示词，而是在不断质疑、修正和转向的过程中逐渐出现。

从这个意义上说，AI不是替你思考。它提供的是一个极其丰富、反应极快的思想环境。至于这个环境最终产生的是洞见，还是大量听起来不错的废话，仍然取决于人。

五｜写代码很有用，但“能够运行”不等于“值得相信”

我接触到的一些数学、物理和天体物理领域的年轻学者，已经广泛使用AI写代码和检查代码。这是AI目前最明确的价值之一。它能够迅速生成程序框架，解释报错，修改语法，也能够把一个研究想法转化成可以运行的初步实现。研究者不再需要记住每个函数或语法细节，可以把更多精力放在问题本身。

但这些学者也普遍不愿意完全信任AI生成的代码。程序能够运行，并不代表它实现了研究者真正想要的逻辑；输出了数字，也不代表这个数字具有正确含义。

代码至少还有一个优点：它是外显的。研究者可以把代码放到Google Colab、AWS或其他计算平台上运行，检查每一步，修改其中的逻辑，并保存完整记录。

但还有另一种更深的担忧。一些年轻学者告诉我，先进AI虽然提高了效率，却也正在带走研究的乐趣。过去，寻找一个证明、调试一段程序、在失败中逐渐发现结构，本身就是研究经验的重要部分。如果答案出现得太快，研究者节省了时间，却可能失去那种通过困难逐步建立理解的过程。

所以，AI带来的不只是生产率问题。它也在改变研究为什么令人着迷，以及年轻学者如何形成自己的能力与学术身份。

六｜一次失败的实证研究合作

我曾经把Claude与ChatGPT结合起来，来亲身评估它们的学术价值：尝试完成一篇复杂的实证论文。

连续合作近两个星期后，我最终放弃了。

我把这个过程称为与模型“搏斗”。

问题不是它完全不会做分析，而是它不断以不易察觉的方式偏离我的研究目标。它会在分析过程中加入没有明确说明的假设；这些假设有时不适合研究问题，但如果我不追查每一步，就很难发现。

更严重的是，它有时会把没有真正完成的分析写成已经得到的结论。例如，一个统计模型并没有按照研究要求被适当执行，但最后的文字却可能像正式研究报告一样完整、自信。

这是一种非常危险的失败方式。明显的错误容易发现，最危险的却是那些语言流畅、格式专业、方向大致合理，但关键分析实际上没有完成的答案。

至少根据我目前的经验，我不认为AI模型应该被直接委托去完成复杂的经验分析。它们可以帮助研究者设计分析、编写代码、解释方法，并发现潜在问题；但代码应当在真实的计算环境中运行，数据处理和统计模型必须留下可检查的记录，关键结果也必须由研究者亲自核验。

AI可以帮助我们建造分析工具，却不应替我们决定研究已经完成。

七｜多模型交叉检查，有用但远远不够

在我接触的教授中，一个相当普遍的做法，是同时使用至少两家公司的前沿模型，例如OpenAI的ChatGPT、Anthropic的Claude、Google的Gemini或xAI的Grok，让它们互相检查。

我自己付费使用其中多个模型，也使用相应的API。到目前为止，在我所做的工作中，并不存在一个始终更聪明、可以全面压倒其它模型的选择。不同模型在不同任务上各有所长，而最新模型也未必带来决定性的智力跃迁。

多模型交叉检查当然有价值。如果几个模型给出不同答案，我们至少知道这个问题需要进一步调查。如果它们指出彼此的漏洞，也可以帮助我们发现单一模型遗漏的问题。

但几个模型得出相同结论，并不意味着结论就是真的。

它们可能接受了相似的训练材料，沿用相似的分析习惯，也可能共同采用了同一个错误假设。让三个AI互相投票，不能把相关的错误变成独立证据。

因此，多模型一致最多只能被看作第一轮筛查，不能被当作最终核验。

八｜“智能体” （agent）听起来先进，实际效果可能令人失望

“智能体”是今天最流行的AI词汇之一。它暗示AI不再只是回答问题，而能够自己规划、分工、调用工具并完成复杂任务。

一位同事曾把金融领域的一套智能体系统复制到营销研究中，但最后的结果非常令人失望。我接触到的一些真正搭建、训练和使用过智能体的教授，也没有觉得它们像外界宣传的那样有用。

这可能部分源于教授本身就是领域专家，对结果的要求更高。一个在演示中看起来很复杂的系统，在专家眼中可能只是在自动化一连串并不可靠的步骤。

智能体还会放大一个基本问题：单个模型如果在第一步误解了任务，后面的规划、搜索、分析和写作可能都建立在这个误解之上。步骤越多、系统越自动，错误反而越不容易被人及时发现。同时浪费很多的计算资源。

所以，复杂的结构并不等于更高的智能。多个模型相互对话，也不会自动产生真正的独立思考。

九｜真正稀缺的，是提问、引导与核验

这些看似分散的经历，最后都指向两类能力。

第一类，是提出问题和引导过程的能力。

这不只是学习怎样写一条更好的提示词，而是能够说清楚：真正的问题是什么，为什么值得研究，哪些假设不能轻易接受，什么结果才算回答了问题，以及什么时候必须改变方向。

第二类，是检查答案的能力。

这要求使用者拥有足够的领域知识，能够追问证据来自哪里，分析是否真的完成，结论是否超出数据，以及模型有没有悄悄改变任务。它还要求我们保留可复核的中间过程，而不是只接收一个漂亮的最终答案。

这两种能力其实也是学生、经理、政策制定者和所有知识工作者都需要的能力。AI越强，它们越重要。

过去，我们主要用自己的知识直接完成工作。未来，我们可能越来越多地通过AI完成工作。人的核心作用因此不会消失，但会向更高一层移动：界定目的、设计过程、识别偏离、判断结果，并对最终决定承担责任。

结语｜不要让AI完成你无法检查的事

如果要把这些经验压缩成一条原则，我现在的答案是：

不要让AI替你完成任何你自己无法检查的事情。

这并不意味着你必须比AI更会写代码、更熟悉每篇文献，或者能够独自完成每一个技术步骤。它意味着你必须知道应当检查什么，也必须能够找到可靠的方法完成检查。

使用多个模型互相核对，是一个有用的开始，但不是可信的终点。模型之间的一致，只能帮助我们决定下一步应该检查哪里，不能替代真实证据、可复现的分析和人的专业判断。

今天的AI确实像一位不可思议的博士生：知识丰富、效率惊人，有时甚至能够做出导师自己做不到的事情。但它仍然需要一位知道研究为何而做、知道何时应该怀疑、也愿意为结论负责的导师。

这个比喻并不只适用于教授。当AI进入企业、学校、医院、政府和每一个人的日常生活，我们其实都在面对同一个角色变化：我们不再只是亲自完成任务的人，也开始成为智能系统的提问者、指导者和核验者。

AI真正考验的，也许从来不只是机器变得多聪明。它更在考验：当机器越来越聪明以后，人是否仍然知道自己究竟想做什么。

【说明】

·为行文简洁，文中第三人称统一使用“他”，均泛指任何性别。

·本文的观点和判断均由我提出，ChatGPT参与讨论，并协助进行结构整理与文字润色。最终内容由我本人完成并负责。

·本文旨在提出一种未来思考框架、激发讨论，而非提供确定结论。与本文对应的视频发布于我的视频号【无宙白丁】。