“免责声明:本文仅供科研信息整理、学习讨论与科普交流使用。内容可能存在理解偏差或遗漏,欢迎读者批评指正。所有课程信息、技术细节和学术判断,请以原课程材料、论文原文和官方说明为准。
30 秒摘要
如果你以为 AI 的尽头是聊天机器人,那可能已经落后半拍了。

MIT Media Lab 2025 年春季课程 How To AI (Almost) Anything,第一讲真正想抛出的不是“怎么用 ChatGPT”,而是一个更野心勃勃的问题:
如果人类是通过语言、视觉、声音、身体、传感器和社会关系理解世界的,那么 AI 凭什么只靠文字理解世界?

这门课的核心关键词不是 chatbot。 也不是 prompt engineering。 而是:
AI for Anything.
也就是说,AI 不只要处理文本和图像,还要进入医学、传感器、可穿戴设备、网页操作、机器人、健康、情绪、社会互动和真实物理世界。
这篇文章是本系列第一篇。我们先不讲课程行政信息,不讲作业要求,只讲它背后的 AI 思想: 下一代 AI 的竞争,不只是模型大小,而是谁能真正理解复杂世界。
AI for Anything:AI 正在离开聊天框

1. 这门课为什么值得看?
现在中文互联网上讲 AI 的内容很多。
有人教你怎么写 prompt。 有人教你怎么用 AI 画图。 有人每天追逐“今天又发布了哪个新模型”。 这些当然有用,但它们多数停留在工具层面。
MIT 这门课更值得看的地方在于:它把 AI 从“工具使用”重新拉回到“科学问题”。
它问的是:
AI 如何处理新的数据模态? AI 如何进入真实世界? AI 如何连接语言、视觉、声音、传感器和行动? AI 如何服务健康、创造力、生产力和人类体验? AI 如何从单一模型变成和人协作的系统?
这就比“今天哪个模型更强”深一层。
因为真正决定 AI 未来的,未必是某个聊天机器人多会说话,而是 AI 能不能处理真实世界里那些混乱、异质、有噪声、难标注、难评价的数据。
简单说:
ChatGPT 是入口,但不是终点。
2. 第一讲的关键词:AI for Anything
第一讲有一个非常醒目的表达:AI for Anything。
这句话容易被误解。它不是说 AI 可以无条件解决所有问题。 它更像一个研究宣言:
只要一个问题里有数据、有结构、有任务、有反馈,我们就可以问:AI 有没有可能进入这个系统?
这个系统可以是语言。 可以是图像。 可以是声音。 可以是医学影像。 可以是病理切片。 可以是可穿戴设备。 可以是城市传感器。 可以是网页操作。 可以是机器人身体。 也可以是人的情绪、社交和健康状态。
这正是课程开头最重要的转向:
过去很多 AI 研究默认处理的是标准数据集。 比如图片分类、文本生成、语音识别。
但真实世界不是标准数据集。
真实世界是混乱的。 数据是不完整的。 标注是昂贵的。 模态之间是错位的。 任务目标经常会变化。 人类反馈也并不总是理性、稳定、清晰。
所以真正难的不是“套一个模型”。 真正难的是把现实问题转化成 AI 可以学习、可以推理、可以评价、可以部署的问题。
这也是这门课的野心所在。
从聊天机器人到真实世界 AI

3. 什么是“模态”?为什么它是理解这门课的钥匙?
在 AI 里,模态可以简单理解为一种信息形式。
文字是一种模态。 图像是一种模态。 声音是一种模态。 视频是一种模态。 传感器时间序列是一种模态。 医学影像、病理切片、表格数据、脑电信号、触觉数据、运动轨迹,也都可以是模态。
用更直白的话说:
模态就是世界把自己呈现给我们的不同方式。
人类理解世界时,从来不是只靠一种模态。
你听一个人说“我很好”,但你会同时观察他的语气、表情、动作、沉默、眼神。 你判断一个病人的健康状态,也不会只看一句主诉,而会看血检、影像、病理、行为、睡眠、运动和长期病史。 你判断一个实验结果是否可信,也不会只看一张图,而会看实验设计、统计方法、原始数据、重复性和生物学机制。
这就是多模态问题。
多模态 AI 的核心,不是把各种数据粗暴拼在一起,而是回答三个问题:
第一,不同模态有什么不同?图像有空间结构,语言有语法结构,声音有时间结构,表格有变量结构。
第二,不同模态之间如何连接?图像里的“狗”和文字里的“dog”可以指向同一个概念。 病理图像中的组织结构和临床指标可能共同指向疾病状态。
第三,不同模态放在一起后,会不会产生新的信息?单看一句话可能不知道是否讽刺,但加上语气和表情,意思就变了。 单看一项医学指标可能不够,但结合影像、病史和行为数据,风险判断可能完全不同。
这三个词非常重要:
异质性、连接、交互。
这也是理解多模态 AI 的三把钥匙。
多模态 AI 的三把钥匙:异质性、连接、交互

4. 为什么这比“多放几个输入”难得多?
很多人会以为,多模态 AI 就是把文字、图片、声音一起塞进模型。
这就太天真了。
多模态 AI 难就难在:不同模态不是同一种东西。
图像是二维空间。 声音是时间波形。 语言是符号序列。 表格是变量集合。 传感器数据可能是长时间、低信噪比、强噪声的连续信号。 病理切片可能是超大图像,局部结构和整体组织形态都重要。
这些数据有不同的尺度、噪声、采样方式和错误来源。
更麻烦的是,不同模态之间并不总是整齐对齐。
一段视频和字幕可能不同步。 医学影像和电子病历可能来自不同时间点。 一个人的情绪状态可能无法被单一标签准确概括。 传感器记录到的行为,也可能只是健康状态的间接影子。
所以多模态 AI 的核心挑战,不是“输入更多数据”,而是:
如何知道哪些数据在什么时候有用? 哪些数据只是噪声? 哪些模态之间真的有关系? 模型有没有真正学到跨模态交互?
这也是为什么多模态 AI 很迷人,也很危险。
迷人在于,它更接近真实世界。 危险在于,如果做得不好,它可能只是把更多噪声包装成更高级的幻觉。
5. 医学健康:未来很多指标不在医院里产生
第一讲里有一个很有冲击力的观点:
未来大量医学指标,可能并不是在医生办公室里采集的。
这句话非常值得生命科学和医学读者注意。
传统医学数据主要来自医院: 血检、影像、病理、诊断、处方、病历。
但人的健康并不只发生在医院里。 健康发生在睡眠里,发生在运动里,发生在社交里,发生在情绪变化里,发生在日常行为里。
手机、可穿戴设备、语音、面部行为、运动轨迹、社交节律、环境暴露,都可能包含健康相关信号。
这会让医学 AI 的边界发生变化。
过去的医学 AI 可能更像一个“读片助手”。 未来的医学 AI 可能更像一个“长期健康状态理解系统”。
它不只问:
“这张影像有没有病灶?”
它还会问:
“这个人的身体、情绪和社会状态,是否正在发生长期变化?”
这听起来很强大,但也必须谨慎。
因为健康数据越接近日常生活,隐私风险就越高。 模型越想理解人的状态,就越容易越界。 AI 越像一个健康伴侣,就越需要可靠性、可解释性和伦理边界。
所以医学多模态 AI 的关键问题不是“能不能做”,而是:
哪些信号真正有医学意义? 模型如何表达不确定性? 人类医生如何参与判断? 数据如何保护? 错误预测由谁承担?
这才是值得严肃讨论的问题。
整体健康:身体、社会与情绪

6. 网页 Agent:AI 不只是回答,而是行动
第一讲还提到了另一个关键方向:AI agents for the web and digital automation。
这部分很重要,因为它标志着 AI 的角色正在变化。
普通聊天机器人主要做一件事: 你问,它答。
但 agent 不是只回答。 Agent 要在环境里行动。
比如,你让一个网页 agent 帮你买一副评分至少 4.5 星的耳机,并寄给你。
这听起来简单,但背后其实包含一串复杂步骤:
它要读懂你的需求。 打开网页。 搜索商品。 识别评分。 比较价格。 判断是否符合条件。 点击按钮。 填写信息。 遇到不确定时向你确认。 操作失败时重新规划。
这已经不是“文本生成”。 这是观察、计划、行动、反馈和纠错。
也就是说,AI 正在从“会说话的模型”变成“会做事的系统”。
这会改变很多行业。
办公软件、网页表单、数据分析、文献检索、科研流程、实验记录、代码执行、报告生成,都可能被 agent 重塑。
但问题也随之而来:
如果 agent 点错按钮怎么办? 如果它误解了你的任务怎么办? 如果它在网页上泄露隐私怎么办? 如果它为了完成目标而走捷径怎么办?
所以 agent 的未来,不只是更强的推理能力,也包括更强的安全机制和人类监督。
一句话:
当 AI 开始行动,它就不能只被评价为“聪明”,还必须被评价为“可靠”。
从聊天机器人到网页 Agent

7. 这门课真正适合谁看?
这门课不是只适合 AI 专业学生。
恰恰相反,它对有领域背景的人尤其有价值。
如果你是生命科学学生,你可以问: AI 如何理解细胞图像、单细胞测序、空间转录组和免疫动态?
如果你是医学背景,你可以问: AI 如何连接影像、病理、病历和长期行为数据?
如果你是材料科学背景,你可以问: AI 如何理解结构、性能、制备条件和实验噪声之间的关系?
如果你是生物物理或数学建模背景,你可以问: AI 模型和机制模型能不能结合? 生成模型能不能提出新的假设? 贝叶斯推断能不能帮助模型表达不确定性?
如果你是普通读者,你也可以问: AI 会如何改变我们工作、学习、创作和生活?
这门课最有价值的地方,是它不把 AI 看成一个孤立工具,而是把 AI 放进真实问题里。
这对科研尤其重要。
因为很多真正值得做的问题,不是“我能不能用最新模型”,而是:
我的问题里到底有什么数据? 这些数据有什么结构? 模型学到的东西能不能解释? 预测结果能不能验证? 它会不会真的改变我们理解世界的方式?
8. 本系列接下来会讲什么?
这篇是开篇。后面我们会沿着课程结构,做一个中文精读系列。
我不会做逐页翻译。 逐页翻译没有意思,也不适合公众号。
我会做三件事:
第一,把课程里的 AI 概念讲清楚。 第二,把它们和生命科学、医学、材料、生物物理、科研训练联系起来。 第三,尽量把每篇文章写成一个可以独立阅读的小专题。
后续计划如下。
第二篇:怎么做 AI 研究,而不是只会调用模型
我们会讨论 AI research 的基本逻辑:如何读论文,如何找问题,如何判断一个 idea 是否值得做,如何设计实验,如何避免“看起来很 AI,实际上没有科学问题”。
第三篇:数据、结构与信息
AI 首先不是模型问题,而是数据问题。 我们会讲不同数据为什么需要不同结构:图像、序列、表格、图网络、时间序列、医学数据到底有什么本质差别。
第四篇:实用 AI 工具
PyTorch、Hugging Face、调参、debug、fine-tuning。 这篇会更偏实用:一个非计算机背景的人,如何开始真正动手。
第五篇:模型架构
CNN、Transformer、图神经网络、集合模型。 这篇会讲一个核心思想:模型架构不是玄学,而是对数据结构的假设。
第六篇:多模态 AI 的连接与对齐
图像和语言如何对齐? 医学影像和病历如何对应? 同一个概念如何在不同模态里出现?
第七篇:多模态交互与融合
什么时候多个模态真的产生了新信息? 什么时候只是把噪声拼在一起? 如何判断模型有没有学到真正的跨模态交互?
第八篇:大模型为什么大,以及大有什么问题
预训练、scaling、fine-tuning、instruction tuning、LoRA、quantization。 这篇会讲大模型的工程逻辑,也会讲它的限制。
第九篇:大多模态模型
为什么现在的 AI 不满足于文字? 视觉语言模型、医学多模态模型、embodied multimodal model 会走向哪里?
第十篇:生成式 AI
Diffusion、Flow Matching、可控生成。 这篇会讲为什么 AI 画图、生成视频、生成分子、生成材料,背后其实有共同数学思想。
第十一篇:AI Agent、推理与行动
当 AI 不只是回答问题,而是开始操作网页、调用工具、规划步骤,它到底需要什么能力?
第十二篇:人机交互、安全与可靠性
最终的问题不是 AI 能不能强大。 最终的问题是:
我们如何和一个强大的 AI 系统共同生活、共同工作、共同创造?
本系列路线图

9. 为什么我想写这个系列?
因为现在中文 AI 内容有一个问题:
太多内容在追热点,太少内容在讲结构。 太多内容在讲“怎么用”,太少内容在讲“为什么”。 太多内容在制造焦虑,太少内容在帮助读者建立判断力。
AI 当然会改变世界。
但如果我们只停留在“哪个工具更好用”,我们会永远被产品发布牵着走。 今天一个模型,明天一个平台,后天一个新名词。 热闹很多,理解很少。
我更想做的是另一件事:
把 AI 当作一门正在成形的科学和工程体系来读。 把课程、论文、模型和真实问题连接起来。 把复杂概念拆开,但不把它讲得廉价。 让没有纯计算机背景的读者,也能逐渐理解 AI 的核心逻辑。
这个系列不会假装 AI 很简单。 但我会尽量让它变得可进入、可讨论、可继续学习。
如果你对生命科学、医学、材料、生物物理、数学建模、科研训练,或者下一代 AI 感兴趣,可以关注这个系列。
我们从第一讲开始,不追风口,追结构。 不迷信模型,理解问题。 不只问 AI 会不会替代人,而是问:
AI 会如何改变我们理解世界的方式?
参考资料
MIT Media Lab, MAS.S60 How To AI (Almost) Anything, Spring 2025, course homepage and Lecture 1 slides. Paul Pu Liang, Amir Zadeh, Louis-Philippe Morency. Foundations & Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions. Tadas Baltrušaitis, Chaitanya Ahuja, Louis-Philippe Morency. Multimodal Machine Learning: A Survey and Taxonomy. Yoshua Bengio, Aaron Courville, Pascal Vincent. Representation Learning: A Review and New Perspectives.
夜雨聆风