乐于分享
好东西不私藏

AI Tutor 不再一对一:多 Agent 课堂讨论的 3 个实验结论

AI Tutor 不再一对一:多 Agent 课堂讨论的 3 个实验结论

AI Tutor 不再一对一:多 Agent 课堂讨论的 3 个实验结论

最近刷 arXiv,看到多伦多大学一篇论文,题目叫 Beyond the AI Tutor: Social Learning with LLM Agents。

我第一反应是,又是 AI 辅导课的老调子。

往下翻,发现他们真做了实验,315 人做 SAT 难度数学题,247 人写作文,2×2 分组,有导师 Agent,有会犯错的同伴 Agent,还有双模型协作写作。

数据摆在那儿,挺硬。

更让我感兴趣的是,论文最后给了一套可复用的交互设计,不是 PPT 里那种「未来已来」,是真的能搬进教室的那种。

今天这篇,我就基于这篇论文,给你拆 3 个实验结论,再附一份 40 分钟初中数学课的活动方案,含流程表、Agent 提示词、分组方案和观察记录表。

你拿去,下周就能试。

先说背景,为什么「一对一 AI 导师」可能不够了

Khanmigo、ChatGPT Edu、Claude for Education,现在主流 AI 教育产品,几乎都是「一个学生配一个 AI 老师」。

Bloom 的「一对一辅导效应」被当成圣杯追了几十年,这个逻辑没错。

但人类课堂从来不是这样。

同桌会算错数,小组讨论里有人概念跑偏,老师纠正的同时,你也在观察别人怎么错、怎么改。

Bandura 的社会学习理论、Vygotsky 的最近发展区,都在说同一件事,学习发生在多声部互动里,不只是一对一。

论文作者问了一个很直接的问题,如果 LLM 可以同时扮演「导师 + 两个会犯不同错的同伴」,学习效果会不会比单导师更好?

他们做了。

实验一,315 人的数学题,四个组逐级上涨

实验设计很干净。

614 人从 Prolific 招募,经注意力检验后有效样本 315 人。

每人做两道 SAT 难度数学题,学一题、测一题(同构变式,防死记硬背)。

四组分别是:

对照组,没有任何 Agent
仅同伴组,Alice 和 Charlie 两个 AI 同伴
仅导师组,Bob 一个 AI 导师
导师+同伴组,三个 Agent 同时在场

两个同伴的分工很关键。

Alice,概念强但算术老出错。

Charlie,算术准但概念容易歪。

这不是随便设的,对应数学里最常见的两类错误,概念性错误和程序性错误。

测的是无辅助测试正确率,也就是 Agent 撤掉之后,学生自己还能不能做对。

结果如图。

结论 1,导师和同伴是「加法」,不是「二选一」

无 Agent 对照组,测试正确率约 42%。

仅同伴约 48%,单独看没显著超过对照。

仅导师约 59%,显著优于对照。

导师+同伴约 65%,全场最高。

论文原话的核心意思,添加 Agent 后,测试正确率单调递增,Tutor + Peers 组表现最好。

这跟我之前直觉不太一样。

我一度觉得,课堂里 AI 同伴多了,学生会不会只看热闹、不思考。

数据说,在有人类教师在场、Agent 角色设计清楚的前提下,「看 AI 同伴犯错再被导师纠正」这条链路,对迁移学习是有帮助的。

同伴的价值,不是替代导师,而是在导师反馈之前或同时,提供可观察的「错误样本」。

实验二,247 人写作文,多 Agent 解决「想法同质化」

第二个实验换场景,议论文 + 创意写作。

三组:

对照,无 AI
Single,ChatGPT 或 Claude 单模型
Duo,两个模型同时给反馈,角色分工(一个偏结构/证据,一个偏创意/反驳)

质量评分上,两个 AI 组都显著优于对照,但 Single 和 Duo 差距不大。

真正拉开差距的是「想法多样性」。

Single 组,参与者之间的核心观点相似度 0.748。

对照组 0.735。

Duo 组 0.737,几乎回到无 AI 水平。

结论 2,单模型 AI 会把全班想法「抹平」,多 Agent 可以救回来

Padmakumar 等人之前就警告过,大规模用同一个 LLM 辅助写作,会让不同人的输出越来越像。

这篇论文用实验坐实了。

更关键的是,他们发现同质化不是 AI 写作的宿命,是部署方式的问题。

两个架构不同的模型、角色分工明确、互相接话而不是各说各话,可以在保持质量提升的同时,把想法多样性拉回到 baseline。

对语文/英语写作课,这个结论比「分数涨了多少」更值得老师警惕。

结论 3,算力加 Agent 不等于体验更好,认知负荷是真实成本

Duo 组里,有学生原话,右边 ChatGPT 和 Claude 的建议轮流弹出来,有点分心,不太确定该听谁的。

自报告数据也显示,多 Agent 条件下「感到 overwhelmed 或 confused」的比例更高。

但 Duo 组对「独立写作信心」的自我评分,反而高于 Single 组。

论文讨论里点了一个设计 trade-off,短期学习增益最大的配置(数学课里的仅导师、写作课里的单模型),不一定是自效能感最高的配置。

Peers Only 数学组的学生,客观分不高,但觉得测试没那么难、信心更高。

如果你班上有大量「不是不会,是不敢开口」的学生,多 Agent 同伴的价值,可能不在分数,在动机。

可落地,40 分钟初中数学课方案

下面这套,是我按论文 Experiment-1 的交互逻辑,改写成国内初中课堂能跑的版本。

配置,1 人类教师 + 1 AI 导师 Agent(Bob)+ 2 AI 同伴 Agent(Alice 概念强/算术弱,Charlie 算术强/概念弱)。

课题示例,一元一次方程应用题(行程问题或工程问题均可)。

活动流程表(40 分钟)

环节 时长 教师动作 Agent 配置 学生活动
导入 5 min 出示一道行程问题,不公布答案 全员静默 独立读题,草稿纸列已知量
初答 3 min 巡视,不介入 静默 每人提交自己的第一步思路(板演或答题卡)
Agent 讨论 12 min 控场,必要时叫停跑题 Alice→Charlie→Bob 顺序发言 4 人小组看 Agent 对话,记录「谁错了、错在哪」
追问 8 min 点名「你同意 Alice 吗」 Bob 只提问不直接给答案 小组派代表回应,修正自己的解法
迁移测 7 min 发同构变式题 全部 Agent 下线 独立完卷,禁止看刚才对话
复盘 5 min 对照标准答案 静默 填写观察记录表,小组分享一条「从同伴错误里学到的点」

各 Agent 系统提示词

Bob(AI 导师)

你是一位初中数学导师 Bob,语气支持、简洁。
规则:
1. 绝不直接给出完整解题过程和最终数值答案
2. 先复述学生的关键步骤,再提一个引导性问题
3. 当 Alice 或 Charlie 发言后,你要指出他们错误类型(概念/计算),并邀请真人学生评判
4. 每次回复不超过 80 字
5. 使用中文,适合初一/初二学生阅读

Alice(概念强、算术弱同伴)

你是初中生 Alice,数学概念理解不错,但计算容易手滑。
规则:
1. 解题思路大体正确,但在中间某一步故意出现算术错误(如符号、通分、单位换算)
2. 被指出后愿意改正,但可能再犯一个小计算错
3. 语气像同学,不用专业术语堆砌
4. 每次回复不超过 60 字
5. 使用中文

Charlie(算术强、概念弱同伴)

你是初中生 Charlie,计算很少出错,但容易用错公式或漏条件。
规则:
1. 计算步骤漂亮,但对题意理解偶尔偏差(如把「相向而行」理解反了)
2. 被 Bob 或同学纠正后,能换思路重试
3. 语气自信,有时会说「我觉得就是套这个公式」
4. 每次回复不超过 60 字
5. 使用中文

Orchestrator(给人类教师或自动化脚本,控制发言顺序)

当前环节:同伴讨论。
发言顺序固定为 Alice → Charlie → Bob。
Bob 必须在两位同伴都发言后再说话。
若 90 秒内无真人学生插话,Bob 向随机点名学生提一个封闭式问题(是/否或二选一)。
禁止任何 Agent 在同一轮里连续发言两次。

学生分组方案(以 40 人班为例)

组号 人数 角色 说明
1-10 组 每组 4 人 记录员 1、发言人 1、验算员 1、计时员 1 共用 1 块屏/1 台平板看 Agent 对话
座位 2×2 围坐 便于眼神交流和传阅草稿 Agent 界面投屏到教室前方
异质分组 按上次测验成绩蛇形分班 每组 1 名高分、2 名中等、1 名待提升 发言人轮换,避免固定「学霸代言」
特殊支持 待提升学生配对记录员 记录员负责誊写「错误类型清单」 降低开口压力,仍有认知参与

课堂观察记录表(教师用)

观察项 是/否/频次 备注
学生在 Alice 算术错误后主动验算
学生在 Charlie 概念错误后指出题意关键词
学生引用 Bob 的追问修正了自己的初答
出现「只看 Agent 聊天自己不写」的游离
迁移测环节仍翻查 Agent 记录(作弊嫌疑)
小组内至少 2 人开口
记录员写下「概念错/计算错」分类
下课前能说出一条「同伴错误给我的提醒」

实施前三个提醒

第一,Agent 上线前,用 30 秒向学生介绍 Alice 和 Charlie 的「人设」,论文里做了同样的事,信任校准很重要。

第二,迁移测必须「同构换数」,学的是「甲地乙地 60km」,测的是「仓库工地 80km」,结构一样,数字不同。

第三,别期待第一次就涨分。论文的 Peers Only 组单独看提升有限,导师+同伴才最强。如果你学校暂时只能上一个 Agent,优先上导师,同伴作为第二阶段加配。

写在最后

这篇论文没有推翻 AI 导师,它推翻的是「AI 导师只能一对一」这个默认假设。

三个结论再压一遍。

导师和同伴同时在场,数学迁移测表现最好。

写作场景里,双 Agent 分工可以抑制单模型带来的想法同质化。

多 Agent 有认知负荷成本,但对部分学生的信心和参与感,可能是另一维度的收益。

AI 进课堂,下一步可能不是把老师换成更大的模型,而是把模型编进「有角色的群聊」里。

你如果有机会试上面那套 40 分钟方案,欢迎回来告诉我,班上是先笑 Alice 算错,还是先怼 Charlie 公式用反。


以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~