夜雨聆风学习资料网

ARTICLE · 1398293

37位名校教授联手出“防AI考题”惨遭打脸!改题后AI竟从54分飙到88分

37位名校教授联手出“防AI考题”惨遭打脸!改题后AI竟从54分飙到88分

作者 | 纸片飞

编辑 | 收袋人

一份编号为 CriminalJustice_01 的刑事司法考卷上,出现了一个让出题教授倒吸凉气的诡异数字。

在原本的旧题里,三大顶尖AI大模型的得分中位数只有 53.6分,不及格。

为了彻底堵死学生用AI作弊的路,授课教授决定对这道题进行“防AI加固”,特意往题干里塞满了只有本班课堂才讲过的专属知识。

按常理,AI这下应该彻底抓瞎了。

然而,当研究人员把加固后的新题喂给大模型时,诡异的一幕发生了:AI的得分非但没有归零,反而一口气狂飙到了 87.6分。

整整暴涨了34分!

▲ 科技博主 Alex Veremeyenko 整理的实验结果:教授精心打造的“防AI题”,反而让模型考出了高分

这不是段子,也不是单次偶然。

在宾州州立大学团队发布的重磅论文(arXiv:2611.21476)中,来自美英11所研究型大学的37位教授,拿出了61道他们自信满满的“防AI神题”。

结果,在不给任何课程讲义的裸考状态下,GPT-5.4 平均砍下 83.2分,Claude Sonnet 4.6 拿到 82.1分,Gemini 2.5 Flash 也有 78.7分。

按照美国大学的评分标准,这妥妥是一张 B到B+ 的优良成绩单。

为什么大学教授们绞尽脑汁设下的“防AI陷阱”,最后却成了送给大模型的垫脚石?

顺着这份4500次测试的实验档案往下查,高等教育最尴尬的一块遮羞布被直接掀开了。

追查源头:一场官方悬赏的“作弊马拉松”

这场打脸实验的源头,要追溯到宾州州立大学举办的一场奇葩比赛,“作弊马拉松”(Cheat-a-thon)。

当时校园媒体甚至在标题里调侃:“学校批准的作弊?”

比赛规则简单粗暴,还挂着1000美元的奖金悬赏:第一阶段,请各学科教授提交他们认为“生成式AI绝对答不好”的期末题或作业题;

第二阶段,招募学生只能用AI作答,严禁查谷歌、翻维基百科或泡图书馆。

▲ 宾州州立大学官网报道:37名教师与33名学生参与了这场正面交锋的测试

比赛结束后,研究团队意识到,学生交上来的451份答卷用的模型五花八门,不够严谨。

于是,他们把收集到的 61道“防AI题”(外加14道普通网课对照题),架上了真正的实验室烤架。

这75道题横跨计算机、刑事司法、神学、工程、物理等17个学科。

研究人员向教授们补收了全套课堂PPT和讲义,让三大付费大模型在“有课程材料”和“无课程材料”两种条件下,每道题反复作答10次。

最后由通过了人机一致性校验的 GPT-5.4 担任“AI阅卷官”(LLM-as-a-judge),按教授给的评分细则,铁面无私地批改出了 4500份 成绩单。

拿到总表的那一刻,研究人员发现了一个残酷的事实:那61道被教授们千锤百炼的“防AI题”,平均分居然只比毫无防备的普通网课题低了4到6分。

甚至把教授私藏的课堂PPT喂给AI后,分数也几乎没怎么动,模型光靠自带的通识底子,就已经把专业课考穿了。

拆解案发现场:为什么老师越使劲,AI考得越高?

最让人费解的悬念就在这里:教授们到底用了什么招数?

为什么会出现改题后从53.6分飙到87.6分的“反向防AI”惨案?

研究团队把37位教授自述的出题心法,拆解成了五种策略:

  1. 纯手搓原创题(确保网上搜不到现成答案);
  2. 专攻AI已知短板(比如字母位置追踪、看图逻辑推理);
  3. 塞入课堂私有黑话(用课上独有记号、专属术语或要求结合个人经历);
  4. 叠加结构复杂度与故意误导(埋设思维陷阱,强迫多步深度推导);
  5. 强制定制输出格式(比如要求画卡诺图,或逼新闻与法律系学生必须按 IRAC框架,即“争议,规则,应用,结论”四步八股文来写)。

当研究人员把11组“原题 vs 改写题”放在一起比对时,真凶浮出了水面。

▲ 论文表3铁证:CriminalJustice_01 在无材料时从 53.6 飙升至 87.6;计算机题 CompSci_29 也从 83.7 升至 96.2

在所有招数里,死得最惨的就是第五招(强制输出格式)。

这一组的模型得分中位数高达 91至92分,比没做任何防范的普通题(87至88分)还要高出一截!比如计算机题 CompSci_29,教授加上格式紧箍咒后,AI无材料中位数直接从 84分升到了96分。

而开头那道暴涨34分的刑事司法题,走的则是第三招(课堂专属知识)。

为什么教授以为的“加难”,在大模型眼里却变成了“送分”?

因为人类老师把“对学生的认知门槛”和“对大模型的计算门槛”彻底搞混了。

大模型最怕的是什么?

是意图模糊、边界不清的开放式问题。

当一位教授为了防止学生偷懒,在题干里详细规定了“必须用课堂上的某某决策树术语”、或者“必须严格按照IRAC四步框架作答”时,教授其实是在亲手帮大模型写一段最高质量的“思维链提示词”(Prompt)!

你以为你给AI套上了枷锁,实际上你帮它清空了所有歧义,铺好了一条直通标准答案的高速公路。

就连教授们寄予厚望的“题型壁垒”也在崩塌。

放到两年前,洛桑联邦理工学院(EPFL)测试5579道工程真题时,不得不直接删掉 57% 的题目,因为当时的模型根本看不懂图表;

德国卡尔斯鲁厄理工学院(KIT)做 SciEx 计算机考试基准时,AI面对画图指令甚至会凭空捏造一个虚假的图片文件路径,均分不到60%。

但在这份新研究里,大模型直接生啃带图表的原生PDF考卷:编程题中位数稳居85到88分(全场波动最小);

就连要求画框图、分布图的图形表征题,中位数也冲到了86分。

唯一的幸存者,与大学教育的“标定陷阱”

难道61道题里,就没有一道能真正拦住AI吗?

有。

研究团队在数据深处找到了极其罕见的幸存者。

在五种策略中,只有第四招(增加策略性复杂度与故意误导)真正压住了分数,让中位数比对照题降低了7到10分。

而在这一组里,藏着全库最狠的一道物理题:不管给不给课程讲义,三大模型在这道题上的平均分都只有可怜的 3分(满分100)!另外,在图形题组里,也有两道人文学科图形题把AI死死按在了 47到50分。

▲ 论文第7节记录:唯有策略4(复杂度与误导)明显压低了分数,其中包含那道仅得3分的物理题

看到这里,你可能会问:既然有3分的物理题,既然登上《Nature》的著名基准测试 《人类的最后一次考试》(Humanity's Last Exam) 能砸下50万美元奖金、筛出3000道把大模型正确率全都按在 10%以下 的神题,那大学教授们把每道作业都出成这种难度,不就完事了吗?

这恰恰戳中了现代大学教育最痛的死穴:“标定陷阱”。

《人类的最后一次考试》那是集结全球近千名博士、用7万次大模型测试筛出来的科研前沿极限题。

可大学本科课堂要带的是大二学生,按菲尔兹奖得主的标准出题并不现实。

EPFL此前的真题对比早就说明了一条规律:大模型最擅长拿高分的题,恰恰也是普通人类学生最容易做对的题。

如果一位教授为了把 GPT-5.4 压到3分,在日常考卷里疯狂叠加嵌套推导和恶意误导,那么在AI倒下之前,班里95%的人类学生会先考出0分。

过去几十年,大学平时作业用来区分“A等生”和“C等生”的那个难度区间,如今已经被大模型83分的基线彻底吞没了。

破局者的两条出路:放弃作业,或者复活苏格拉底

当“改题防AI”被证明是一场注定失败的军备竞赛,平时作业的分数到底还在测量什么?

在宾州州立大学这篇论文之外,美国高校的一线教授们已经开始用脚投票,走上了两条截然不同却同样狠辣的出路。

第一条路,是干脆放弃对平时作业判对错。

在加州大学伯克利分校,菲尔兹奖得主、数学教授 Richard Borcherds 直接宣布停止按正确率给家庭作业打分,只要交了就给分,真正的区分度全部挪回当面闭卷考试。

道理很简单:在AI能拿83分的时代,按对错给回家作业打分,再用正态分布曲线(Curve)卡绩点,等于在制度性地惩罚那些坚持自己做题的诚实学生。

第二条路,则是“用魔法打败魔法”。

纽约大学斯特恩商学院教授 Panos Ipeirotis 发现,学生交上来的课前作业精美得像麦肯锡咨询报告。

结果他在课堂上随机点名追问,学生连自己作业里最基本的选项都解释不清楚。

于是,这位教授干脆停掉了传统笔试,用 ElevenLabs 捏了一个AI语音考官,再配上一组大模型阅卷委员会,对全班36名学生进行一对一的期末AI口试。

▲ 投资人 Seth Bannon 解读纽约大学AI口试实验:人均成本仅4毛2美金,却让复制粘贴彻底失灵

这场实验的数据极具冲击力:

  • 36名学生,9天考完,每人被AI语音连环追问约 25分钟;
  • 全程带完整录音转录与评估报告,总账单只要15美元(合每个学生仅0.42美元);
  • 考完之后,全班只有 13% 的学生喜欢这种考试。

为什么学生怕了?

因为你可以把教授改了又改的“防AI题”一键塞进对话框拿走88分,但当一个不知疲倦的语音AI顺着你的项目细节连续追问25分钟时,你根本没法在实时对话里伪造出真正的思考。

两千多年前,苏格拉底用当面追问来检验真知;

后来为了规模化教育,人类发明了标准化的纸笔作业。

如今,宾州州立大学这4500份试卷用冷冰冰的83分告诉所有人:回家写满字的那张纸,已经不再是“我学会了”的证据。

要么回到面对面的考场,要么迎接4毛2美金一次的AI苏格拉底审问,属于大学回家作业的黄金时代,正式落幕了。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料