夜雨聆风学习资料网

ARTICLE · 1125529

哈佛最新研究:AI文书写得妙笔生花,为什么申请者反而更难被录取?

哈佛最新研究:AI文书写得妙笔生花,为什么申请者反而更难被录取?

作者:海哥

来源:公众号 视角学社

一篇几乎挑不出语病、结构也相当完整的申请文书,如今可能带来一个意想不到的风险:招生官怀疑文章呈现的并非申请者本人的声音。

哈佛大学和纽约大学三位学者最近分析了7462份申请,它们来自美国一个竞争激烈的公共政策硕士项目,时间跨越2020至2025年六个申请季。这是迄今为止位数不多、能够将AI使用、文书质量和实际录取结果放在同一组数据中观察的大样本研究之一。

结果并不是简单的“AI有用”或“AI无用”。AI让文书更丝滑、错误更少,却没有让申请者更容易获得录取。一旦招生官觉得某篇文书像AI作品,对其评价会显著降低。

01

近六成申请者至少提交过
一篇疑似AI文书

研究涉及项目要求每个申请人提交字数介于250至500不等的五篇文书,内容涉及申请动机、个人特质和职业背景、以及未来如何参与公共服务。项目要求申请人独立使用英语完成材料,2023年起还明确禁止使用生成式AI。

研究者使用GPTZero识别“高置信度、主要由AI生成”的文本,并用另一款检测器Pangram和更宽松的阈值进行复核。在ChatGPT发布前的2020至2022年,几乎没有文书被标记为AI生成;在2025年的全部申请者中,56%至少有一篇文书被检测器高置信度地判定为主要由AI生成。如果把2025年申请者按身份分开统计,69.3%国际申请人至少有一篇文书被如此标记;美国本土申请者中,这一比例为38.6%。

由于研究只把“主要由AI生成”且检测器高度确信的文本算进来,只用AI做部分改写或修饰的情况并未被完整统计,因此这56%、69.3%和38.6%均应理解为该检测口径下的保守估计,不是申请者自报的AI使用率。

2020至2025年,至少一篇文书被判定为主要由AI生成的申请者比例;红线和蓝线分别代表美国本土与国际申请者,虚线为全部申请者。

01

AI改善的主要是语言,
较少触及内容

研究者从语法、风格、清晰度、是否回应题目、个人声音、对公共服务的投入和领导力七个维度评估文书。他们先让模型评分,再请该项目的五名招生工作人员对同一批样本打分。两套分数的相关系数为0.70;系数越接近1,说明两种评分的高低排序越一致。这表明模型评分与招生人员判断有较强关联,但不是完全一致;这一步用来校准自动评估,而不是把模型分数直接当作招生官判断。

模型综合评分与招生人员评分的相关系数为0.70;分数越高代表文书质量越高。

ChatGPT上线后,申请文书的整体质量明显提高,国际申请者的变化尤其突出。但改善主要来自语法、风格和清晰度等机械层面;在是否真正回应题目、是否保留个人声音、是否展示持久投入与领导力等内容层面,提升幅度明显较小。

这是这项研究对申请家庭最有用的提醒之一。AI很擅长把一个普通句子变得通顺,却不会凭空产生有分量的细节。如果原始经历、观察和判断本来就空洞,经过AI修饰后只会成为更流畅的空洞。

ChatGPT问世后,文书的语法、风格和清晰度提升幅度显著,实质内容质量提升较小。

03

文书质量提高了,
录取率却下降了

在2023和2024申请季,至少一篇文书被标记为AI书写的人,实际录取率低于未被标记的人。两类申请者的成绩、经历和其他材料可能存在系统差异,研究者因此用双重机器学习方法,将年龄、标化考试以及从整套申请材料中提取的数百个特征纳入控制。

在控制了申请者年龄、标化考试和其他已观察特征后,统计模型估计:与其他条件相似且没有文书被标记的申请者相比,每多一篇被标记的AI文书,录取概率平均低1.5个百分点。这里的“百分点”是录取概率的绝对差:例如从20%降至18.5%,就是下降1.5个百分点。

在至少有一篇文书被标记的申请者中,平均每人有2.32篇被标记的文书。按每篇1.5个百分点估算,这类申请者的总体录取概率估计低3.48个百分点。当统计模型进一步把文书质量纳入控制时,每篇被标记文书对应的估计差异扩大到2.6个百分点;对平均有2.32篇的申请者而言,估计差异约为6个百分点。这两组结果都是统计估计,不是学校公布的固定扣分标准。

这些数字不能被理解为适用于所有大学的固定“AI扣分”。数据只来自一个公共政策硕士项目,而且观察性研究无法排除所有未被测量的差异。它所显示的是一个值得认真对待的方向:语言质量提高,不等于招生结果一定变好。

这所学校当时并没有用AI检测器系统筛查申请材料,也没有建立一套查获后自动扣分的处理流程。因此,录取差异更可能来自阅读者对文本风格的判断和质量评价,而不是一个预先设定的技术处罚。这也解释了为什么研究者接着要测试招生官本人能否识别AI文本。

不同统计模型对“AI文书数量与录取概率”的估计;负数代表被标记文书越多,估计录取概率越低。

04

招生官看得出AI文书吗?

该项目的五名招生工作人员一共评估了100篇文书,其中50篇被检测为人类书写,50篇被检测为AI生成。他们在不知道检测结果的情况下,用六级量表判断每篇文书更像人类还是AI。

识别实验的AUC为0.70。直观地说,如果随机抽取一篇被检测为AI生成的文书和一篇被检测为人类书写的文书,招生人员有约70%的概率把前者判得更像AI;随机猜测的基准是50%。因此,招生人员确实能识别部分AI写作,但距离准确无误很远。

按招生人员的六级判断分组,在被他们归入“更像人类书写”一侧的文书中,70.4%同时被GPTZero分类为人类书写;在被归入“更像AI”一侧的文书中,67.8%同时被GPTZero分类为AI生成。这里的两个百分比,分母分别是招生人员判为偏人类和偏AI的两组文书。

招生人员和AI检测器判断文书是否AI生成具有很高的相关性

更值得注意的是评分。招生官越认为一篇文书由AI生成,给出的质量分越低;被判为“非常可能由AI生成”的文书,下降幅度最大。即使研究者控制了模型评估的文书质量、文书是否真的被检测为AI生成,以及申请者的学业和人口背景,这种负相关仍然存在。

招生人员越认为文书像AI作品,给出的质量评分越低;“6”代表“非常可能由AI生成”

05

检测工具
不能成为定罪依据

这项研究并没有证明AI检测器可以对单个申请者作出可靠裁决。研究者选择了高置信度阈值,并用ChatGPT问世前三个申请季的材料检查误报情况,目的是在一个大样本中观察趋势。这与学校拿一个检测分数判定某名学生作弊,是两件事。

检测器会遇到误报和漏报,非英语母语者的文本也曾被发现存在被错误标记的风险。本研究在自己的数据中没有发现国际申请者或语言考试提交者有更高的差异误报率,但也没有把检测器描述为不会出错的证据。

对大学而言,比“能不能抓出AI”更重要的问题是:申请文书究竟要测量什么。如果它用来观察申请者的经历、思考方式和自我认识,审核重点就应该放在信息是否真实、表达是否能由本人负责,而不是把一个不确定的技术分数当成结论。

06

不同大学
对AI的界线并不相同

美国大学并没有一套全国统一的AI文书规则。共同申请系统(Common App)要求申请者确认材料由本人完成、事实真实并诚实呈现,把由他人或工具生成的内容当作自己作品提交,可能触及申请欺诈政策。

耶鲁大学的规定较为具体:可以用AI检查语法和拼写,也可以在写作开始时寻求一般建议或选题灵感;把AI平台生成的实质性内容当作自己的申请材料提交,则被视为申请欺诈,可能导致录取被撤销或入学后被退学。

布朗大学同样强调申请内容必须真实地反映申请者本人。Kaplan在2025年对招生官的调查显示,越来越多的学校正在明确AI使用边界,但具体表述仍不完全一致。申请人不能只凭“别的学校允许”推导目标学校也允许,应以当年官网、申请承诺和题目说明为准。

07

中国学生如何使用AI
而不失去自我

对中国申请者而言,AI最容易带来的帮助是减少语法错误,检查句子是否难懂,或指出文章哪些地方重复。这些工作和请老师或同学校对有一定相似之处,前提是学校政策允许,而且修改后的句子仍然表达申请者自己的经历和意思。

风险往往出现在下一步:学生把整篇初稿丢给模型“全面优化”,或直接让其生成一个更有冲突、更感人的故事。这样的文本很容易出现申请者平时不会使用的词汇、过度工整的节奏、空泛的价值升华,甚至在细节上虚构经历。

较稳妥的方法是:先由学生自己确定题材,列出具体时间、场景、人物、行动和反思,完成一版能够用口头讲清楚的初稿;如果使用AI,只让它指出问题,不让它替换经历和结论;最后逐句检查,确保每一句都能当面解释,每一个事实都经得起核对。

申请学生还得对第三方升学顾问或文书服务模式保持知情。即使是第三方代笔或使用AI改写,最终对申请材料的真实性和原创性作出承诺的仍是学生本人。“我不知道顾问用了AI”,通常不能消除申请者的责任。

08

当流畅写作变得廉价,
真实信息会更具价值

这项研究只观察了一个硕士项目,这不能直接代表美国本科招生,也无法告诉我们每所大学会如何处理AI文书。它却记录了一个已经开始影响申请的变化:当正确语法、清晰结构和流畅表达可以被工具低成本获得,这就不再是稀缺信号。

招生官会更看重难以批量生产的信息:申请者在何种场景中做到了什么,为何作出那个选择,遇到了什么细小而真实的阻力,以及经历之后对自己的认识如何变化。这些内容未必华丽,但能帮助审阅者观察到一个活生生的人。

AI可以成为写作过程中的校对工具,也可以帮助申请者发现表达中的漏洞。但申请文书最难的一步,从来不是把句子写得像出版物,而是决定哪些经历值得写、它们为什么重要,以及自己愿意如何对这些经历负责。把这一步也交给机器,失去的就不只是个人语气,而是申请文书存在的理由。

参考资料:

https://arxiv.org/abs/2609.22549

https://admissions.yale.edu/ai-policy

https://admission.brown.edu/apply/how-apply/integrity-application-process

https://www.commonapp.org/files/Common-App-Fraud-Policy.pdf

https://kaplan.com/about/press-media/college-admissions-officers-survey-2025-essays-ai

作者:海哥,本文经作者授权发表,版权归属“视角学社”所有。
今日推荐

《三联生活周刊》跨年订阅

5折最优价!

加赠博物馆增刊

▍往期回顾

MIT实验敲响警钟:使用AI后,大脑活跃度直降55%!孩子的记忆力,正在悄悄“缩水”

李飞飞:AI时代,孩子的核心竞争力不是知识

追踪2.7万名学生30个月,港大研究发现:AI最先“重创”的竟是尖子生…

#AI申请文书#留学

相关学习资料