当AI检测工具认定你的文章是AI写的

编辑部被AI投稿淹没

代笔作家萨莉·麦格劳（Sally McGraw）本想拿下一个替客户写书稿提案的活儿。交了一份写作样本之后，她收到一封意料之外的回复：对方在邮件里说，多款人工智能检测工具都把她的文字判定为机器生成。

“我当时愣住了，因为我根本没用AI生成那些文字，”麦格劳说，“全是我自己写的。”

做职业非虚构写作二十多年，她说自己的作品被当成AI写的，让她很生气。

“你见过卡通人物从下巴一路红到头顶的样子吧？我的耳朵当场就开始烧起来了，”她说，“我心想，这是怎么回事？”

麦格劳说，她向客户保证提案是自己写的，但觉得这活儿“不算大”，没有继续争辩。

在给NPR的邮件里，这位客户确认她确实筛查过麦格劳的作品是否为AI所写。但她说，检测结果并不是她另选他人的决定因素，她给出的理由是经验和匹配度。麦格劳说，写作样本的费用她收到了，但她相信，正是检测结果让她失去了写完整书稿提案的机会。

编辑们疲于应付越来越多的AI生成内容，一些人开始借助检测工具，从堆积如山的投稿里做初步筛选。但 这些工具并不完美：它们有过把人写的作品误判为AI的纪录，而作者往往不清楚是什么触发了判定，也不知道该怎么自证。

“大家都知道，这类筛查工具并不是百分之百准确，”麦格劳说。

科幻杂志《克拉克世界》（Clarkesworld）的出版人兼主编尼尔·克拉克（Neil Clarke）说，大量AI投稿给编辑部带来了压力。

2021年，这本杂志每月收到大约1100份投稿。到2023年2月，ChatGPT、Claude、Gemini这类AI工具开始广泛可用之后，这个数字翻了一倍，克拉克不得不暂时关闭投稿入口。他估计自己的工作量增加了约30%。

“它给整个流程注入了一种不信任感，”他说。

当检测工具彼此矛盾

近几年AI检测工具确实做得更精细了，但开发这些工具的公司也承认，它们并非万无一失。研究人员发现，同一段文字交给不同的检测工具，结论可能天差地别。

今年6月发表在《国际教育诚信杂志》上的一项研究，比较了四款常用检测工具的准确率。研究者测试了160篇学术论文，分四类：完全由人写、完全由AI写、两者混合，以及由人改写过的AI文本。

四款工具中，Pangram的表现最稳定：在40篇混合文本中，它正确识别出37篇用了AI；在40篇由人改写AI文本的论文中，也正确识别出37篇。

Pangram的首席执行官马克斯·斯佩罗（Max Spero）在邮件声明中说，公司的检测工具会出错，尤其是在可供判断的文字很少的时候。

宾夕法尼亚大学计算机与信息科学教授克里斯·卡利森-伯奇（Chris Callison-Burch）说，已经发表过的文字还会带来另一个问题。

“很多AI检测工具的运作方式，是让一个大语言模型判断一段文字有多好预测，”卡利森-伯奇说，“问题在于，语言模型往往也会觉得训练数据里的文本格外好预测。”

这或许能解释科学博主珍妮尔·沙恩（Janelle Shane）在2022年底遇到的事。当时她拿自己2019年那本讲AI原理的书《You Look Like a Thing and I Love You》里的段落去做测试，一款检测工具给出的结论是：这段文字由机器生成，置信度98.7%。

“这是明摆着的、闪个不停的误报，”沙恩说，“这段文字是我自己写的。”

卡利森-伯奇说，像麦格劳的写作样本这种未发表的手稿，不会碰到上面那个问题，但仍可能因为行文模式被误判。

检测工具会从用词、标点和句子组织方式里找线索。他说，delve这类词、频繁出现的破折号、把观点凑成三连排比，都可能触发“AI阳性”的结果；以“值得注意的是”“关键在于”这类副词开头的句子，或者先抛问题再马上自答，同样可能中招。

而这些恰恰是人类写作者常见的习惯。卡利森-伯奇说，检测工具看的是整篇文章的模式，单一个破折号或某个词，并不一定意味着用了机器人。

代价落在写作者身上

维护写作者权益的美国作家协会（Authors Guild）今年5月表示，使用AI检测工具“制造出一种让人联想到猎巫的环境”，写作者担心被误指，也不知道如何为自己辩护。

“一次误报可能让作者丢掉出版合同和声誉；而一次漏报——AI生成的作品混过正规出版流程而未被发现——则可能让读者不再信任作者，也不再信任这个行业，”协会写道。

克拉克的态度介于两者之间。他说自己并不用AI检测工具筛稿件，但他认为，某些检测工具能帮不堪重负的编辑应付数量，前提是要复核检测结果。他同时提醒，别把怀疑变成指控，那会毁掉一个写作者的名声。

“投稿该以退稿收场，而不是以指控收场，”他说。

麦格劳说，害怕再被指认一次，已经改变了她的写作方式。她现在会避开某些词和句式，偶尔还会删掉以前一定会加的逗号，希望这种不一致能证明文字出自人手。

“我想念我的破折号。那是我在新闻学院学到的，用了二十多年，”她说。

这位代笔作家也看到了其中的反讽。大语言模型是从人类的文字里学的，可她却感到压力，要让自己的文字看起来不像AI。

“这就像想办法骗过一台机器，让它相信我不是机器，”麦格劳说。

她还担心，等真正重要的机会来临时，再被指认一次。

“我在为那一刻做准备：那是我特别想拿下的活儿，结果会决定我的成败，”她说。

本文为中文译文，翻译仅作信息分享，不代表本公众号立场。