最近没大动笔,主要是关注的AI发展变化太快,有些想法容易被打脸,不敢多写,还是要面子的。不过这两天学到一个方法论,就是将贝叶斯定理应用于日常推理的实践。贝叶斯思考者不会持有静态的、非对即错的信念,而是对各种可能性保持概率分布。当新信息出现时,他们会根据新证据在不同假设下的可能性,用数学方法更新这些概率。贝叶斯思考者不会说”我错了”;他们会说”基于这个新数据,我的70%置信度已校准为75%。”
哈哈,以后还是想到哪里写到哪里吧,留点真实的记录。
1
今天有个朋友给我发了篇公众号文章,问我是不是AI写的,我说是,但凡受过高等教育学术写作训练过的,请相信你的直觉。
昨天看了一篇文章,说近日央视和光明日报连续报道AIGC率有关情况,呼吁要慎重使用AI检测的结果。
又想起来几天前,远在云南的一个教育学界的大拿同学给我打了很长时间电话,和我探讨AI进行论文写作的看法,以及他对AI赋能教育的思考。
还想起来一个月前,武汉会议上程焕文馆长和大家不一样的对AI赋能大学教育和图书馆服务的反思。
我感觉我们是同一类人,总会在大众蜂拥而至的时候向旁边悄悄退一步,试图再看看再想想。
anyway,这次他们烦恼的,就是大量AI写作的东西造成了现实的困扰。第一个朋友,我告诉他相信自己的直觉,因为我知道他的教育程度和工作经历。第二个朋友,我给他发了一些AI检测技术的发展现状,并介绍了对论文进行创新检测的技术进展,因为我知道他是文科不熟悉AI技术。第三个程馆长,我为他的发言热烈鼓掌了,他还是二十年前那个微博上程孟之辩的程馆长。
2
现在正是毕业季,AI检测成了无数师生的烦恼,而且比查重更加荒谬。人写出论文,AI说这是AI写的,人为了证明是人写的,花钱找另一个AI来把文字改得不像那个检测AI认为的AI,最后再送回AI那里检测AI,直到数值达标。
用一篇文章里的话说:用AI查AI率、用AI降AI率,我们到底在干什么?
前段时间刘炜馆长写了一篇论文《面向中文学术场景的AI生成文本检测系统设计与实践 》,里面提到了AI检测技术的现状,也提出了对中文学术论文检测的技术上的一些创新方法,但他也非常慎重的说明,测试条件是高度受控的,做为一种检测工具只可定位于辅助初筛、预审以及自查,避免用于直接自动定责。
那么我的观点,就目前我所知的层面,简单来说,不要简单相信任何AI检测工具的结果,更不要简单把结果直接用于质量判断。
3
从技术上来说,AI检测可简化分为前验溯源和后验检测,前验溯源就是从源头上为AI产出打上标签并记录修改过程。后验检测就是采用技术手段对目标作品进行AI识别。
第一个事实是,目前各大AI公司在前沿溯源阶段打的AI标签,本身是极其脆弱的,完全不能做为学术或合规评判的法律依据。
在多模态领域,针对AI生成的图像、音视频等内容,国外AI巨头一般都支持C2PA标准,就是为AI生成的作品嵌入加密签名,正常编辑痕迹也会进行记录,形成完整的证据链,恶意编辑则会破坏签名并报错。Google DeepMind的SynthID隐式水印是另一个技术方案,一般的裁剪改动不会破坏隐藏在媒体文件中的特征指纹,检测时通过像素、频域或者统计学特征可以识别是否AI生成。
(下面这段是抄的)
以OpenAI、Adobe、微软和谷歌为核心的工业界开始主推前验的“双层内容溯源体系” 。这一体系包含两个互补的技术层:
C2PA元数据标准: 这是一个由内容来源和真实性联盟(C2PA)建立的开放标准。它通过密码学签名在媒体文件头部附加一个防篡改的“内容凭证”(Content Credentials)。该凭证详尽记录了媒体的创建源头、使用的模型及后续的编辑历史。
SynthID隐式空间水印: 为了应对C2PA元数据易被截屏、转换格式或社交媒体压缩算法直接抹除的缺陷,谷歌深脑开发并向OpenAI授权了SynthID图像/视频/音频水印技术。SynthID使用深度学习编码器,直接在图像的空间像素或音视频的时空域中植入人眼不可察觉但可被专用网络检测的数字水印,该水印能够抵抗旋转、裁剪、变焦和有损压缩等重度图像破坏。
OpenAI自2024年起,已在其 DALL-E 3、ImageGen和Sora生成的媒体中全面嵌入了C2PA凭证和SynthID水印,并推出了公共验证平台openai.com/verify。
对于文本,现有的标识技术在对抗性攻击面前都无法保持。Google的SynthID Text技术也就是控制词频生成的统计学隐式水印,学术界多篇顶会论文(如ICLR 2024的研究)已经从数学上证明了“完美检测文本AI”的无解性。一个最简单的递归同义词改写或者简单的交叉洗稿,就能瞬间将AI公司辛辛苦苦植入的特征值洗得一干二净,而且还能反过来,通过多次查询AI来逆向推导其水印机制,从而人工撰写符合AI水印特征的文本来达到伪造的目的。
对于有心避开指纹标记的人来说,不用这些大模型就是了,用未受监管的开源大模型或直接在本地部署生成器,即可完全避开C2PA与SynthID的植入机制,这使得该前验标准在防范黑灰产和精准伪造方面收效甚微。
也就是说,前沿溯源标记方式是典型的只防君子不防小人的技术。
第二个事实是,第三方AI查重工具的准确率和抛硬币差不多。
前沿溯源靠不住,后验检测也太拉。
第三方商业AI文本检测器的底层机制主要依赖分析语言的统计特征,其中最关键的两个指标是困惑度(Perplexity)与突发性(Burstiness)。大语言模型在生成文本时,倾向于选择概率分布中概率最高的Token,因此其输出文本通常表现出极低的困惑度。而且机器生成的句子长度和语法结构往往高度均匀,缺乏人类写作中常见的长短句交错,即突发性较低。厂商通过在大规模人机文本语料库上训练监督分类器,来识别这些潜在的统计偏差。
有公司号称使用了AI出现前的人类攥写的多少亿篇学术论文来训练其检测模型,意思是他们检测的更准,其实这正是个大笑话。
因为写文章的AI也是用这些数据训练出来的,大多数优秀的学术论文语法规范、逻辑严谨、用词客观,AI在训练时就深度学习了这些标准人类表达,导致AI写出的文字也呈现出这种工整、可预测的范式。当人类学生写出同样高质量、逻辑严密的论文时,检测器就会觉得“这段文字非常像AI写出来的”,从而给出高百分比的AI生成提示。你说这不是赤裸裸的打脸么?所以以后哪个检测公司越声称自己人类数据最全,你越不要相信它的检测结果。
前面说过,学术界已经证明了对文本后验检测的无解性,马里兰大学萨达西万(Sadasivan)等人的研究在信息论层面上证明了文本检测存在无法逾越的数学极限,随着生成模型在模仿人类写作水平上的不断进步,机器文本分布与人类文本分布的总变差距离(Total Variation, TV)逐渐趋近于零,这意味着任何检测器的最大 AUROC 均将收敛于 0.5,即在物理上等同于随机掷硬币。(这是抄的论文结论,好多术语我也不太懂,不过我知道最后一句话的意思)
还有研究表明,这类工具存在严重的“非母语英语效应”和“正式文体效应”。一个英语非母语的中国学者,或者一个严谨撰写社科论文的学生,因为使用的词汇相对固定、句式规范,往往会被判定出极高的“疑似AI率”。也就是说,你的文章写得越是高屋建瓴、行文规范、逻辑严密,对不起,AI就越会认定你太像AI。
按网上的段子,对于上门推销的AI检测工具,你可以先拿朱自清的《背影》试试,然后再拿自己写的论文试试,然后再拿原封不动AI生成的文章试试,而且每项都试两次,大抵心里就有数了。
当然,不排除有些AI检测看起来有点靠谱,就是jiji检测jiji的那种,一个是自己知道自己精确的特征指纹算法,再一个大概率记录了你使用过它的历史记录,一查就知道你小子刚用过,啥提示词都知道。
第三个事实是,AI写作未必伤害了科学发展,但AI检测误判带来的伤害是实实在在的。
前面说的技术上的现状,决定了第三方AI检测存在着巨大的可信性问题,而且会随着AI的进步更加的不可信。这里面不仅存在商业公司没有可信的数学模型、没有统一公开可验证标准的技术问题,也存在涉嫌非法收集、泄露学者未发表论文隐私的法律问题。但最核心的,是误判所带来的伦理灾难。
从学术写作的维度审视,AI工具的引入极大提升了生产效率,并促进了研究成果在格式与规范上的统一。只要恪守科研伦理,严禁数据造假与结论伪造等不端行为,纯粹的文字性AI辅助写作并不会对科学的实质性进步构成威胁。在学术发表的实践中,在论文攥写阶段,用先进的学术AI工具对论文进行整理润色极大减轻了研究者的体力强度,在审稿阶段,先进的AI辅助识别机制实际上比人类审稿人更为敏锐,能够有效剥离润色外衣,还原研究者真正的学术贡献。
现在很多高校机构不去重视如何更好的使用AI赋能科学研究,不给图书馆多点经费买顶尖的学术AI工具,而是滥用AI检测技术来代替人工的认真核查和分析,轻点儿说是规避应该承担的责任,重点儿说那就是错误的政绩观。
就和过去论文查重一样,真正存心用AI代写的人,有无数种办法规避检测,而老老实实码字的人,却随时可能被误伤。
当一个学生熬了无数个通宵、翻遍了上百份文献,纯手写出来的原创论文被系统轻飘飘地贴上“70% AI生成”的标签时,他面临的是什么?是自证清白的无力,是学术不端指控的耻辱,和可能无法毕业的绝望。用几乎没有科学支撑的机器概率去判定一个人的成果质量和学术诚信,这是对教育和学术尊严的亵渎。这种对技术权威的盲目崇拜,极易产生群体性误伤,其带来的学术与社会代价往往巨大且难以修复。
4
用AI辅助写作,我觉得应该提倡的还是个人声明制度。
在国家层面,国内外都在陆续制定AI使用规范。国家网信办等部门出台的生成式AI管理办法及相关标识指南,其核心立足点就在于一个是要求AI服务提供商,要对生成的内容进行合规标识,另一个就是倡导使用者在进行内容生产时进行主动声明(元数据记录和生成链条记录)。
在高校层面,范德堡大学和雪城大学等高校在经过深入测试后,宣布全面禁用或拒绝购买Turnitin的AI检测功能,它们基于三项明确的事实,一个是高昂的误判定罪成本,一个是高漏报率,一个是对弱势群体的系统性不公。(比较西方化的思维,国内几乎没人考虑吧)
在出版层面,很多期刊开始要求作者“自证其用”,你在哪个环节用了AI,是用于润色语言、翻译,还是文献梳理?请自我声明,并对其真实性负终身责任。
在社会层面,耿同学就干得漂亮,吃了我的给我吐出来。如果以后造假的都是这个结果,谁不怕?可惜耿同学不见了......
(这个变化过程中,图书馆可以承担原始科研过程数据以及学术AI工具使用记录的保存管理及认证作用。前几天和北大陈馆交流,他们整规划数据管理的服务,这肯定是个方向,但对一般图书馆而言,除了技术难度资金难度,更大的是制度难度,唉)
学术的本质是自律与信任。主动的伦理声明,远比被动且错漏百出的AI检测来得有效,也更能维持学术共同体的健康运转。
5
现在的AI检测不由得让人想起很多年前开始进行论文查重时的场景。当年我就极其反对以单纯的查重率数值来直接判定论文质量。多少优秀的、需要大量引用前人法条、文献、古典文献的优秀论文,因为查重率卡在临界点,被迫改成毫无文学美感、逻辑断裂的“四不像”黑话,多少毫无价值、东拼西凑的学术垃圾,通过高超的同义词替换,拿到了甚至0%的完美查重率。
如今,历史正在合乎逻辑地押着相同的韵脚。如果今天我们再次退步,允许用一个比查重更加不透明的AI检测率来判定一篇学术论文的生死,那将是学术界最大的悲哀。我们要防范的是造假、欺诈和代写,而不是技术辅助本身。
AI只是一个工具,它可以是打字机,可以是翻译器,也可以是润色助手。判定一篇学术论文好坏的唯一标准,从来不应该看它是用什么笔写的,而应该看它是否提出了新问题、发现了新材料、论证了新观点、提供了新方法。
我还是那个观点,要把判定是否有创新点,作为评判学术论文质量的唯一标准。而不是重复了多少或者AI帮着写了多少。很高兴已经有年轻人在困难重重的压力下顽强的朝着这个方向努力了,压力往往不是来自于技术(AI时代的知识守门人与数据矿主)。
把学术评判的权力从算法手中夺回来,我们人类还是有希望的。
(啰里啰唆写了4千多字,供各位一哂)

欢迎关注“后图书馆现场”
一个老馆员的碎碎念
夜雨聆风