AI新手用10天时间蒸馏了一个“山寨朱雀”模型,AIGC痕迹可定位到每一句话

AI时代最大的好处就是，你有什么需求，都可以自己做。比如AIGC文本检测，虽然有朱雀这种成熟的工具，但还是满足不了我的需求。

我的需求是：

1、量大。

2、短文本可测。

3、能精确定位AIGC的位置。

国庆节在家带娃没法出门，正好有时间可以自己琢磨一下AICG文本检测的事情。

从10月1日到10日，耗时10天做完了一个勉强可用的检测模型，接上推理脚本，再套一个前端，demo如下：

演示了三篇文章，前两篇分别是从其他公众号贴过来的文章，第三篇是我公众号最近的一篇文章。

AI特征检测可以定位到每一个句子，红色背景的部分就是高度怀疑是AI写的，黄色背景的就是疑似有AI参与写的。

三篇文章的字数分别是2400字，4800字，900字，整体的检测速度还行。演示的机器是一台没有GPU的云电脑，如果接到GPU上面的话速度应该会快很多倍。

我把这个AI检测模型命名为【晓语】，模型的底座是一个中文BERT，总参数只有0.1B，权重只有390MB。

虽然说是一个很轻量的模型，但作为一个AI新手，能搞出来还是很不容易，主要是现在年龄大了，学东西感觉明显不如十几年前刚毕业的时候快。

【技术路线：从特征到蒸馏】

从1.0版本开始，到目前是3.2版本，这10天可能迭代了十几个版本，半路还更换了一次技术路线。

目前AI检测的技术路线有两大流派：主动检测和被动检测。

主动检测就是在生成的时候埋下文本水印，这个检测也只能原厂自己检测，因为水印特征是不公开的。

而目前包括朱雀，GPTzreo，知网在内的主流商业检测工具，都属于被动检测，就是从文本里面提取AI特征，从而推测是否是AI生成的。

而被动检测又有三个技术路线：

1、微调transformer分类器（主流）

2、语言学特征+规则（可解释）

3、困惑度/突发性

我最开始一上来其实是想要做词级定位的。词级定位的意思是，如果认定一篇文章是AI的话，我需要定位到具体的位置，那么是哪些词语，哪些短语组合导致的这篇文章被判AI。

所以刚开始我一直死磕语言学特征+规则这条路线，但是后来我发现这是一个天坑：

首先，不同的模型生成的文本，特征差别很大，比如我研究了deepseek的AI文本特征，然后发现根本不适用其他模型。

到这里我还没有死心，花大量的时间去做人工标注，反复尝试迭代了好几个特征规则。

然后发现了一个更大的问题：不同文体之间的特征也不通用！

比如你用一篇论文提取出来的特征，放到一篇口播里面去就失效了，这个就把我整破防了，因为文体这个确实很丰富，我感觉做一个能泛化的规则非常有难度。

所以我从3.0版本开始我决定换成做微调transformer分类器这个方向，但是我又舍不得之前这么多版本积累的成果，我就问我的agent这种情况应该怎么办，agent给我指了条路：蒸馏。

原来我已经提取好的各种可解释的特征可以保留，作为一路参考。分类器的向量本身也可以作为一个特征，作为第二路参考。然后像困惑度突发性这类特征也科技加进来，作为第三路参考。

然后下一步，让中文RoBERTa作为学生模型，来蒸馏作为老师模型的这三路打分器的决策流水线，蒸馏的标的物只有两个东西：整篇概率和句级概率。

虽不明，但觉厉。我觉得逻辑没什么问题，在agent的手把手指导下，稀里糊涂就开始干了。

按照这个方法10月4日训了一个3.0版本，

紧接着10月5日训了一个3.1版本。

10月7日开始训3.2版本，这个版本由于训练数据量较3.1大了25倍，又来回碰到一些BUG，所以整整用了3天时间，到10月10日才训完。

真的是一个高效的国庆节啊。