夜雨聆风学习资料网

ARTICLE · 1367275

文稿查重与相似度比对工具,一堆文档里到底谁抄了谁:数海丹心做了个查重工具,两两比相似度、直接告诉你抄的是哪一段

文稿查重与相似度比对工具,一堆文档里到底谁抄了谁:数海丹心做了个查重工具,两两比相似度、直接告诉你抄的是哪一段

TECH INSIGHT

一堆作业里到底谁抄了谁:数海丹心做了个查重工具,两两比相似度、直接告诉你抄的是哪一段

老师收上来四十份读书笔记,怀疑有两份是抄的。她怎么查?把两份并排放在屏幕上, 一行一行往下看。看累了,眼睛开始漏字,最后凭一个模糊的感觉下结论: 「好像有点像,但说不准。」

科技 · 产业 · 人

深度观察

本文看点

0101 四十份读书笔记里到底谁抄了谁,你只能并排着一行行看
0202 群里聊到这件事,我们发现卡的是同一个地方
0303 这工具到底长什么样
0404 顺手补点理论:两个 88%,可以是同一份稿子
0505 我们不做知识付费,不贩卖焦虑
工具在群里,进来拿

01

01 四十份读书笔记里到底谁抄了谁,你只能并排着一行行看

行政收到三份不同部门交上来的工作总结,越看越眼熟,那几段话像是从同一份模板里 抠出来的。想确认,只能一句一句对着找。

HR 手里十几份简历,有两份的项目经历描述几乎一模一样,可你要问「哪一段一样」, 她答不上来。

编辑更不用说,作者投稿、公司通稿、竞品文案,撞车了都是凭印象。

而最难受的一类人,是学生自己:明明是自己一个字一个字写的,查重报告出一个 不低的相似度,却不知道那几分到底是哪几句惹的祸,改都没法改。

这里有个所有人都想得到、但很少有人真的去用的办法:把材料上传到在线查重网站。 知网、PaperPass,输入框一贴,几分钟出结果。

问题是 ——

01

涉密材料不敢传。 单位的内部制度、人事材料、还没公开的方案,一上传就是外泄风险

02

要钱。 单次查重按字数收费,几十份的量级根本不划算

03

学生作业这种「一堆小文件」,压根没有对应的服务。 人家做的是「一篇论文查全库」,

不是「这四十份互相之间谁抄谁」

而且真正的痛点根本不在「查重」两个字上。痛点在于:你到底想查的是「谁跟谁」, 还是「哪一段」?

在线服务给你一个百分比。但老师要的不是百分比,是「这两个人,从第几段到第几段 是抄的」。行政要的不是百分比,是「这份总结里,哪三段跟那份一模一样」。

我们要做的,是把这两件事一起解决,而且材料一步都不离开这台电脑。

02

02 群里聊到这件事,我们发现卡的是同一个地方

需求是从群里攒出来的,问的都差不多。下面这几个问题,就是把那些问法归拢之后剩下的——先把它们答了,因为答案直接决定了这个工具长什么样。

第一个问题:N 份文稿是 N 的平方次比较。 10 份文稿要两两比,是 45 对; 50 份是 1225 对;100 份是 4950 对。要是每一对都老老实实跑一遍最贵的算法, 100 份能把你机器跑废。所以必须做剪枝 —— 先用几乎不要钱的办法把明显不可能像的 对子排除掉,剩下的才精算。

第二个问题:「像」有好几种像法,一种算法包不住。 有个学生老老实实抄, 一个字没改,那是「字符级」的像。有个学生把每句话都换了几个词, 那得看「N-gram 指纹」。还有个学生把段落调了顺序 —— 这种人最狡猾, 字符级算法完全看不出来,N-gram 却能一眼识破。所以工具得三种算法一起算。

第三个问题:「抄了哪一段」这件事,得专门去定位。 光给一个百分比是没有用的。 要的是「最长连续重复段 137 字,从第 3 段开始」。这需要一个找最长公共连续块 的算法。而现成的那个太慢(下面会说),只能自己写。

所以这个工具就三件事:两两比 / 三种算法 / 定位到段。

03

03 这工具到底长什么样

查重工具.exe,39.3 MB,双击就跑,全程不联网。材料一个字节都不出这台电脑。

窗口从上到下四块:① 文稿列表 → ② 参数 → ③ 运行日志。

✅ 加一个文件夹,它递归往下把所有文稿都捞出来,四种格式通吃。 纯文本自动认编码(utf-8、gbk、big5 都认,带 BOM 的也行);Word 是直接解 zip 读的, 连表格单元格里的字都能读出来;PDF 走文字层;Excel 读所有单元格文字。 张三-校园开放日观察.txt 和 李四-校园开放日观察.txt 这种一眼能看出问题的名字, 子目录层级原样保留在显示名里,不会把两个「一班张同学」和「二班李同学」搞混。

✅ 三种算法一起算,报告里三个分数都给你。 字符级(最严格,改一两个字照样报 87%)、N-gram 指纹(防改写,句子打乱顺序也能识破)、段落级(定位到段)。 --算法 只是决定按哪个排序,不是只算一个。

✅ 相似度矩阵超阈值的格子自动标红。 100 份文稿是 100×100 的矩阵, 靠肉眼扫不现实 —— 标红之后直接跳红格子看行列名。 导出的 Excel 里矩阵在第一个 sheet,冻结首行首列、表头斜着排。

✅ 每一对都告诉你「抄的是哪一段」。 这是最有用的一个数。自检里拿仿真素材真跑出来: 张三和李四那份,最长连续重复段 137 字、重复总字数 270 字、共 3 段, 而且左右两份的原文片段并排截出来给你看,连「第几段」都标好了。

一个有点好笑的类比: 在线查重网站像个收费的体检中心 —— 你把样本送过去, 它给你一张体检报告,上面写「相似度 78%」。这个工具更像你自己买的那台血压计: 不用送样本,摁一下就有数,还告诉你具体是哪个指标高了。

如实说局限

01

它比的是「字面」,不是「意思」。 把一段话彻底重写成自己的话(换词、

调句序、打散句式),三种算法都可能报低。它不是知网,不做语义理解。

01

N-gram 不是万灵药 —— 这一条我们自己实测打了自己的脸。 自检里有一组

「保留句式、只换同义词」的样本:字符级 88.3%,N-gram 反而只有 60.3%。 我们把这条如实写进报告,不吹「N-gram 一定更准」。

01

PDF 扫描件读不了。 没有文字层就抽不到字,工具会明确报「需要先做 OCR」,

不会假装读到了。.doc 老格式也不支持,另存为 .docx 再来。

01

阈值要按场合调。 学生作业调到 80% 会漏掉真抄的,调到 40% 会出一堆误报。

工具给的是线索,判断还得人来下。

04

04 顺手补点理论:两个 88%,可以是同一份稿子

工具给了三个数字:字符相似度、N-gram 相似度、重复段总长。你会发现它们经常对不上——同一对稿子,一个说 88%,一个说 60%。这不是谁的 bug,是「相似」这个词本身就没有唯一定义。这一章讲清几种度量各自在量什么、什么时候会掉链子,以及那个最要命的问题:相似度高,到底算不算抄。

一、先看清「相似」度量的是哪一件事

所有文本相似度算法,本质上都在回答一个很窄的问题:给两个字符串,怎么算出一个 0 到 1 之间的数。至于这个数代表什么,各家说法不一样。

有人想问「改了多少字」,有人想问「用了多少相同的表达」,有人想问「说的是不是一回事」。前两个是字面层的问题,可以用数学定义清楚;第三个是语义层的问题,需要模型,不是字符串比对能解决的。

这是理解整章的地基:相似度算法一律只看字面,不看意思。把一篇论文的每一句都换个说法重写,任何字面算法都会给低分。反过来说,两篇八竿子打不着的稿子,只要大量引用同一份模板、同一段套话,分数就会虚高。

二、编辑距离:数一数要动几刀

最古老也最直观的度量叫编辑距离(也叫 Levenshtein 距离):把 A 改成 B,最少需要几次「插入一个字、删掉一个字、替换一个字」。改三个字,距离就是三。

它的优点是解释力强——距离可以直接翻译成「动了几个字」。缺点是长度不归一:一篇一千字和一篇五千字的稿子,距离都是三十,含义完全不同。所以实际用的时候要除以长度,得到 0 到 1 之间的相似度。常用的一种归一方式是 2 × 相同字符数 ÷ 两篇总长,两个一模一样的稿子得到 1,毫无关系的得到接近于 0。

编辑距离有个隐含假设:顺序重要、但位置不重要。把一段话挪到文章开头,距离会变得很大,尽管内容一个字没变。这在判断「抄没抄」时是对的还是错的,取决于你怎么看——洗稿的人最爱干的就是调换段落顺序。

它的计算量是两篇长度的乘积。五千字对五千字,就是两千五百万次比较;文档一多,两两配对,很快就跑不动了。这就是为什么大文本上必须换一条路。

三、N-gram 加 Jaccard:看用了哪些「词组」

换个思路:不数改了几个字,数共用了哪些片段。

把每篇稿子切成连续 N 个字的片段(中文按字切,N 通常取 3),每篇得到一个片段集合。然后算两个集合的交集除以并集——这个比值就叫 Jaccard 系数。

举例:甲有片段「人工智能」「工智能的」「智能的发」,乙有「人工智能」「工智能的」「智能的应」。交集两项、并集四项,Jaccard 是 0.5。

这个方法的性格和编辑距离几乎是反的:

01

它不在乎顺序。段落怎么挪,片段集合不变,分数一点不掉。

02

它对局部改写很敏感。改一个词,会影响它前后好几个片段,分数掉得比编辑距离快。

03

它对短文本不稳。一句话切出来的片段太少,碰巧重合几个,分数就虚高。

所以「N-gram 比字符级更准」这句话是不成立的。实测里经常出现字符级 88%、N-gram 60% 的情况——同一对稿子,前者保留了句子骨架只换了词,N-gram 的片段大部分被打散了。哪种更接近你想问的问题,得看你关心「意思像不像」还是「表达像不像」。

四、TF-IDF 余弦:把文档当成向量

再换一个视角:把每篇稿子看成一个高维空间里的箭头,相似度就是两个箭头的夹角余弦。夹角越小,方向越一致,余弦越接近 1。

怎么把文章变成箭头?先统计每个词出现多少次(词频 TF),再给每个词乘一个权重(逆文档频率 IDF)——在越少文档里出现的词越有分量。「的」「是」「我们」满篇都是,权重趋近于零;「拓扑」「违约金」这种只在少数文档里出现的词,权重很高。这个加权就是 TF-IDF。

然后每个文档就是一个「词 → 权重」的向量,两个向量的余弦按下式计算:点积除以两个模长的乘积。

这套方法的好处是抓主题:两篇都在讲同一个专业话题,共用一批低频率关键词,余弦就会偏高,哪怕句式完全不同。坏处也在这里:它是词袋模型,顺序全丢。把一篇稿子的句子全部打乱,向量一点不变,余弦还是 1。

所以它特别适合「这两篇文章是不是同一主题」「这批文档能不能自动归类」,而不适合判断「这段是不是照抄的」。

五、中文要不要分词:一个被高估的选择题

上面提到「词频」,马上会有人问:中文没有空格,怎么分?

分词确实有影响。不分词、按字算,好处是不会分错——「的确」被切成「的」「确」,字还在,不影响字级统计。坏处是「人工智能」和「人的智力」共享了「人」「工」「智」三个字,字面有重合,语义毫无关系。

分词则相反,能抓住「人工智能」这个整体,但一旦分词器把「研究生命起源」切成「研究生」「命」「起源」,后面所有统计就都建在错的地基上。中文歧义多,任何分词器都有错分。

所以成熟的做法往往绕开这个选择题:要么用字级 N-gram(不依赖分词,也不会因为分词错而崩),要么用「字 + 词」两套并行。这个工具走的是前一条路——不装分词库,直接按字切 3-gram。牺牲了一点点语义精度,换来的是「不依赖任何外部词典、结果稳定可复现」。

一条实用判断:当你不需要解释「为什么这两篇像」时,字级就够;当你需要给出「这两段共享了哪些关键概念」时,才值得上分词。

六、重复段定位:把分数还原成位置

只给一个总分,用户没法判断该怎么办——88% 到底是哪 88%?

所以还得做第二件事:找出两篇稿子里具体哪几段重合。最直接的办法是找「最长公共子串」:在两篇里找连续相同的最长一段。但真实的抄袭不是整段复制,是东拼西凑,所以要找所有长度超过某个阈值的公共段,再把重叠的合并起来。

做法通常是先给短片段建索引,找到种子位置,再向两边扩展,扩展到头就得到一段完整的公共区域。最后把这些区域按长度排序,长的那几段就是「肉眼可见的雷同」。

这里有个参数很关键:最小重复长度。设成 15 个字,意味着「连续 15 个字一模一样」才算一段。设小了,满篇的常见短语都被标出来,变成噪音;设大了,改几个字的抄袭就从眼皮底下溜过去。这个值没有理论最优,只有和场景匹配——判作业和查合同,该用的阈值完全不同。

七、相似度高≠抄袭:一条不能越过的线

这是最该说清楚的一件事。

相似度是一个技术指标,不是一个道德判断。两份稿子分数高,可能是抄袭,也可能是因为:都在引用同一份政策原文;都是同一套模板填出来的(简历、报告、合同);都在描述同一道标准流程;甚至是同一个人写的两版草稿。

反过来,分数低也不代表清白——把每句话都换个说法重写,字面重合能压到很低,但结构、论点、例子全搬过来,那还是抄。

所以正确的用法是:工具负责把「像的地方」摆到你面前,判断由人来做。看到高相似度,先打开那几段重复内容看——是引号里的公文原句,还是正文里的叙述?前者叫引用,后者才是问题。写论文时规范的做法是明确标注出处;办公场景里,抄同事的报告交上去,问题不在文字而在性质。

这条线必须守住,否则工具就从「帮你找线索」变成了「替你定罪」,那是它承担不了的。

八、小结:三条能带走的原则

1. 先想清楚你要问哪个问题。 问「改了多少字」用编辑距离,问「共用哪些表达」用 N-gram,问「是不是同一主题」用向量模型。方法错了,数字再精确也是答非所问。 2. 任何一个相似度分数,都要配合「重复段在哪」才有意义。 只看总分容易被误导,打开重复内容看性质,才是正确姿势。 3. 相似度是线索,不是结论。 高相似度需要人去看那几段是引用还是照搬;低相似度也不等于没问题。工具给证据,判断留给人。

记住这一条,你就不会被任何一个百分比牵着走。

05

05 我们不做知识付费,不贩卖焦虑

市面上这类工具的路数我们见多了:免费版只让你比 2 份文件,想「批量」?开会员。 想看「重复段落」?再开一档。想要「导出报告」?还有一档。

我们不做这个。

数海丹心背后是 5 个活跃的社区群、几百款免费小工具。从多表合并、批量改名、 周报汇总、PDF 处理、全能搜索、文章下载、文件去重、批量生成 Word、图片批量压缩、 表格对比、表格拆分、批量插图、PPT 批量处理、水印工具、文件分类归档, 到这一期的文稿查重 —— AI 加持之后,你随口提一个办公痛点, 大佬很可能第二天就给你变出一个能双击运行的 EXE。

这个查重工具也一样,源码就在文件夹里,3891 行,中文注释写得很密 —— 踩过的坑全写在注释里了(光注释行里的中文字符就有 4885 个)。 想改哪里自己改,改完双击 一键打包.bat —— 它会先跑自检,自检不过就不打包, 打完还把 EXE 再跑一遍自检。

不仅给鱼,还给渔具。

06

工具在群里,进来拿

这一版照旧不放网盘、不放链接。

想拿?走唯一入口:

01

关注数海丹心公众号

02

后台回复“进群”

03

进群免费领取本工具

群里不止这一款,几百个免费工具随便挑。遇到别的办公痛点,直接在群里开口, 下一个连夜帮你写工具的,没准就是我们。

下次再遇到「怀疑有人抄」的时候,记住这个顺序:先把一堆文稿一起丢进去, 看一眼标红的格子,再点开看是哪一段。

---

工具不会更改源文件内容,使用失误造成的影响概不负责。

写在最后

看到这儿,说明你把它读完了。这类文章能走多远,只取决于两件事:你的在看和转发。

顺手关注并设为星标,下一篇更新第一时间见。

END

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料