AI提效计划 · 实验记录
我做了一个实验:读者能分辨AI写的文章吗
三篇文章,三种写法,一组不太好看的真实数据
有人在后台问我:你们发的文章,有几篇是AI写的?
我没有直接回答。我决定做一个实验——不是因为这个问题让我不舒服,而是因为我自己也想知道答案到底是什么。
实验规则:连续三周,在同一个账号发布三篇主题相似的文章,分别对应纯AI生成、纯人工写作、AI打底+人工大量改写。不提前告知读者,观察真实数据反应。
这不是一篇证明AI好或不好的文章。是一份我自己需要的数据记录。
实验设计
第一篇:纯AI生成
操作:给Claude提供选题和关键信息点,生成约1000字内容分析文,全程不做实质性修改,仅纠正两处明显事实错误,保留原有句式和结构。
发布:周二上午10点(账号历史发布高峰时段)
第二篇:纯人工
操作:关掉所有AI工具,打开空白文档,从选题、结构到每一句话完全手写。花费时间:约3小时40分钟。
发布:下周同一时段
第三篇:AI+人工混合
操作:先用AI生成初稿(约1200字),然后对结构做大幅重组,替换约60%的句子,加入3个来自个人经历的真实细节,删掉所有套话,补充两处AI模糊处理的论证。改写时间:约1小时20分钟。
发布:再下周同一时段
三篇文章的数据对比(发布后72小时)
账号粉丝约1.2万,三篇推送打开率持平(8%–9%),可排除推送差异对结果的干扰。
阅读完成率 | 点赞收藏率 | 评论数/质量 | "AI感"投诉 | |
① 纯AI生成 | 41% | 2.3% | 17条 / 低 | 6条(35%) |
② 纯人工 | 68% | 5.1% | 53条 / 高 | 0条 |
③ AI+人工 | 63% | 4.8% | 44条 / 中高 | 1条(6%) |
数据背后,发生了什么
阅读完成率:差距比我预想的大
纯AI那篇41%的完成率,最大流失点在第三段——从"提出问题"转向"分析展开"的位置。我反复读了那个地方:语句流畅,逻辑没有错误,但没有重量。它把一个复杂问题用四句话处理掉了,处理得太干净,干净到失去了摩擦感。
读者感觉到了,用脚投票。纯人工和混合版完成率接近(68% vs 63%),说明改写质量够高时,混合模式的阅读体验基本可以对标纯人工。
点赞收藏率:最能说明有没有用
纯AI 2.3%、混合 4.8%、纯人工 5.1%。收藏行为背后的逻辑是"这个我以后用得上"。纯AI版本写了很多,但提供了很少让人想存下来的东西——观点正确但不尖锐,案例有但不具体,结论成立但不意外。
混合版里我加入的一个个人细节,被评论区直接引用说"就是这个感觉"。这个细节在AI初稿里完全没有,是我后来加进去的。
评论质量:最残酷的指标
纯AI那篇17条评论里,6条提到了"感觉像AI写的"或"读起来很空"——占比35%,高过我的预期。其中一条评论写得很准:"观点没问题,但感觉作者并不相信自己在说的话。"
这句话击中了某个真相:AI写文章的方式是在"整合",不是在"主张"。它会把一件事的正反面都呈现出来,然后给一个中性偏正面的结论。这种写法看起来客观,但读起来像是没有灵魂的。
纯人工的53条评论里有11条是读者分享自己的经历——这类共鸣型评论,纯AI那篇一条都没有。
四个结论
① AI内容最大的可识别特征,不是语法,是密度
不是说AI写错了什么,而是它把所有内容处理成了同等密度。一篇好的人工文章,有轻有重,会在某个地方用力、在某个地方放松。AI不会这样做——它均匀地正确着,均匀到无聊。
② 人工写作真正不可替代的,只有两件事
•真实的摩擦感:那种因为作者真的踩过坑、真的想明白了某件事才能写出来的具体感,AI造不出来。
•明确的立场:AI的写法永远是"一方面……另一方面……",而好的文章需要作者真的选边站。
其他的——结构、语言、信息组织——AI已经做得足够好,不是人类的核心优势了。
③ 混合模式是目前最优解,但前提是改写够狠
混合版的数据接近纯人工,但前提是我花了1小时20分钟做了大量改写。如果只是"润色"几个词,结果会更接近纯AI。
混合模式的价值不是省时间,而是用AI处理骨架,把人的时间集中用在最有价值的部分——那些只有真实经历和真实判断才能写出来的内容。
④ 读者比我们想象的更敏感
35%的读者在没有任何提示的情况下,感知到了纯AI文章的质感问题。他们可能说不清楚为什么,但他们感觉到了。
这不是一个让人放心的数字。长期用纯AI内容喂读者,他们不会明确说"我知道这是AI写的",但会慢慢失去对你的信任——以不评论、不收藏、不转发的方式。
这是最难察觉、也最难挽回的那种流失。
你在读别人文章时,有没有哪一刻突然觉得"这不像真人写的"?那个感觉通常来自哪里——是句式、是逻辑、还是某种说不清楚的空?
评论区聊聊。我很好奇这种感知能力是否可以被描述清楚。
— AI提效计划 · 实验记录系列 —
夜雨聆风