乐于分享
好东西不私藏

AI写的内容读者能看出来吗?我做了一个实验,结论让我很意外

AI写的内容读者能看出来吗?我做了一个实验,结论让我很意外

AI提效计划 · 实验记录

我做了一个实验:读者能分辨AI写的文章吗

三篇文章,三种写法,一组不太好看的真实数据

有人在后台问我:你们发的文章,有几篇是AI写的?

我没有直接回答。我决定做一个实验——不是因为这个问题让我不舒服,而是因为我自己也想知道答案到底是什么。

实验规则:连续三周,在同一个账号发布三篇主题相似的文章,分别对应纯AI生成、纯人工写作、AI打底+人工大量改写。不提前告知读者,观察真实数据反应。

这不是一篇证明AI好或不好的文章。是一份我自己需要的数据记录。

实验设计

第一篇:纯AI生成

操作:Claude提供选题和关键信息点,生成约1000字内容分析文,全程不做实质性修改,仅纠正两处明显事实错误,保留原有句式和结构。

发布:周二上午10点(账号历史发布高峰时段)

第二篇:纯人工

操作:关掉所有AI工具,打开空白文档,从选题、结构到每一句话完全手写。花费时间:约3小时40分钟。

发布:下周同一时段

第三篇:AI+人工混合

操作:先用AI生成初稿(约1200字),然后对结构做大幅重组,替换约60%的句子,加入3个来自个人经历的真实细节,删掉所有套话,补充两处AI模糊处理的论证。改写时间:约1小时20分钟。

发布:再下周同一时段

三篇文章的数据对比(发布后72小时)

账号粉丝约1.2万,三篇推送打开率持平(8%–9%),可排除推送差异对结果的干扰。

阅读完成率

点赞收藏率

评论数/质量

"AI感"投诉

① 纯AI生成

41%

2.3%

17条 / 低

6条(35%)

② 纯人工

68%

5.1%

53条 / 高

0条

③ AI+人工

63%

4.8%

44条 / 中高

1条(6%)

数据背后,发生了什么

阅读完成率:差距比我预想的大

AI那篇41%的完成率,最大流失点在第三段——从"提出问题"转向"分析展开"的位置。我反复读了那个地方:语句流畅,逻辑没有错误,但没有重量。它把一个复杂问题用四句话处理掉了,处理得太干净,干净到失去了摩擦感。

读者感觉到了,用脚投票。纯人工和混合版完成率接近(68% vs 63%),说明改写质量够高时,混合模式的阅读体验基本可以对标纯人工。

点赞收藏率:最能说明有没有用

AI 2.3%、混合 4.8%、纯人工 5.1%。收藏行为背后的逻辑是"这个我以后用得上"。纯AI版本写了很多,但提供了很少让人想存下来的东西——观点正确但不尖锐,案例有但不具体,结论成立但不意外。

混合版里我加入的一个个人细节,被评论区直接引用说"就是这个感觉"。这个细节在AI初稿里完全没有,是我后来加进去的。

评论质量:最残酷的指标

AI那篇17条评论里,6条提到了"感觉像AI写的"或"读起来很空"——占比35%,高过我的预期。其中一条评论写得很准:"观点没问题,但感觉作者并不相信自己在说的话。"

这句话击中了某个真相:AI写文章的方式是在"整合",不是在"主张"。它会把一件事的正反面都呈现出来,然后给一个中性偏正面的结论。这种写法看起来客观,但读起来像是没有灵魂的。

纯人工的53条评论里有11条是读者分享自己的经历——这类共鸣型评论,纯AI那篇一条都没有。

四个结论

① AI内容最大的可识别特征,不是语法,是密度

不是说AI写错了什么,而是它把所有内容处理成了同等密度。一篇好的人工文章,有轻有重,会在某个地方用力、在某个地方放松。AI不会这样做——它均匀地正确着,均匀到无聊。

② 人工写作真正不可替代的,只有两件事

真实的摩擦感:那种因为作者真的踩过坑、真的想明白了某件事才能写出来的具体感,AI造不出来。

明确的立场:AI的写法永远是"一方面……另一方面……",而好的文章需要作者真的选边站。

其他的——结构、语言、信息组织——AI已经做得足够好,不是人类的核心优势了。

③ 混合模式是目前最优解,但前提是改写够狠

混合版的数据接近纯人工,但前提是我花了1小时20分钟做了大量改写。如果只是"润色"几个词,结果会更接近纯AI。

混合模式的价值不是省时间,而是用AI处理骨架,把人的时间集中用在最有价值的部分——那些只有真实经历和真实判断才能写出来的内容。

④ 读者比我们想象的更敏感

35%的读者在没有任何提示的情况下,感知到了纯AI文章的质感问题。他们可能说不清楚为什么,但他们感觉到了。

这不是一个让人放心的数字。长期用纯AI内容喂读者,他们不会明确说"我知道这是AI写的",但会慢慢失去对你的信任——以不评论、不收藏、不转发的方式。

这是最难察觉、也最难挽回的那种流失。

你在读别人文章时,有没有哪一刻突然觉得"这不像真人写的"?那个感觉通常来自哪里——是句式、是逻辑、还是某种说不清楚的空?

评论区聊聊。我很好奇这种感知能力是否可以被描述清楚。

— AI提效计划 · 实验记录系列 —