AI 做竞品分析,每个数都有出处,结论还是错的

上周做一份竞品分析，我让 AI 查飞书和钉钉的日活和付费转化率。

问之前我已经准备好它瞎编。这类企业内部数据本来就没有公开来源，我预设的剧本是：它给我一句「据某机构报告」，扔一个搜不到的数字。

结果它没瞎编。

它给了一份带出处的报告，六个指标纵向排开，每个都标了口径和时间。

我看完，只挑走了一个数：飞书付费密度是钉钉的 4 到 5 倍。

后来为了写这篇，我把两轮对话翻了一遍，才发现一件让我坐不住的事。

它第一轮就把最该读的那句写出来了。

PART 01

它第一轮就写全了

THE FIRST ANSWER

那份竞品分析报告的核心是一张表：

看表格最下面那一行。

「约为钉钉同期收入的七成」，这句话不需要除以月活，也不需要推算。21 亿对 30 亿，一算就是七成。

这是整份报告里最安全的一句。两个数直接相除，中间不掺环节。

严格说「同期」不严：一个是 2024 年全年，一个是 2025 财年，错一个季度。但这一行就写在格子里，谁都看得见。

而我看的是「4 到 5 倍」。

它在下面分析中还写了一句我没留意的：

「个别第三方报告流传的钉钉 DAU（6240 万 / 8430 万）互相矛盾、可信度存疑，未予采用。」

这是在替我筛：没把搜到的全堆给我，把没出处的挑掉了。它前面还交代，两家都没官方披露 2025 年上半年企业 DAU 的精确值，给的是最接近的公开口径。

PART 02

它算的是一个不该算的数

THE WRONG DIVISION

那个「4 到 5 倍」怎么来的？拿两家的年收入各除以自己的月活，再把两个数一除。

算式它全公开，我复现过，和它说的一致。

真正麻烦的是那一格的口径。

「付费密度」是它自己的词，报告里没定义。看上下文，它指付费企业占比。

那一格要填的是付费企业数除以企业总数。飞书两个数都没公开，它写的是「未披露」。

两个数都没有，它整套换掉：分子换成收入，分母换成月活，名字没动。

月活不是我要的日活。

飞书 21 亿 ÷ 3000 万，70 元；钉钉 30 亿 ÷ 2 亿，15 元。数都来自它表里。

4.7 倍，算术没错。但这式子是年 ARPU，算的是全部月活的平均收入。

它把免费用户摊进分母，测出来的不是付费能力

这个差距在商业上完全合理：飞书企业客户多，钉钉小微多。客户结构能解释 ARPU，解释不了「谁更会卖」。

PART 03

它两次都写了，我两次都没读

WRITTEN TWICE

我以为「免责声明藏在表格最后一行」是问题所在。

直到我看见第二轮。

我追问这两个百分比的数据来源，它回了一整份核验。里面有这么一行：

还是表格的最后一行。但这次它专门加了四个字：「务必注意」。

它甚至在后面还多给了一份引用建议，里面有一条我没问过：

它知道两个口径，写出了分歧，还给了一条建议：统一采用 QuestMobile 的口径，标注来源。

我把飞书月活换成 4000 万重算了一遍：那个「4 到 5 倍」，会掉到 3.5 倍。

一个月活数字的出入，能让结论差出四分之一。

它该做的都做了。它只是不会停下来问我一句「这个数你打算怎么用」。

但对只看结论的人来说，这就是全部。

PART 04

它做对了算术题，做错了应用题

ARITHMETIC VS REALITY

为什么会这样？

因为它的任务被定义成了「算」。

你问它比率，它就找两个数做除法。它不知道这两个数背后是两种客户结构。这条判断不在数据里。

在你的行业经验里。

算术题的答案有唯一解。应用题的答案，取决于你怎么理解题目。

它做完了算术题，然后把答案交给你，让你以为自己拿到了应用题的解。

PART 05

提醒为什么拦不住人

WHY WARNINGS FAIL

同一句话，它写了两遍。第二遍还加了「务必注意」四个字。

我当时觉得这是严谨。后来想明白了，这不是严谨，是免责。

这不是严谨，是免责

严谨是替你把关，免责是替自己留后路。它把后路留好了，然后把结论交给你。

我还是没读到。

我回头看了自己的两次提问。

第一次我问：直接给具体数据，再分析哪家做得更好。

第二次我问：这两个百分比是哪家机构、什么时候发布的。

两次它都答了，还都多给了一层。但它答的是我问的。

我问数据它给数据，我问来源它给来源。它没主动说「这个结论你别用」，唯一的例外是「局限」那一栏。

而那一栏，是我没问的地方。

它按你的问题划定回答范围，然后在边界上多站了一步。你能拿到多少，取决于你有没有往那一栏看。

放在最后一行，是它的出表习惯；加「务必注意」，是它能加的最重的词。

剩下的事只能我来：读表格，读到最后一行为止。

PART 06

我现在的三查

MY THREE CHECKS

我现在看任何比率，只在三个地方停一下：

三十秒，但它决定了这个数能不能上会议桌。

还有一条更省事的：先找「局限」那一栏。整段回答里它只有一行，那这一行就是重点。它写得越短，你越要读。

PART 07

那套指令，我加了两条

THE PROMPT

现在我用 AI 做竞品分析，只让它做两件事：找线索，给推算思路。结论我自己来。

约束它，我用这套：

第 3 条是这次加的。同一指标有多个数据源时只挑一个算，换一个分母，结果就掉四分之一。

第 6 条也是这次加的。既然人不会读到最后一栏，那就让它写在第一行。

PART 08

但最后有一件事它做不了

WHAT IT CANNOT DO

它的严谨是可以被调用的，但不会自动启动。你让它算，它就只算；你说「算之前先查口径」，它才查。

所以最后还有一件事只能你做。

上会。

它可以把每个数的出处、每个推算的算式、每一处口径的分歧，全摆在你面前。但「这个数能不能放进老板的会」，它没有资格回答。

因为上会意味着有人要为这个数负责。而它不负责。

最后说一句

AFTERWORD

那份竞品分析报告，我最后没用它给的比率。

不是因为它算错了数。是因为我发现，我没法在老板问「这个数怎么来的」时候，给出一个合理的回答。

后来我明白了：不是它没给。

它把答案放在表格最后一行，放了两次

是我两次都只拿走了那个百分比。

评论区聊聊，你有没有过「AI 其实说了，但你没看见」的时候？