做AI产品到底该看哪些数据指标?很多产品经理从传统互联网转型做AI产品,第一个问题就是:以前看的DAU、留存率还管用吗?答案是管用,但远远不够。
AI产品有它的特殊性,成本结构完全不一样,用户体验的衡量维度也完全不一样。今天就来系统拆解10个必须掌握的数据指标。
1、DAU和MAU
DAU是日活跃用户数,MAU是月活跃用户数。这两个指标在任何产品里都是基础中的基础,但AI产品需要重新定义什么叫活跃。
传统产品里,用户打开App就算活跃。AI产品不能这么算。用户打开了,但没发起任何对话,没使用任何AI功能,只是逛了一圈就走了,这种活跃没有意义。AI产品的活跃必须绑定核心行为,比如发起了对话、生成了内容、调用了接口。
还有一个关键比值:DAU除以MAU。这个数字反映用户粘性。传统App这个比值超过20%就算健康。AI产品要看具体场景,工具型产品可能只有10%,因为用户不是每天都需要生成图片,但每次需要的时候一定会来。高频对话产品比如AI助手,这个比值应该在30%以上。
做AI产品一定要拆分活跃用户来源。自然流量来的用户和付费买来的用户,活跃度差异巨大。付费买来的用户如果第二天就不来了,说明获客渠道有问题,不是产品有问题。这个拆分不做,后面所有分析都会出错。

2、留存率
留存率衡量的是用户会不会回来继续用你的产品。核心看三个时间点:D1留存是次日留存,D7留存是7日留存,D30留存是30日留存。
AI产品的留存有个特殊现象叫首次体验决定论。用户第一次用AI产品,如果没解决问题,或者出现幻觉、胡说八道,基本就不会再来了。传统App用户可能会给第二次机会,AI产品不会。所以D1留存在AI产品里特别重要。
健康的AI产品留存标准是什么?D1留存超过40%算及格,D7留存超过20%算健康,D30留存超过10%就是好产品。但这只是平均水平,不同品类差异很大。AI搜索产品因为需求高频,留存应该更高。AI写作工具因为需求低频,留存低一些也正常。
留存分析要做功能穿透。用了某个功能的用户留存是多少,没用这个功能的用户留存是多少。如果发现用了图片生成功能的用户留存明显高于平均值,说明这个功能是留存抓手,应该在新手引导里重点推。这种分析在AI产品里特别有价值,因为AI产品功能通常很多,用户很容易迷失。

3、LTV
LTV是一个用户从注册到流失,在整个生命周期内贡献的总收入。计算公式很简单:每月平均收入乘以用户平均留存月数。
为什么AI产品特别关心LTV?因为AI产品的边际成本不是零。每次用户调用模型都要花钱,如果用户贡献的收入覆盖不了成本,用户越多亏得越多。传统互联网产品边际成本接近零,用户越多越好。AI产品不是这个逻辑。
LTV要分用户群体计算。订阅用户的LTV和按量付费用户的LTV差异巨大。订阅用户付了钱可能不怎么用,按量付费用户用多少付多少。表面上看订阅用户收入稳定,但如果订阅价格太低用户又用得多,可能是亏钱的。
还要做LTV预测。用户刚注册的时候就要预估他的LTV。怎么预估?看他的行为特征。用了哪些功能、对话轮数多少、首次付费金额多少,这些特征可以训练一个预测模型。高LTV用户要重点运营,低LTV用户要想办法提升或者降低服务成本。

4、CAC
CAC是获取一个新用户花了多少钱。计算方式是总营销费用除以新增用户数。这个指标所有产品都要看,但AI产品有特殊的坑。
第一个坑是把注册用户当获取用户。用户注册了但从来没发起过AI调用,这个用户获取成本应该算无穷大因为他没创造任何价值。正确的做法是把获取用户定义为完成首次核心行为的用户。
第二个坑是不区分渠道。不同渠道的CAC差异可能有十倍。某个渠道CAC很低但用户质量很差,留存很低LTV很低。另一个渠道CAC高但用户质量好。只看CAC不看后续数据会做出错误决策。
健康的指标是LTV除以CAC大于3。意思是一个用户贡献的收入是获取成本的3倍以上。低于这个比值说明获客效率有问题。AI产品因为有运营成本,这个比值更重要。有些AI产品LTV除以CAC只有1.5,看起来还有利润,但扣掉模型调用成本和运营成本就是亏的。

5、ARPU和ARPPU
ARPU是每用户平均收入,计算方式是总收入除以总用户数,包含免费用户。ARPPU是每付费用户平均收入,计算方式是总收入除以付费用户数。
这两个指标的关系很有意思。ARPPU乘以付费率就等于ARPU。所以提升ARPU有两条路:提高ARPPU让付费用户花更多钱,或者提高付费率让更多用户付费。
AI产品特别要关注复购率。用户买了一次Token包,会不会买第二次?订阅用户下个月会不会续费?复购率直接影响LTV。AI产品的复购率和产品粘性高度相关。如果用户发现这个AI工具真的能解决问题,复购是自然的事。如果用户发现普通问题它能答,稍微难一点就不行,就不会复购。
定价策略对ARPPU影响很大。定价太低,ARPPU上不去,利润微薄。定价太高,付费率上不去,用户流失严重。AI产品普遍存在的问题是定价太低。很多产品经理怕用户觉得贵不敢定价,结果变成用户越多亏得越多。

6、Token消耗和API调用量
这是AI产品特有的指标,传统产品没有。每次用户发起AI请求都会消耗Token,Token就是成本。
理解Token消耗需要知道两个概念:输入Token和输出Token。用户发的问题是输入Token,AI的回答是输出Token。大多数模型输出Token比输入Token贵,有的贵两倍有的贵三倍。所以如果AI老是生成长回答,成本会急剧上升。
要做Token成本归因。这个用户今天花了多少Token成本,他贡献了多少收入,利润率是多少。有些高频用户可能成本比收入还高,是亏钱的。这种用户要考虑限流或者提价。
还有一个优化方向是Prompt压缩。系统Prompt太长会消耗大量输入Token。每次对话都带几千Token的系统Prompt,成本就上去了。通过Prompt工程把系统Prompt压缩到最短,同时保持效果,是AI产品经理必须掌握的技能。
模型降级策略也很重要。不是所有请求都需要最好的模型。简单问题用便宜模型,复杂问题用贵模型。怎么判断问题复杂度?可以先用便宜模型试答,如果置信度低再调用贵模型。这套策略做好了能省50%以上的成本。

7、响应延迟
响应延迟是用户发出请求到看到结果的时间。AI产品的延迟直接影响用户体验,延迟太长用户就走了。
延迟要分段看。队列等待时间是请求在服务器排队等处理的时间,在高峰期可能很长。模型推理时间是模型实际处理请求的时间,和模型大小、输入输出长度有关。网络传输时间是结果从服务器传到用户端的时间。三段都要分别监控。
用户体验阈值是多少?首Token延迟要控制在1秒以内。首Token就是AI开始输出第一个字的时间。用户发完问题1秒内看到AI开始回答,体验就是好的。超过3秒用户就开始焦虑。完整响应时间控制在5秒以内。当然流式输出可以缓解这个问题,用户看到AI一个字一个字往外蹦,心理上觉得没那么慢。
延迟优化是AI产品技术团队的核心工作。常见手段包括模型量化减小模型体积、增加推理服务器数量、使用CDN缓存高频响应、预热常见问题的回答。产品经理需要理解这些手段,才能和技术团队有效沟通。

8、任务完成率
任务完成率是用户意图被正确理解并成功完成的比例。这个指标直接衡量AI到底行不行。
怎么定义任务完成?不同产品定义不一样。AI客服的完成是用户问题被解决不需要转人工。AI写作的完成是用户采纳了生成的内容。AI编程助手的完成是生成的代码能跑通。
衡量方式有显式和隐式两种。显式是用户点了赞或踩,这是最直接的信号。但大部分用户不会主动反馈,所以要结合隐式信号。用户有没有重新提问是一个重要信号,如果AI答完用户马上换个说法再问一遍,说明第一次没答好。对话轮数也是信号,理想情况是一轮就解决问题,轮数越多说明理解能力越差。
任务完成率要按场景拆分。同一个产品在不同场景下完成率差异很大。AI在闲聊场景完成率可能90%,在专业问题上完成率可能只有60%。这种拆分能发现产品短板在哪里,指导后续优化方向。、

9、人工干预率
人工干预率是AI处理不了需要人工介入的比例。在AI客服场景这个指标叫转人工率,在AI审核场景叫人工复核率。
健康的人工干预率是多少?智能客服场景控制在15%以下算合格。意思是100个用户问题,85个AI能独立解决,15个需要转人工。复杂业务场景比如金融、医疗,人工干预率可以放宽到30%,因为这些场景出错成本太高。
降低人工干预率是AI产品持续优化的核心目标。每次人工干预都是一次学习机会。用户问了什么AI答不上来?为什么答不上来?是知识库没覆盖还是理解能力不够?把这些case收集起来,定期做Fine-tune或者更新知识库,人工干预率就会持续下降。
但人工干预率太低也不一定好。如果AI什么都不转人工,可能是阈值设得太高了,本该转人工的case被AI硬答了,答得不好用户体验反而差。要结合用户满意度一起看。

10、NPS和CSAT
NPS是净推荐值,问用户会不会推荐这个产品给别人,打0到10分。9-10分是推荐者,7-8分是中立者,0-6分是贬损者。推荐者比例减贬损者比例就是NPS,范围是-100到100。
CSAT是满意度评分,问用户对本次服务是否满意,通常是1-5分。
AI产品NPS超过30算优秀。为什么用NPS不只看CSAT?因为NPS反映的是用户会不会帮你传播。AI产品获客成本高,如果用户愿意主动推荐,获客成本会大幅下降。
采集时机很重要。任务完成后24小时内采集效果最好。隔太久用户忘了当时的感受,评分不准确。也不能太频繁采集,用户会烦。通常做法是随机抽样,每个用户一个月最多被问一次。
满意度数据要和其他指标交叉分析。高满意度用户的留存是多少、LTV是多少、复购率是多少。这种分析能验证满意度和商业指标的相关性,证明花力气提升满意度是值得的。

不同阶段看的指标不一样。产品刚上线的MVP期,核心看任务完成率和用户满意度。AI能不能解决问题是最重要的,其他都是后话。如果AI根本不行,看再多增长指标也没意义。
进入增长期,核心看留存率和CAC。产品能力验证了,开始拉新。获客成本能不能控制住,用户来了会不会留下来,这两个指标决定能不能规模化。
进入商业化期,核心看LTV和Token成本。开始赚钱了,要算清楚每个用户能赚多少、成本是多少、利润率是多少。很多AI产品死在这一步,收入看着不错但成本更高。
规模化期,核心看响应延迟和人工干预率。用户量上来了,系统扛不扛得住,边际成本能不能降下来,这些决定能不能继续扩张。
说到底,数据指标是帮你做决策的工具。不是为了看数据而看数据,而是通过数据发现问题、验证假设、指导优化。AI产品经理要养成用数据说话的习惯,每次做决策都要问自己:这个决策会影响哪些指标?我怎么衡量效果?
,
..........
夜雨聆风