ARTICLE · 1141403
淘宝手机版也在跑AI:0.6B小模型,正在你的手机上“实时算账”
淘宝手机版也在跑AI:0.6B小模型,正在你的手机上“实时算账”
根据阿里巴巴淘系技术团队发表的学术论文《RecGPT-Mobile: On-Device Large Language Models for User Intent Understanding in Taobao Feed Recommendation》，淘宝已经在移动端部署了本地大模型推理系统。 这个系统的核心配置很清晰：部署模型为 Qwen3-0.6B-Quant——一个经过量化压缩的0.6B参数小模型。 它的任务是什么？论文描述得很明确：把“用户行为序列 → 显式搜索意图query”的推断过程放到移动端，根据用户最近的点击、加购、收藏、购买等行为，实时推断下一步可能的搜索意图，再把这个意图转成query/tags去触发推荐召回。 翻译成人话：你在淘宝里每一次滑动、点击、加购，手机上的这个0.6B模型都在后台分析你下一步想干什么，然后调整推荐内容。 这不是一个实验性的功能，而是已经规模化部署的端侧AI体系。 淘宝端智能团队公开的数据显示：手淘已经上线了10+个场景，有25+个模型在跑，每天运行次数超过500亿次。 论文中提到的在线A/B测试覆盖了千万级用户、4个场景，持续一个月，平均提升CLICK +1.8% / PAY +2.7% / GMV +2.5%。端侧延迟在不同日期、不同percentile下整体稳定，说明这不是一个只在离线demo中可行的方案。 换言之，这个端侧模型不是“偶尔跑一下”，而是持续在后台运行，不断推理、不断调整推荐。 端侧LLM推理的能耗问题，在学术界已经有了明确的研究。 一篇由上海交通大学和阿里巴巴联合发表的论文指出，内存受限的LLM解码阶段是能耗的主要来源，而大多数现有工作只关注加速预填充阶段，忽略了能耗问题。 论文中的实验数据显示，LLM推理时CPU温度可以攀升到80°C，高温可能导致CPU降频，逐渐损害硬件。 阿里为此开发了MNN-AECS（自适应能效核心选择）方案，可以动态选择低功耗CPU核心来执行解码，相比原始MNN降低23%的能耗，而不显著降低速度。但这是“优化后”的结果，说明优化前的问题确实存在。 在各大手机社区的讨论中，淘宝系App的功耗问题早已不是新鲜事。 有荣耀用户反馈：“支付宝和淘宝这两个软件使用时发热明显大于其他软件包括大型游戏”。NGA论坛上有用户直言：“真就是3A大作了，刷个淘金币动画卡的掉帧，手机屏幕都烫手”。 另有用户总结：“淘宝、支付宝等阿里系的app都是3A大作，比一般游戏平台的种类还要多，所有手机、所有版本的系统都热的不得了”。 这些反馈的时间跨度从2023年一直延续到2026年，说明发热问题并非某一代机型或某一版系统的偶发情况。 如果你想减轻手机负担，可以尝试以下操作： 第一，限制后台活动。 在手机设置中，找到淘宝App的电池管理选项，将其设为“受限”或“智能限制后台活动”。这能减少它在后台持续推理的频率。 第二，关闭不必要的AI功能。 在淘宝App的设置中，查找与“推荐”“智能助手”“AI”相关的开关，看是否可以关闭部分本地推理功能。 第三，关注系统更新。 阿里在MNN-AECS上的优化表明，他们正在努力降低端侧AI的能耗。后续版本可能会改善发热问题。 第四，用小程序替代App。 微信小程序版淘宝的计算主要在云端完成，本地资源占用更低，适合只是简单浏览和下单的场景。 端侧AI是个好东西。它保护隐私、降低延迟、减少云端成本。但好东西不等于没有代价。代价就是你的手机和电脑，正在成为AI的算力节点。 淘宝在移动端部署0.6B小模型、每天跑500亿次推理，背后是阿里对“实时意图理解”的追求。这个方向没有错，但如何在提升体验的同时控制能耗，是淘宝和所有做端侧AI的公司都需要持续回答的问题。 你的手机烫吗？如果烫，可能不只是因为你在打游戏。👊 参考资料： 1. RecGPT-Mobile论文《On-Device Large Language Models for User Intent Understanding in Taobao Feed Recommendation》，arXiv 2605.04726 2. 淘宝端智能演进和思考，阿里巴巴淘系技术团队 3. MNN-AECS: Energy Optimization for LLM Decoding on Mobile Devices via Adaptive Core Selection，arXiv 2506.19884 4. 荣耀社区、NGA等用户反馈帖 5. MNN官方GitHub仓库文档
电脑版的热度还没散，手机上的淘宝，其实也没闲着。而且手机上的AI，可能比电脑版跑得更勤。