豆包手机助手正式发布:AI开始直接操作手机

9月14日，豆包手机助手消费者版正式发布。首款搭载它的手机是努比亚 NaviX Ultra，将于9月16日开售。

这次发布值得关注的地方，在于豆包开始进入手机的操作层：它可以理解当前屏幕，调用一部分经过授权的本地信息，也可以尝试替用户推进跨应用任务。“操作手机”目前仍是 Beta 能力，实际体验会受到设备、系统权限和第三方应用规则影响。

豆包手机助手首款消费者版搭载设备：努比亚 NaviX Ultra。

先让 AI 看懂你正在看的内容

手机助手最自然的入口，是用户此刻已经打开的页面。

在网页、商品详情或资料中遇到陌生内容时，用户可以直接询问当前屏幕上的信息，不必先截图、保存，再切换到聊天窗口描述背景。豆包手机助手会结合屏幕内容回答问题，也可以根据指令继续处理页面中的信息。

豆包手机助手可以理解当前屏幕内容，并解释页面中的概念。

这项能力的变化很小，却很实用：用户不用反复告诉 AI“我现在看到的是哪一页”，屏幕本身就成了上下文。

豆包手机助手还提供本地信息调用和手动记忆功能。根据官方信息，在用户主动授权后，它可以处理电话、相册、短信和便签等部分内容；用户也可以通过语音输入、“三指上滑”或“AI 键＋音量键”等方式保存当前屏幕信息，之后再让助手找回。

这里的关键不在于手机里多了一个记忆库，而在于记忆开始和日常操作连在一起。用户保存的内容是什么、何时被调用，仍然由权限和设置决定。

接下来，AI要替你推进一段任务

“操作手机”是这次发布里最容易引发想象的部分。

用户可以直接描述目标，助手再根据屏幕反馈寻找按钮、填写内容并继续下一步。官方展示的任务界面中，音乐、资讯、短视频和电商等任务可以同时提交，系统会区分正在执行和排队中的任务，并允许用户查看或取消。

豆包手机助手可以同时提交多个任务，并显示正在执行与排队中的状态。

这和“帮我打开一个 App”之间有明显差别。前者需要助手理解目标、识别页面、连续操作，还要根据中途反馈决定下一步。比如按条件找商品、在多个页面之间传递信息，或者完成生活服务中的一段流程，都属于更长的任务。

但 Beta 也意味着它还不能被当成稳定的全自动执行器。页面改版、登录状态、验证码、权限弹窗、支付确认，以及应用本身的限制，都可能让任务停下来。能操作界面，和能在所有场景下可靠完成任务，中间还有距离。

AI 键把入口放进了手机硬件

豆包手机助手支持语音和专属 AI 键唤醒。AI 键还集成了指纹鉴权，用户完成身份验证后，可以在授权范围内调用助手。

这让它和单独下载的聊天 App 拉开了距离：用户不必先解锁、找应用、再输入指令，手机厂商也可以把 AI 入口放进实体交互。不过，锁屏状态能做什么，仍然取决于具体权限和任务类型，涉及个人信息或需要确认的操作不能绕过用户授权。

消费者版还接入了飞书妙记，支持录音转写和内容回溯。会议或访谈结束后，手机负责采集，AI 可以协助整理重点，并辅助生成 Word、Excel 和 PPT 文件，用户再对结果进行修改确认。

应用愿不愿意让 AI 来操作

当 AI 可以像人一样点击手机，应用方也需要知道这种访问从哪里来、能够做什么。

豆包方面同步推出了 SAEP，也就是屏幕自动化操作声明协议。官方设置了 30 天规则公示期：公示期内，应用不会被 GUI 智能体操作，除非应用主动声明接受；公示期结束后，如果应用没有通过邮件告知拒绝，也没有通过 SAEP 协议声明拒绝，相关应用可能开放给 GUI 智能体操作。

这意味着“豆包手机助手支持操作手机”并不代表所有 App 都会无条件配合。应用声明、系统权限和具体功能限制，都会影响最终结果。对用户来说，未来判断一项任务能否完成，除了看助手本身，也要看被操作的应用是否接受这种方式。

现在能买到，但能力仍在扩展

目前已公开确认的首款搭载设备是努比亚 NaviX Ultra，9月16日正式开售。消费者版围绕这款手机的硬件入口和系统能力展开，后续是否扩展到更多机型，还要看豆包与手机厂商的合作安排。

“操作手机”目前属于 Beta 能力，因此这次发布还不意味着所有豆包用户都能获得相同体验。设备型号、系统版本、应用授权和功能开放状态，都会带来差异。

豆包手机助手真正值得观察的地方，是 AI 的工作位置发生了变化。它不再只停留在聊天窗口里给出答案，而是开始理解用户正在看的页面，并尝试把一句话推进成一段实际操作。

这条路还没有走完，但方向已经出现：手机助手未来要处理的，不只是“你想知道什么”，还包括“你想让我帮你完成什么”。

     

FRONTIER WORLD

前沿之境

看见 AI 的每次变化，讲清它如何进入真实世界。