夜雨聆风学习资料网

ARTICLE · 1033756

豆包手机助手,找到了AI手机落地的答案

豆包手机助手,找到了AI手机落地的答案

过去两年,AI几乎已经钻进了所有软件里。但到了端侧,始终没有跑出来特别成功的产品。

无论是AI手机、AI PC,还是各种AI硬件,模型越来越强,产品也出了一轮又一轮,但真正改变用户使用习惯的东西并不多。大多数所谓端侧AI,最后还是停留在问答、总结、修图这些功能上。

去年,豆包手机助手首次展示了丝滑的GUI操作手机,让行业看到了另一种可能。而现在,豆包手机助手正在把这件事继续往前推。

9月14日,豆包手机助手正式发布消费者版本,搭载在努比亚NaviXUtra手机上。相比上一次重点展示“AI能操作手机”,这一次,豆包手机助手把更多精力放在了交互、意图理解,以及Agent如何真正融入App生态上。

这背后的变化其实很明确。端侧AI过去缺的,从来不只是更强的模型,而是一套真正能理解用户、调用设备、进入生态的产品形态。

而豆包手机助手这次开始补的,正是这一课。

/ 01 /

从App入口到意图入口

从这次发布看,豆包手机助手消费者版本有几个比较重要的变化。

第一,交互方式开始发生变化。

一方面,它把AI入口做得更靠前。除了语音唤醒,豆包手机助手还提供专属AI键,并加入指纹鉴权。锁屏状态下,用户可通过AI键指纹鉴权,就可以直接让豆包手机助手执行任务。

这个变化看起来不大,但背后的逻辑很明确:AI不再只是手机里的一个App或者功能,而开始变成一个随时可以调用的系统入口。

另一方面,豆包手机助手对环境的感知能力也明显增强。

在消费者版本中,豆包手机助手进一步优化了远场、内噪和嘈杂环境下的语音唤醒,同时加入屏幕问答能力。用户不需要额外截图或来回切换应用,豆包手机助手就可以直接理解当前屏幕和摄像头里的内容。

比如,用户拿豆包手机助手对着家里的装修环境,说一句:“按照这个风格,帮我找一个一米二以内、1000元以下的柜子。”

过去完成这个任务,要先拍照,再打开淘宝或者京东,搜索柜子、输入尺寸和价格,最后自己筛选。

现在,豆包手机助手可以直接理解眼前的装修风格和用户提出的尺寸、价格要求,再继续寻找商品。

第二,AI对用户意图的理解开始变深。

在官方演示里,豆包手机助手为本地数据提供了搜索工具,本地数据检索功能开启后,可以在用户需要时检索相册、短信、便签等信息。

比如,用户问“港澳通行证什么时候到期”,豆包手机助手可以直接从相册、短信、便签里找到相关信息。此外,用户还可以自主设置助手可以搜索的范围。

办公场景也是一样。消费者版本升级了录音体验,并接入飞书妙计能力。用户问“昨天用户访谈里提了什么建议”,豆包手机助手可以结合录音内容和本地搜索,直接找到对应信息。

这类能力看起来像是搜索升级,但背后其实是一个新的趋势:在用户授权的前提下,AI可以了解更多个人Context。

这样的趋势,也体现在苹果身上。今年6月,苹果推出新一代Siri AI时,就把Personal Context、Onscreen Awareness和跨App Actions放在了核心位置。Siri可以从信息、邮件和照片中寻找个人信息,也可以理解用户当前屏幕里的内容,再调用第三方应用完成任务。

为什么大家都开始强调Context?因为AI产品和过去的软件有一个很大的区别。

互联网产品的功能和路径大多是提前设计好的,用户按照既定流程一步步操作。但AI面对的是一句话、一张图甚至一段语音,需求天然更加开放。

这时候,谁了解更多用户Context,谁就更容易理解真实意图。

而手机恰好是个人Context最完整的设备。照片、短信、联系人、日历、位置、录音、订单等大量信息,都储存在这里。

随着这些数据不断沉淀,AI理解的就不再只是眼前的一句话,而是可以基于用户设置,结合用户过去的信息和当前场景,更准确地判断他真正想做什么。这也是为什么手机正在成为个人AI Agent最重要的战场。

互联网时代争夺的是用户注意力,AI时代开始争夺用户意图。

从这个角度看,豆包手机助手这次补齐本地搜索、记忆和屏幕理解,背后的逻辑其实很简单:离用户需求产生的那一刻更近一点。

/ 02 /

补上落地的关键一课

除了交互方式的变化,另一个值得关注的地方是,豆包手机助手开始尝试和开发者一起建立一套更开放的Agent应用生态。

目前,豆包手机助手已经支持系统应用、中兴应用、字节系应用,以及部分已经完成接入的第三方应用。其他尚未接入的应用,暂时无法使用GUI自动操作能力。

为了进一步扩大可操作应用范围,豆包手机助手于9月14日推出屏幕自动化操作声明协议SAEP,并启动为期30天的规则公示。

按照这一协议,第三方应用可以自主决定是否允许AI助手在应用内进行屏幕自动化操作,也可以明确设置具体操作边界。

在10月15日公示期结束前,尚未获得许可的第三方应用暂时无法进行自动化操作,包括M153在内的相关机型都会遵循这一规则。

豆包手机助手方面表示,目前正在与第三方开发者持续沟通。公示期结束后,将根据开发者反馈陆续开放更多应用的自动化操作能力。此后,第三方开发者仍然可以随时声明拒绝,豆包手机助手也会关闭对应能力。

除了GUI操作,豆包手机助手目前还提供豆包智能服务、豆包购物、录音纪要、工作任务等多项AI功能。

在收费方面,豆包手机助手本身可以免费使用。其中,“手机任务”功能会提供一定的免费额度,官方表示可以覆盖大多数用户的日常使用需求。

文/阿奇

相关学习资料