最近看到一个有意思的开源项目，iPhone Use。把自己的苹果手机连到Mac上，让Codex、WorkBuddy或者豆包工作去操作它。打开App、看页面、点击、滑动、输入文字，电脑旁边还能看到手机正在被怎样操作。

这个功能其实让我还蛮有兴趣。大厂的AI工具在不断公布新能力，同时个人开发者可以拿着现有工具，接着往下做一些自己的应用，普通技术爱好者也可以更多的手搓空间。

谁做了它？

这个最近暴涨Star的项目作者，自我介绍是前豆包桌面端产品经理，做过Teambition、飞书智能伙伴的设计师。项目更新记录仅从2026年10月6日开始，到现在也就半个多月。

做过桌面端AI产品的人，把AI的操作范围轻易延伸到了手机。

在日常工作中，我们真正要处理的事情，本来就不会整整齐齐待在电脑里。客户临时补的一句要求，某个群里的通知，手机App里的订单，现场拍下来的照片，东一块西一块。AI可以帮你写一份很漂亮的方案，前提是你先把这些东西找到。

一方面，桌面端正在大力往这方面延伸。

而另一方面，换个角度，让手机端也自己跑起来。

iPhone Use让人感兴趣的地方就在这里：除了电脑桌面端，AI又开始能自己去手机里取信息、执行操作。它面对的是你已经在用的那台手机，以及里面那些已有的App和登录状态。

说到这里，就绕不开API。API是软件留给其他程序调用的接口。App愿意开放哪些能力、允许谁调用，会影响外部工具能帮我们做到哪一步。没有相应接口的时候，人就只好进去点。

现在，如果AI也能进去点呢？

iPhone Use用到了WebDriverAgent，简称WDA。这是已有的iOS自动化工具。手机端负责执行操作，电脑上的助手读取页面信息，判断下一步怎么做，必要时再看截图找位置。这可以让部分原本需要手工完成的流程被自动执行，不必每一步都等App专门开放业务API。

当然，这里的“打通”，范围用的是我们自己的设备、账号和已有权限。账号看不到的信息，不能因为AI来了就看到了；需要登录、验证、本人确认的地方，也不会凭空消失。没有API和存在漏洞，是两回事。

但即使只做到这个程度，我觉得已经很有意思了。

不仅是“能控制手机”

先看一个很生活化的例子。作者公开展示过让AI在几个购物App里比较同款手表的价格。它还找到了拼多多账户里用积分兑换99元优惠券的路径。

这个例子有趣的地方，在于AI看到了账号里的优惠条件。平时我们自己查东西，也经常遇到类似情况：商品页一个价格，领券后另一个价格，到了结算页可能还有会员、补贴、积分。只看公开网页，很难替这个具体账号把账算完。

而AI可以。虽然截图里这次任务用了接近20分钟，但能自动化的找出一条优惠路径，已经很有价值了！

另一个案例是跨App整理消费记录：到微信、支付宝和信用卡App里看账单，准备汇总成一份消费表。下图是它正在读取和核对记录。

举个例子，加入未来为一次出差做准备，订单散在不同App里，地点在聊天记录里；或者给客户做报价，数量和型号改了几轮，最后一句修改还留在微信里。这些场景用iPhone use在手机上直接操作，会不会更方便？

至没有开放API的App

有没有可能，软件之间的合作方式在未来也可能会变。以前跨两个App做一件事，经常要等双方有接口、有合作，或者自己导出再导入。用户很难为了自己一个小需求，推动两家公司专门做一次对接。现在，多了一种从用户自己这边尝试连接的办法。

AI逐屏找信息，模型调用（当然页面换了、弹窗来了，流程就可能卡住），能通过界面完成。“没开放API”这件事，对某些任务而言，开始有了别的解法。

对于项目开发经验的泛行业工作者，应该能了解其中的分量。无数次的商务会谈，无数份合同的拉扯，最后api接通可能并无太多的实际使用。而现在呢？用做POC的成本下降率呢？

产品经理以前想到一个功能，接下来可能是排期、资源、需求优先级。现在呢？假如这类工具变得稳定，App会怎么应对？

拿购物来说，用户想知道哪件商品合适、最后要付多少钱。平台则还有推荐、活动页、停留时长这些考虑。假如以后越来越多的人让自己的AI先去比较，再把结果拿回来，平台要面对的场景，就大不同了。当我的AI愿意替我翻十几层页面，原来因为我懒得找而没用上的优惠，平台费力设计的用户路径，又会不会改变？

真想试？

目前这套主要面向Mac和iPhone用户，需要USB连接的真机、完整Xcode，以及Python、Node.js和npm等环境。Xcode要能支持手机当前的iOS版本，Codex版本需要Codex CLI

真想试？试试下面这段提示词。将GitHub上的 zhongerxin/iPhone-use 项目地址和需求一起发给你使用的工具。

请帮我安装iPhone Use，让当前助手通过USB操作我的iPhone。先阅读项目README和当前助手对应的安装说明，检查Mac、完整Xcode、Python、Node.js、npm和手机连接。优先复用已有配置，使用我自己的Apple账号和设备完成签名。遇到需要我登录、解锁、信任设备或开启开发者模式的步骤，告诉我具体怎么操作。连接就绪后，打开实时手机画面，并在计算器里验证12×34是否等于408。

如果让AI操作你的手机，你最想先交给它哪件事？