夜雨聆风
AI 实践分享
我做了一个“薯片手 App”：不用碰键盘鼠标，照样能操作电脑
我做了一个“薯片手 App”：不用碰键盘鼠标，照样能操作电脑
大家好！我是爱折腾 AI 的胡叔！
前段时间，我在 X 上看到有人分享了一个很有意思的项目：利用摄像头识别手势，和电脑进行互动，甚至可以玩一个小游戏。
我觉得这件事挺有意思，就把截图保存了下来，然后让 Codex 帮我研究它背后的实现原理。顺着这个方向继续查，我发现，现在普通摄像头已经可以完成不少手势识别工作了。
简单来说，摄像头先获取手部画面，识别出手上的关键点，再根据这些点判断你做的是张手、握拳、捏合还是伸出食指，最后把这些动作转换成游戏操作，或者电脑可以理解的滚动、翻页和点击。
底层当然还涉及一些苹果系统的能力，但这里就不展开讲了。你可以先把它理解成：基于开源视觉技术，让摄像头具备了识别手势的能力。
为了验证这项技术不只是一个演示，我先做了一个可以实际游玩的 3D 小游戏。手的位置、手掌的方向、张开和握拳，都可以对应到游戏里的不同动作。那一刻我第一次感觉到，摄像头不只是用来开视频会议，它也可以变成一种输入设备。
在这个基础上，我又冒出了一个想法：能不能让它实现“拿捏”物体？
比如，在一个 3D 场景里，用拇指和食指靠近，把一个物体夹起来；移动手，物体也跟着移动；松开手，物体就放下。这样的交互，比传统的鼠标点击更接近我们现实中的动作，也更有意思。
于是，我开始把这个想法继续往前做，并给它起了一个名字：薯片手。
这个名字来由是：我喜欢吃薯片。有时会一边吃薯片，一边工作。但手上会粘有油。如果这时候还要去碰键盘和触控板，对我这种有洁癖的人来说，完全不接受。那能不能用别的方式完成一些基本的电脑操作？
目前，「薯片手」已经可以用张开手掌左右挥动来翻页，用严格的 OK 手势上下滚动，也可以在浏览器里完成前进和后退。
我还专门测试了点击功能。现在的方案是：先伸出食指，让黄色控制点跟随鼠标移动；指针稳定之后，再用拇指和中指捏合，触发一次点击。
点击当然是可行的，只是稳定性不如翻页和滚动。原因也很直观：点击需要同时满足位置准确、手指停稳、捏合动作清楚这几个条件，任何一个环节有一点抖动，都可能影响结果。相比之下，翻页和滚动对位置精度没有那么敏感，所以更容易做得稳定。
但即便如此，我依然觉得这是一件很了不起的事情。
因为我本身完全没有编程背景。最开始，我只有一张在 X 上看到的截图，甚至不知道这项技术具体叫什么。后来通过 Codex，我一步步查资料、理解原理、写出第一个 Demo，再不断测试、调整和修正，最后真的把自己的想法做成了一个可以运行的东西。
这件事让我意识到，AI 编程真正有意思的地方，不只是帮你写几行代码，而是让一个原本停留在脑子里的想法，有机会快速变成可以操作、可以测试、也可以继续改进的东西。
「薯片手」现在还远没有完美，点击的稳定性也还有提升空间。但至少，手势控制已经不再只是电影里的场景。它可以从一张截图开始，经过一轮轮尝试，最后变成一个真实存在的小工具。
我把「薯片手」这个 App 上传到了网上，如果你也对摄像头手势交互感兴趣，可以下载下来试试。
这就是我做“薯片手”的过程。但它现在仅适用于苹果 Mac 系统。如果大家有强烈需求，我可以再做一个 Windows 版本。但是有一个前提：电脑一定前置摄像头。
参考与链接
关键技术：
MediaPipe Gesture Recognizer / Hand Landmarker
技术页面：https://developers.google.com/edge/mediapipe/solutions/vision/gesture_recognizer
项目网站：
https://chiphand.huyee.art
GitHub 仓库：
https://github.com/HuYee2025/chiphand-macos
关于用手势控制电脑的功能，大家还有什么奇思妙想？欢迎在评论区留言。
👨💻
20+Brand Design AE to AI
☝️
欢迎加我为好友
注明来自“公众号”
🍻ㄟ😏/"
