夜雨聆风浏览X，刷到一个叫 Clicky 的项目。
一个 macOS 菜单栏小应用，做的事情挺有意思——它能看到你的屏幕，听到你说话，然后像个坐在旁边的老师一样，用手指着屏幕告诉你该点哪儿。
它到底干了什么
Farza ，这个项目作者，之前做过一个挺有名的编程教学平台。他解决的问题一直很具体：怎么让学编程这件事更像是有人教你，而不是你一个人对着文档发呆。
Clicky 是这个思路的极端版本。
你按住 Control + Option 两个键，对着屏幕说话。语音被实时转录成文字，同时系统截一张当前屏幕的图，这两样东西一起发给 Claude 。 Claude 看完你的屏幕、听完你的问题，给出一句话回答。回答会被 ElevenLabs 转成语音读出来，就好像真有人在跟你说话。
但这还不是最上头的部分。
最上头的是： Claude 的回答里可以嵌入一段坐标指令，比如 [POINT:340,280:保存按钮:screen0]。收到这个指令后，屏幕上会出现一个蓝色光标，嗖地一下飞到那个位置。就像一个人站在你身后，伸手指着你的屏幕说——"点这儿"。
这个交互方式拆开看每个技术都不新鲜。截图、语音转录、 TTS 、大模型多模态，全是现成的。但把它们捏在一起的那一刻，确实让人震惊。
因为它的交互密度是碾压级的。你不需要切换窗口，不需要打字，不需要描述"我在看什么界面"——它自己看得到。 AI 行业卷了两年"多模态"，卷到最后发现多数产品还停留在你打字我回字的阶段。 Clicky 直接跳过了"描述问题"这个环节——它自己长眼睛。
三层技术栈，拆开看没那么复杂
整个系统的架构，我觉得可以用盖房子来类比。
最底下是地基——一个 Cloudflare Worker 。说白了就是一个跑在边缘节点上的代理服务，你的 Anthropic 、 AssemblyAI 、 ElevenLabs 三个 API 密钥都存在里面。好处是密钥不写死在客户端代码里，坏处是你得自己部署。
中间层是 Swift 原生的 macOS 应用，这是整栋房子的主体结构。用的是 macOS 14.2+ 的 ScreenCaptureKit 框架来做屏幕截图，用 NSPanel 做菜单栏下拉面板和全屏透明覆盖层。语音输入走的是 AssemblyAI 的 WebSocket 流式转录，几乎是实时地把你说的话变成文字。
最上面是 Claude 和 ElevenLabs 这两个"装修队"。 Claude 负责理解你的屏幕画面和语音问题，给出回答，必要时吐出坐标指令。 ElevenLabs 把文字回答转成自然语音。
每一层都不算重。 Worker 部署就一行 npx wrangler deploy， Swift 项目用 Xcode 打开直接跑。真正麻烦的是密钥配置——你得自己申请三个 API key ，而且 Claude 的 Vision API 按 token 计费，用多了确实肉疼。我是那种对付费极度敏感的人，每次看到 API 账单心跳都漏一拍。
不过话说回来，这种"把三四个现成服务粘成一个新东西"的做法，反而可能是今年最值得关注的产品形态。不在底层造轮子，在上层找组合的化学反应。搁在厨房里，这就叫——食材都一样，看谁会炒。
只有一个问题：门槛不低
这个东西目前只支持 macOS 14.2 以上。 Windows 用户也不用急，已经有人在 GitHub 上做了 clicky-windows 移植版，技术路线基本一样。还有个日本开发者做了个叫 minarai 的项目，灵感直接来自 Clicky ，说明这个方向已经开始有人跟进了。
但核心问题不是系统兼容性，是使用成本。
你得有 Claude 的 API 密钥（ Anthropic 的，不是 OpenAI 的），要有 AssemblyAI 的密钥做语音转录，还要有 ElevenLabs 的密钥加一个 Voice ID 做语音合成。三个密钥分别去三家公司注册、申请、充值，然后全部配进 Cloudflare Worker 里。
对普通用户来说，这个过程大概要折腾半小时到一小时。对有开发经验的用户来说，十来分钟能搞定。但对那种连 Python 都没装过的人来说——算了吧，这玩意儿目前跟你没关系。
Farza 本人也知道这个问题，所以他提供了用 Claude Code 一键配置的方案——你把一段指令粘贴给 Claude Code ，它帮你自动把整个流程跑完。有点"用魔法打败魔法"的意思。这年头了，用 AI 配置另一个 AI 的环境，画面确实有点赛博朋克。
为什么这个方向值得认真看
不是因为技术多牛——说实话代码量不大，核心逻辑几百行就写完了， Swift 写得也谈不上优雅，有些地方甚至有点糙。但它让我重新想了一遍"AI 应该怎么跟人交互"这个问题。
现在市面上 99% 的 AI 产品，交互模式都是一个聊天框。你打字，它回字。最多加个语音输入。本质上还是在用"对话"这个千年不变的方式跟计算机交互。
但 Clicky 做了一件不一样的事：它让 AI 进入了你的操作空间。它不是在"另一个窗口"里等你问问题，而是蹲在你光标旁边，看着你在干什么，该说话的时候说话，该指路的时候伸出手。
这个交互范式的变化，我觉得比技术本身更重要。
想象一下未来的场景：你打开一个从没用过的软件，不用看教程，不用搜 YouTube ，直接按住热键问"这个设置项是干嘛的"， AI 看着你的屏幕告诉你，同时光标移到那个设置项旁边。或者你在写代码遇到报错，不用复制粘贴到 ChatGPT 里，直接说一句"这个报错怎么回事"， AI 看到你的编辑器和报错信息，光标指向出问题的那行代码。
这不是幻想。 Clicky 今天就能做到。
说说局限
当然也不是没有问题。
三个 API 同时调用，延迟是真实存在的。按住热键说完话，到语音开始播放回答，中间大概要 3-8 秒。日常使用能接受，但如果你习惯了即时响应——就像习惯了六十帧的游戏突然掉到二十帧——会觉得有点卡。而且三家的网络状况你控制不了，哪个抽风了你都没辙。
隐私也是个绕不开的话题。你的屏幕内容会持续发送给 Claude API 。作者用的是 Cloudflare Worker 做中转，但你得自己决定信不信任这个方案。如果是公司电脑，我建议你别用——不是因为技术不安全，是因为你没法保证公司的合规部门跟你想法一样。他们可能连你用 ChatGPT 都要审批，更别说往 Claude 发屏幕截图了。整挺好，又一个"理论上安全、实际上背锅"的经典场景。
还有个比较现实的问题： Claude Vision API 的 token 消耗。每次交互都带一张截图，虽然可以压缩，但一天用下来，几十上百次调用，费用可能比你想象的要高。我粗算了一下，重度使用的话一个月可能要两三百块。说白了就是花钱请了个家教，但这个家教按秒收费，你犹豫一下都算钱。
怎么上手
如果你是 macOS 用户，想自己折腾一下：
去 GitHub 搜 farzaa/clicky， clone 下来。最省事的路径是用 Claude Code——clone 完之后在 Claude Code 里说"帮我跑起来"，它会自动引导你配置所有东西。
Windows 用户搜 tekram/clicky-windows，功能基本一致。
如果你不想折腾 API 密钥，可以先去 GitHub 的 README 看演示视频，感受一下那个蓝色光标指来指去的效果。光看别人用，也能理解这个方向为什么有意思。
