乐于分享
好东西不私藏

桌面精灵Live2D AI 助手

桌面精灵Live2D AI 助手

DesktopFairy: Live2D AI 伴侣,会聊天还会做表情

 一、写在前面

桌面宠物,大概是很多程序员和二次元爱好者的共同记忆。
早年间是 QQ 宠物、Shizuku,后来是各种 Live2D 桌宠、Wallpaper Engine 动态壁纸。它们可爱,但大多「只会动,不会聊」——你写代码、读文档、改 Bug 的时候,它在一旁待机,却帮不上什么忙。
DesktopFairy想做的,是把这件事往前推一步:
> 一个常驻桌面最前方的 Live2D 角色,
> 既能像传统桌宠一样跟随鼠标、做动作换表情,
> 又能接入OpenAI 兼容的大模型,真正和你对话;
> 还自带划词助手区域截图,把 AI 嵌进日常桌面工作流。
如果你用的是 Mac,又恰好喜欢 Live2D,这篇文章值得看完。

二、它长什么样?

DesktopFairy 的主界面非常克制:
  • 透明悬浮窗,没有传统窗口边框,角色直接「站在」你的桌面上
  • 始终置顶,切换 Space、叠在其他 App 之上也能看到
  • 鼠标移上去,可以打开聊天、拖动位置
  • 菜单栏有托盘图标,随时显示/隐藏、打开设置
  • 内置一个默认的模型Hiyori,你也可以在设置页面修改成任意你下载的模型,比如下面我下载的:
整体观感接近「桌面看板娘」,而不是又一个占满屏幕的聊天软件。

三、核心功能一览

1. Live2D 角色:会动,还会「演」

DesktopFairy 支持:
  • 鼠标/光标跟随
  • 待机动作、随机动作
  • 手动切换表情
后续会加入拟人化反应——聊天时角色会根据对话状态自动换表情。
这一功能可在设置里开关。模型本身需要带有对应表情资源,效果才会完整——换一套表情丰富的 Live2D 模型,体验会立刻不一样。
关于模型版权:内置仅包含 Live2D SDK 官方示例 Hiyori。你也可以在设置里「浏览本地目录」,加载自己下载的 `.model3.json` 模型,请遵守相应授权协议。

2. AI 对话:云端或本地,你来选

DesktopFairy 的聊天能力走 OpenAI 兼容接口,支持流式输出、随时中断,并可配置 人设。
目前已验证可接入:
  • OpenAI 及各类兼容网关
  • Ollama 本地模型
  • vLLM / LM Studio 等本地推理服务
  • Hermes Agent(内置系统 Provider,见下文)
聊天窗口支持 Markdown 渲染、代码高亮、文件/图片附件,以及一键清除上下文——适合当作轻量桌面 Copilot,而不是重型 IDE 插件。

3. 划词助手:选中即问

这是 DesktopFairy 最「生产力向」的功能之一。
在任意 App 里选中文字后:
  • 快捷键模式(默认⌘⇧C):弹出小工具栏
  • 自动模式:选中即弹出(需授予 macOS 辅助功能权限)
工具栏内置多种动作:询问、翻译、解释、总结、搜索、复制等,可一键把选中文本送进聊天窗口——甚至支持自动发送。
读英文文档、看 Stack Overflow、整理会议纪要,不用再来回切 App 复制粘贴。

4. 区域截图 → 直接对话

macOS 原生 `screencapture` 区域框选,截图会自动作为附件预填到聊天输入栏。
遇到报错弹窗、UI 稿、图表,框一下就能问 AI「这是什么意思」「帮我看看哪里不对」。首次使用需在 系统设置 → 隐私与安全性 → 屏幕录制*中授权。

5. 系统托盘 & 无打扰设计

  • 关闭主窗口 =隐藏,不是退出(Dock 点图标可恢复)
  • 可隐藏 Dock 图标,只留菜单栏托盘
  • 跨 Space 拖动、全桌面空间置顶,都是为「长期陪伴」设计的细节
    6. 系统设置
  • AI 模型设置,支持配置多个 OpenAI 兼容的模型
  • 人设配置,目前支持简单的角色人设配置
  • Live2d 配置,支持自定义

四、亮点:Hermes Agent 一键接入

如果你已经在用 Hermes Agent :
https://github.com/NousResearch/hermes-agent)**(或同类 Agent Gateway)
DesktopFairy 内置了系统级 Provider,配置三步即可:
1. 在 Hermes 侧启用 API Server(如 `API_SERVER_ENABLED=true`),启动 gateway(默认 `http://127.0.0.1:8642/v1`)
2. DesktopFairy 设置 → AI 模型 → 启用 **Hermes Agent**,API Key 填 Hermes 的 `API_SERVER_KEY`
3. 选择模型 **hermes-agent**,开始流式对话
Tools / Skills 在 Hermes 服务端执行,DesktopFairy 负责桌面呈现与对话 UI;Live2D 拟人化反应与 Provider 无关,任意已配置模型都能驱动表情。

## 五、适合谁用?

人群

可能的使用方式

Mac + 二次元爱好者

桌面 Live2D 伴侣,自定义模型和人设

本地 LLM 玩家

Ollama / LM Studio 零成本对话

开发者

划词问代码、截图问报错、Hermes Agent 工具链

写作者 / 研究者

选中段落翻译、总结、扩写

目前仅支持 macOS(Electron 桌面壳 + macOS 原生行为适配)。Windows尚未覆盖,后续视情况支持。

六、快速上手

方式 A:下载安装包(推荐普通用户)

https://github.com/meimeitou/DesktopFairy/releases/download/v0.1.0/DesktopFairy-0.1.0-arm64.dmg

方式 B:源码运行(开发者)

需要 **Node.js ≥ 18**:
git clone https://github.com/meimeitou/DesktopFairy.gitcd DesktopFairynpm installnpm run dev
首次打开后,建议按这个顺序配置:
1. **设置 → AI 模型**:添加 Provider,填写 API Host / Key,检测连接
2. **设置 → 人设**:写一段 System Prompt,定义角色性格
3. **设置 → Live2D**:调整窗口大小、缩放、位置;可选开启「拟人化反应」
4. **设置 → 划词助手**:选择快捷键或自动模式,按需开启
然后 hover 主窗打开聊天,或选中文字试试划词工具栏。

七、技术栈(给开发者)

DesktopFairy 是一个典型的「Electron 壳 + 现代前端 + 原生能力扩展」项目:
  • Electron — 多窗口、托盘、IPC、全局快捷键
  • React 19 + TypeScript + Vite — UI 与构建
  • Live2D Cubism SDK (WebGL2) — 角色渲染管线
  • OpenAI 兼容 HTTP 流式 — 主进程代理,规避 CORS
架构上采用单页多窗口路由(`?window=main|chat|tip`),主窗负责 Live2D,聊天/设置共壳,划词弹出独立 Tip 小窗——模块边界清晰,也方便后续扩展 TTS、ASR 等能力。

八、路线图 & 已知限制

已具备: 透明主窗、Live2D 渲染、多 Provider 对话、划词助手、附件与区域截图、本地模型加载、Hermes 接入。
规划中 / 未完成:
  • TTS 语音播放与嘴型同步(设置项已预留)
  • ASR 语音输入
  • 会话持久化
  • 宠物拟人化
项目定位是「可运行的桌面 AI 伴侣」,而不是大而全的 Agent 平台——优先把桌面体验做扎实。

九、结语

DesktopFairy 想回答的问题很简单:
> 能不能让 AI 不躲在浏览器标签页里,
> 而是以你熟悉的 Live2D 角色形态,
> 真正「住」在桌面上,陪你工作、陪你说话?
如果你也在做类似尝试,或者只是想要一个好看的 Mac 桌宠 + 顺手的 AI 助手,欢迎 Star、Issue、PR,一起把它养大。
---
项目信息
  • 名称:DesktopFairy
  • 版本:v0.1.0
  • 平台:macOS
  • GIt仓库: https://github.com/meimeitou/DesktopFairy.git