夜雨聆风本项目由本人使用 deepseek开发,非搬运,无参考,放心使用,
如果你有好的算法，记得分享给我。目前就这样吧🥲
这套体感控制系统思路——用 iPhone 摄像头检测身体/手势/面部姿态，通过 UDP 局域网广播，由 macOS 接收端转换为键盘事件或游戏输入。
难点是识别精度算法，我的bug很多，找个厉害的ai写吧！以后再改版
posegame
用 iPhone 摄像头识别身体姿势、手势和面部表情，通过局域网 UDP 发送到电脑，转换为键盘/鼠标操作，实现用身体控制任何游戏。
## 系统架构
iPhone (posegame) macOS (keybridge-ui)┌──────────────────────┐ UDP ┌───────────────────────┐│ 摄像头 → Vision 检测 │ ────────→ │ 接收动作 → CGEvent ││ → 模板匹配 → 动作输出 │ 局域网 │ 注入键盘事件到游戏 │└──────────────────────┘ └───────────────────────┘
## 功能
### 核心
- **全身骨骼识别**：19 个关节点实时追踪，支持录制自定义姿势模板
- **手势识别**：左右手各 21 个关节点，支持石头剪刀布等手势
- **面部识别**：五官特征点，支持表情触发动作
- **差分录制**：先录放松姿态，再录动作姿态，自动提取有效变化关节
- **角度+距离+弯曲度**三重打分匹配
- **UDP 局域网传输**：手机和电脑无需数据线
### 贴纸玩法
- **脸谱模式**：贴图跟随面部移动旋转，甩头换图，双指缩放
- **前景贴纸**：静态贴纸，双指缩放 + 单指拖拽 + 旋转，可自由调整位置
### 接收端
- **keybridge-ui**：macOS 桌面应用，带 GUI 实时状态面板，支持多按键映射（按住/点按/开关/智能模式）
## 使用方式
1. iPhone 上安装 posegame
2. macOS 上运行 keybridge-ui（需在系统偏好设置 → 隐私 → 辅助功能中授权）
3. 确保手机和电脑在同一 Wi-Fi
4. 手机端设置页输入电脑 IP 和端口（默认 54321），点击连接
5. 右上角绿点表示连接成功
6. 录制姿势 → 绑定键盘按键 → 开游戏
## 项目结构
posegame/ iOS 端（SwiftUI + Apple Vision）keybridge-ui/ macOS 接收端（SwiftUI + CGEvent）
## TODO / 已知问题
- [ ] 识别算法精度有限，AI 生成的基础版本，匹配阈值未经严格调优
- [ ] 灯光差时关节点置信度下降，影响匹配率
- [ ] 手势识别对握拳等精细动作区分度不够理想（已加入弯曲度特征，仍需优化）
- [ ] 多人识别不支持
- [ ] 甩头换图检测偶尔误触发
- [ ] 等 AI 更强大了再回来优化算法
## 系统要求
- iPhone：iOS 17+
- macOS：macOS 13+
- 同一 Wi-Fi 局域网
## 开源协议
MIT License
## 免责声明
本项目由 AI 辅助生成，代码质量和算法精度均属业余水平。欢迎提 PR 改进，但不保证稳定性。
