[开源]免费的体感游戏软件

本项目由本人使用 deepseek开发,非搬运,无参考,放心使用,

如果你有好的算法，记得分享给我。目前就这样吧🥲

这套体感控制系统思路——用 iPhone 摄像头检测身体/手势/面部姿态，通过 UDP 局域网广播，由 macOS 接收端转换为键盘事件或游戏输入。

难点是识别精度算法，我的bug很多，找个厉害的ai写吧！以后再改版

posegame

用 iPhone 摄像头识别身体姿势、手势和面部表情，通过局域网 UDP 发送到电脑，转换为键盘/鼠标操作，实现用身体控制任何游戏。

## 系统架构

iPhone (posegame)                    macOS (keybridge-ui)┌──────────────────────┐    UDP     ┌───────────────────────┐│ 摄像头 → Vision 检测  │ ────────→ │ 接收动作 → CGEvent    ││ → 模板匹配 → 动作输出 │ 局域网    │ 注入键盘事件到游戏     │└──────────────────────┘           └───────────────────────┘

## 功能

### 核心

- **全身骨骼识别**：19 个关节点实时追踪，支持录制自定义姿势模板

- **手势识别**：左右手各 21 个关节点，支持石头剪刀布等手势

- **面部识别**：五官特征点，支持表情触发动作

- **差分录制**：先录放松姿态，再录动作姿态，自动提取有效变化关节

- **角度+距离+弯曲度**三重打分匹配

- **UDP 局域网传输**：手机和电脑无需数据线

### 贴纸玩法

- **脸谱模式**：贴图跟随面部移动旋转，甩头换图，双指缩放

- **前景贴纸**：静态贴纸，双指缩放 + 单指拖拽 + 旋转，可自由调整位置

### 接收端

- **keybridge-ui**：macOS 桌面应用，带 GUI 实时状态面板，支持多按键映射（按住/点按/开关/智能模式）

## 使用方式

1. iPhone 上安装 posegame

2. macOS 上运行 keybridge-ui（需在系统偏好设置 → 隐私 → 辅助功能中授权）

3. 确保手机和电脑在同一 Wi-Fi

4. 手机端设置页输入电脑 IP 和端口（默认 54321），点击连接

5. 右上角绿点表示连接成功

6. 录制姿势 → 绑定键盘按键 → 开游戏

## 项目结构

posegame/          iOS 端（SwiftUI + Apple Vision）keybridge-ui/      macOS 接收端（SwiftUI + CGEvent）

## TODO / 已知问题

- [ ] 识别算法精度有限，AI 生成的基础版本，匹配阈值未经严格调优

- [ ] 灯光差时关节点置信度下降，影响匹配率

- [ ] 手势识别对握拳等精细动作区分度不够理想（已加入弯曲度特征，仍需优化）

- [ ] 多人识别不支持

- [ ] 甩头换图检测偶尔误触发

- [ ] 等 AI 更强大了再回来优化算法

## 系统要求

- iPhone：iOS 17+

- macOS：macOS 13+

- 同一 Wi-Fi 局域网

## 开源协议

MIT License

## 免责声明

本项目由 AI 辅助生成，代码质量和算法精度均属业余水平。欢迎提 PR 改进，但不保证稳定性。