躺在沙发上懒得找遥控器,刚从厨房忙完手里还沾着水,或者——只是单纯想体验一把"科幻电影式"的智能生活。这是「隔空智控家」想解决的事。抬手之间,全屋响应。 基于 MediaPipe 骨骼追踪与轻量化神经网络,配合 Home Assistant 深度集成,让每一次挥手都成为改变生活的力量。
智能家居发展了这么多年,大部分人的日常控制方式依然离不开这三样:
✦ 手机 APP —— 解锁→找应用→等加载→点开关,少说四五步
✦ 语音助手 —— "你好 XX,关灯",家人睡觉时总有点尴尬
✦ 遥控器 —— 永远在"上次用完随手放"的地方消失
说到底,最自然的交互应该是不需要学习、不需要介质、不用过脑子的。就像你跟人打招呼一样——抬手、挥动,对方就懂了。
启动「隔空智控家」,主控大屏左侧显示摄像头画面,叠加了蓝色的手部骨骼关键点和绿色连接线——MediaPipe 实时捕捉 21 个手部关键点。右侧信息面板展示当前识别的手势编号和置信度。下方日志区域记录每一次系统唤醒、动作执行和状态变化,与 Home Assistant 中控实时联动。


从截图可以看到,手势识别的置信度因手势复杂度而异——简单手势如"0"可达 99%,复杂一些的如"1"为 87%。系统支持同时识别多个手势,日志中清晰记录了唤醒→识别手势"2"执行 turn_on→识别手势"3"执行 press→超时待机的完整链路。
传统手势控制最让人头疼的就是——手势库是焊死的。
「隔空智控家」的"快速训练"模块把这个限制拆掉了。进入训练界面,左侧摄像头画面配有"手部检测"指示灯,右侧操作面板可以新建手势类别,并设置神经网络的迭代轮数(如 20 轮)和批大小(如 32)。


采集完成后,系统后台调用 Keras 神经网络开始训练。从训练日志可以看到,系统首先对原始数据做了清洗——过滤了 228 条脏数据,最终加载 373 个有效样本,按 8:2 划分为训练集和验证集。第 1 轮训练精度 0.5839,到第 4 轮已提升至 0.6711。

经过完整 20 轮迭代后,从第 14 轮到第 20 轮的输出可以看到,精度持续攀升,最终在训练集和验证集上都达到了 1.0000。训练完成后系统提示"模型训练并保存完毕,新权重已动态生效",不需要重启就可以直接用。

训练好的模型进入"模型管理中心"。当前活动模型保存于 2026-07-12,大小仅 104.1 KB,包含类别 1、2。下方列出了历史模型备份,支持多版本管理。最下方的"模型推理验证"模块可以实时看到当前手势的识别结果和置信度。

✦ 筛选 HA 实体 —— 输入标签快速过滤设备列表
✦ 绑定手势动作 —— 手势"1"→turn_off,手势"2"→turn_on
✦ 多设备联动 —— 一个手势同时控制灯、空调、插座

防误触方面,系统提供了三个可调参数:唤醒持续时长(手势需保持多久才激活,默认 1.0 秒)、激活窗口时长(激活后多久内允许执行控制,默认 5.0 秒)、控制停留时长(目标手势需保持多久才执行动作,默认 1.0 秒)。三个时间窗口配合下来,基本杜绝了"路过摄像头灯突然亮了"的尴尬。

✦ 下载 GestureHA.zip
✦ 解压到任意目录(路径不要带中文和空格)
✦ 双击 GestureHA.exe,控制台自动启动
✦ 浏览器打开 http://localhost:5000 进入控制面板
硬件方面,一台带摄像头的 Windows 电脑就行。所有推理在本地完成,视频数据不会离开你的设备,也不需要联网。
彩蛋:后期计划调用家庭监控摄像头,现在可以通过其他软件将监控的视频流转为电脑的虚拟摄像头,通过浏览器调用。
使用OBS软件虚拟摄像头转发监控摄像头的视频流即可,网上可以搜到很多教程,这里不做赘述,目前这一版本仅作验证和学习使用,如果大家有更好的应用场景,欢迎共同探讨!
隔空智控家 —— 让家,更懂你的手势。
无需接触,想控就控。抬手之间,就是全屋响应。

软件获取方式:
后台私信:“手势控制”
后台自动回复下载链接
感谢关注!
共同学习探讨!
夜雨聆风