需求背景
银行对网点服务有一套很细的标准化要求:客户经理的仪容仪表(工牌、工装)、问候话术、服务动作(起立迎送、双手递接这类),都有明确规定。这套规范,是银行服务体验和品牌形象的底线。

问题是怎么查。现在主要靠人工抽检录像、神秘客暗访——一个支行一天的服务录像就有几十上百小时,人根本看不过来。结果就是抽检覆盖率低、判断主观、发现滞后,规范执行很大程度靠自觉,培训改进也缺数据支撑。
而现在,多模态大模型已经能"看懂"一段视频里发生了什么——谁、在做什么、穿没穿规范、说没说该说的话。过去做不了或太贵的视频质检,现在能客观、批量地做了。
痛点不在"有没有规范",在"规范有没有被执行、怎么客观高效地查、查完怎么帮人改进"。
客户背景
这次的客户是一家银行,有大量网点和客户经理,每天产生海量服务录像。
诉求很具体:部署一个 AI 模型,自动检查客户经理接待客户的服务录像,看肢体动作、问候交流、穿着佩戴是否符合银行规定。还特别问了两件事——这个项目 AI 怎么实现,以及部署和训练时间怎么规划。
有一条硬约束:银行数据,必须私有化部署,录像不能出行。
客户要的不是再招一批质检员,是一套能客观、全量、可追溯地看录像,并且能落到培训改进的 AI 质检系统。
解决方案
核心思路:在行内私有化部署一套"视觉 + 语音"的多模型流水线,把录像自动拆成"看动作、看穿戴、听话术"三件事,对照银行规范逐项打分,输出可复核的报告。全程在行内,录像不出行。
先看整条流水线:

服务录像 AI 质检的视觉 + 语音多模型流水线
一、看穿着佩戴、看肢体动作(视觉)
YOLO 目标检测:识别画面里的人、工牌、工装,查穿着佩戴是否规范 RTMPose 姿态估计:识别肢体动作,比如是否起立迎送、是否双手递接 ByteTrack 多目标跟踪:在录像里持续跟住同一个人,把一次完整接待串起来 Qwen3-VL 视觉语言模型(开源):负责"是否符合规范"这类需要语义理解的复杂判断
二、听问候交流(语音)
FunASR / Paraformer 语音识别:把接待对话转成文字 话术规范比对:对照银行的话术规范库,检查问候、礼貌用语、必说流程是否到位
三、对照规范、打分、出报告
把视觉和语音的结果对照银行的服务规范,逐项打分、标记不符合项、定位到具体时间点和片段,生成可复核的质检报告。关键一步:AI 只出疑似项,人工复核确认,再用于培训反馈——不直接给员工定性。
四、部署和训练时间怎么规划
这是客户特别关心的。我的建议是分三阶段,稳扎稳打:

部署与训练时间规划:POC → 试点 → 全量
POC 验证(6–8 周):用少量真实录像加银行规范,跑通核心链路,验证识别准确率,出可行性报告 试点上线(3–4 个月):选几个网点小范围上线,用真实数据持续微调模型——尤其是这家银行自己的着装、动作、话术规范——跑通"质检→复核→培训"的闭环 全量推广(6 个月+):扩展到更多网点和更多规范项,形成常态化质检
为什么时间主要花在中间:通用的视觉、语音模型开箱即用,能解决大半问题;但"是否符合这家银行的具体规范",得用真实数据去微调和打磨,这才是时间真正花的地方。
五、合规边界(银行 + 员工录像,这块尤其重要)
定位是培训质检,不是监控抓人:系统服务于服务质量提升和培训改进,不作为处罚的唯一依据;AI 出疑似项、人工复核,给员工的是改进反馈 员工知情合规:涉及员工的录像和数据使用,依法告知、合规处理 客户隐私保护:录像里有客户的人脸和业务信息,严格保护、最小必要、按需脱敏,绝不外泄 数据不出行:整套私有化部署在行内,录像和模型都不出银行内网,符合金融数据安全要求
正确姿势:AI 把"看录像"这件重活客观高效地做了,但定性、处理、对人的反馈,始终有人把关——系统是帮人变好,不是替人抓错。
市场前景
这套东西,远不止一家银行能用。

银行与服务业的盘子(数据:金融监管总局 / 中国银行业协会 2025)
先看盘子:全国银行网点超过 20 万个,九成以上已经智能化(智能柜员机覆盖),数字化基础早就铺好了。而银行业务离柜率已达 93.86%——大量业务搬到了线上,留在线下网点的,反而是更重"服务体验"的高价值接待,服务合规也就更值钱。
再看可迁移:这套"看视频查服务规范"的能力,凡是有仪容仪表、服务话术、流程合规要求的线下场景都能套——保险和证券营业部、政务大厅、医院导诊、4S 店、连锁零售和餐饮、营业厅、机场酒店等等。
主场景:银行网点——20 万+,服务标准化要求高、有预算、数据合规刚需强 可迁移:任何"靠人盯录像查服务规范"的线下服务业,都是同一套逻辑 本质:多模态大模型让"看懂视频"成本大降,过去太贵做不了的视频质检,现在能私有化、批量、客观地做了
一家银行的服务质检是起点。真正的盘子,是所有"服务靠规范、规范靠人盯"的线下行业,都到了能用 AI 客观质检的节点。
觉得有用的话,点个赞或者在看。点这里,可私聊。
夜雨聆风