夜雨聆风
颌下腺切除术常用于处理颌下腺肿瘤和慢性涎腺炎。经发际线入路的微创内镜术式可以把切口藏得更隐蔽，也有助于减少部分术后并发症，但它给医生带来的操作条件并不轻松。术者需要在狭窄的内镜视野里，用较长的器械分离腺体、处理血管和导管，还要持续判断面神经相关结构与周围软组织的关系。
这类训练难点过去主要靠带教医生观察和打分。问题在于手术过程太长、细节太多，纯人工评估很难做到稳定、可重复，也很难把每一次停顿、回退和器械调整转成可比较的数据。
四川大学华西口腔医院团队在《npj Digital Medicine》发表的这项研究，把微创颌下腺切除术拆成可标注、可训练、可复核的内镜视频阶段，并建立了名为AI-miSMG的手术流程识别模型。研究者尝试把阶段识别结果用于手术流畅度分析和标注效率提升而不只是让模型能识别阶段。
图1：研究设计总览
图注：图1展示研究从手术视频采集、五阶段标注、AI-miSMG建模、外部验证，到手术流畅度分析和标注效率评估的整体路径。
01 /推文概览
核心任务：让模型看懂内镜微创颌下腺切除术视频中的手术阶段。研究团队把手术过程标注为建腔、定位、分离、检查、闲置五类。建腔对应建立内镜操作空间，定位对应寻找并处理面静脉等关键标志，分离对应切断血供和导管并移除腺体，检查对应冲洗、止血、确认切除完整性和放置引流，闲置对应换器械、调镜头、清理视野或术中暂停。
开发数据来自华西口腔医院在2022年7月至2024年8月收集的73段完整内镜颌下腺手术视频。原始视频经降采样后以1 fps进行逐帧标注，最终形成386,122帧开发集标注图像。验证集包含18段手术视频，来自华西口腔医院、南京市口腔医院、哈尔滨医科大学附属第一医院和南充市中心医院四个中心，共85,913帧标注图像。
研究做了标注质量控制。研究者先让两名有超过50例颌下腺手术经验的标注者，独立标注约10%开发集，也就是8例手术、42,035帧图像。两人一致性用Cohen's Kappa评估，结果为0.97。有争议的片段再由三名高年资内镜外科医生裁定。这个环节很重要，因为视频阶段识别的上限很大程度取决于标签本身是否清楚、可重复。
图2：数据集建立与五个手术阶段定义
图注：图2展示开发集和验证集的患者及手术特征、五个阶段的代表性内镜画面、标注示例，以及各阶段在数据集中的分布。
模型在开发集上的表现较好，平均准确率为0.96，平均精确率为0.89，平均召回率为0.88，平均F1值为0.89。在四中心验证集上，整体准确率为0.87。这说明模型已经能在不同来源视频上保持一定稳定性，但并不等于它可以直接泛化到所有颌面外科术式。
表1提示模型整体可用，但检查阶段召回率只有0.54，是后文讨论泛化和误判边界时需要交代的重点。
02 /核心创新
把单帧视觉和前后时序放在同一个模型里处理
这项研究的模型结构并不神秘，但放在这个场景里很实用。AI-miSMG由一个用于空间特征提取的ResNet50和一个用于时序建模的单层单向LSTM组成。ResNet50负责从当前画面里提取器械、腺体、血管和组织边界等视觉线索，LSTM则利用前面连续帧的信息，帮助模型判断手术阶段的先后关系。
这种设计适合内镜手术视频。微创颌下腺切除术中，不同阶段可能出现相似的粉红色软组织背景，血液污染、镜头移动和器械遮挡也会让单帧画面变得不稳定。模型如果只看一张图，很容易把相邻阶段看混。加入时序信息后，模型可以参考前几秒已经发生过的操作。例如面静脉已经处理、腺体已经暴露后，后续画面更可能进入分离阶段，而不太可能回到建腔阶段。
图3：AI-miSMG架构与开发集表现
图注：图3展示ResNet50与LSTM的组合方式、五阶段ROC曲线、阶段分类指标、混淆矩阵和Grad-CAM热力图。
图4：外部验证集表现
图注：图4展示本中心、机器人辅助手术和三家外院视频上的ROC曲线及分阶段指标，并呈现不同内镜系统和手术器械带来的画面差异。
用“闲置切换频率”观察工作流中断
论文分析了本中心9段内镜手术视频，每位医生3段，三位医生分别对应学习期、熟练期和精通期。
他们关注的指标是闲置阶段切换频率，也就是手术过程从操作阶段进入闲置阶段、再从闲置阶段回到操作阶段的次数。这个指标比单纯统计闲置时长更稳一些。内镜手术里会遇到镜头起雾、器械调整、光源变化等情况，单次设备问题可能造成较长停顿，但它通常只带来一次进入闲置和一次退出闲置。用切换频率来观察工作流中断，可以减少一部分设备因素对技能分析的干扰。
这组数据提示经验水平与工作流中断频率相关，但样本量只有9段视频，适合表述为探索性发现。
模型预测的技能相关指标和人工真实标注之间一开始存在差异。论文提到，模型有时会在建腔、定位、分离阶段里产生孤立的单帧闲置预测。研究者对这些单帧噪声做平滑处理后，Spearman相关系数从0.975升至0.992。这个结果可以说明模型预测有潜力成为工作流技能分析的参考代理指标，但还不适合写成已经可以独立评定医生技术水平。
图5：技能分层与标注效率分析
图注：图5展示不同经验医生的阶段占比、闲置切换频率、模型预测与真实标注的一致性，以及模型辅助标注带来的时间节省。
03 /技术应用猜想
更近的落点是视频标注助手
从转化路径看，这项技术较早可能落地在手术视频资料库建设中。论文中，纯人工完成一段视频标注平均需要94.00分钟。引入AI预识别后，标注者主要核对模型给出的阶段边界并修正错误，平均时间降至49.90分钟，下降46.91%。
这里需要加一个限定：这个省时结果来自本中心10段视频。论文也指出，本中心视频上模型准确率较高，可能放大了效率收益。换到外院数据时，模型错误更多，人工校正时间也会增加。所以更稳妥的说法是，AI-miSMG已经显示出作为标注辅助工具的价值，但跨中心效率还要继续验证。
培训反馈可以从“阶段曲线”开始
对临床培训来说，模型输出的价值可能不在于给医生贴一个分数，而在于把手术过程变成可以回看和讨论的曲线。比如某位年轻医生在定位阶段多次进入闲置，带教老师就可以把视频拉回对应片段，讨论是解剖标志不清、器械角度不合适，还是镜头暴露不稳定。这样的反馈比单纯说“动作不够流畅”更具体。
这也能降低文章的夸张感。当前研究只分析了三位医生、九段视频，还不能支持把闲置切换频率当成独立的技术等级判定标准。更合适的理解是，它提供了一种训练反馈线索，可以帮助带教者定位问题片段，专家评价仍然需要保留。
补充图7与补充图8：去除检查阶段后的敏感性分析
图注：这组补充图说明研究者检查了检查阶段和闲置阶段混淆对闲置切换频率的影响。结果显示，去除检查阶段后，闲置切换指标变化较小。
更远的方向是多模态手术质控
如果往后看，单一内镜画面只能告诉我们镜头里发生了什么。手术决策还会受到能量器械反馈、术中神经监测信号、麻醉监护数据、团队沟通和患者解剖差异影响。原文讨论里也提到，多模态数据整合会是下一代手术AI的重要基础。
因此，可以把AI-miSMG看作一个入口：先让模型稳定识别手术阶段，再把阶段时间轴和其他术中数据对齐。未来若要做术中提示或质控提醒，需要先证明模型在多中心、多设备、多入路视频中的稳定性，也要处理实时性、责任边界和医生工作流接受度。把它直接写成实时导航系统已经成型，会超出这篇论文的证据范围。
04 /延伸讨论
这篇论文最值得肯定的地方，是它把口腔颌面外科里较少被结构化利用的手术视频，变成了可训练的数据。和静态X光片、CT或病理切片相比，手术视频有明显的时间顺序，里面包含操作步骤、器械运动、组织暴露和术者停顿。AI-miSMG把这些信息压缩成五个阶段，为后续培训反馈和数据治理提供了一个清晰框架。
局限性方面：
开发集来自单一机构，且集中在经发际线入路的微创颌下腺切除术。耳后发际切口、改良Blair切口等其他入路会改变镜头角度、照明、组织呈现顺序和关键解剖标志暴露方式，模型在这些场景下可能表现下降。
外部验证表现并不平均。四中心验证集整体准确率为0.87，但检查阶段的召回率只有0.54。原文解释也很合理：检查阶段包含止血、冲洗、翻检、观察面神经等多种动作，器械有时只在视野边缘轻微移动，缺少像建腔阶段电凝钩、分离阶段颌下腺那样明确的视觉锚点。
Position阶段论文指出，Position最常被误分为Creation，也有部分Separation帧被误分为Position。这类错误不一定都是模型“看错”，也可能来自相邻阶段本身边界模糊。对于连续手术视频来说，阶段边界不像病理切片分类那样天然清楚，标注协议本身就是一种临床约定。
闲置切换频率不能覆盖完整的外科技能。它只来自内镜视野内可见动作，不能反映术者的术前规划、团队沟通、处理突发出血的判断质量，也不能直接代表患者结局。它适合辅助分析工作流流畅度，不能单独决定医生水平。
图9：检查阶段与闲置阶段混淆示例
图注：补充图9展示检查阶段容易被模型误判为闲置阶段的典型情况，尤其是器械位于画面边缘或几乎不可见的情况。
原文出处：
Ma, Z., Hua, Y., Que, L. et al. Intelligent surgical workflow recognition-based skill assessment for minimally invasive submandibular gland resection. npj Digit. Med. (2026).
— END —
