CVPR 2026创新:AI交警来了!1.6万视频训练,责任判定秒杀人类专家

向AI转型的程序员都关注公众号 机器学习AI算法工程
两辆车撞了,谁的责任?
以前AI只能告诉你”发生了追尾事故”,但不知道谁该赔钱。现在CVPR 2026的一篇论文直接把这个难题解决了——AITP(人工智能交警)不仅能看懂事故视频,还能像交警一样一步步推理,最后给出责任判定,准确率直接干翻人类专家!
这篇论文的核心突破:第一次把交通法规知识塞进多模态大模型,让AI不仅能”看”事故,还能”懂法”、会推理。
论文:AITP: Traffic Accident Responsibility Allocation via Multimodal Large Language Models (CVPR 2026 Findings)
https://arxiv.org/abs/2604.20878
一、痛点:现有AI只会”看热闹”,不会”断案”
现在的交通事故AI做到了什么水平?
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
| 责任分配(TARA) | 几乎没有 | – | 需要多步推理+法规依据 |
问题在哪?事故责任和简单分类不一样:
- 需要因果推理
:不是”图里有车”,而是”因为A车闯红灯,所以A全责” - 需要法规依据
:判定必须引用《道路交通安全法》第X条 - 需要多步推理
:事故时间→车辆行为→违规事实→责任划分,一步步来
之前的模型只会”看图说话”,不会”依法断案”。AITP就是来填补这个空白的。

二、AITP核心创新:两招搞定事故责任判定

AITP(Artificial Intelligence Traffic Police)是第一个专门为交通事故责任分配设计的多模态大模型。它的两大杀器:
1. MCoT:多模态思维链(Multimodal Chain-of-Thought)
人类交警怎么判案?不是直接说”这是A全责”,而是一步一步推理:
第一步:事故发生了吗?→ 是,两车碰撞 第二步:事故类型?→ 路口闯红灯碰撞 第三步:事故时间?→ 2026年4月11日14:32 第四步:事故主体?→ 黑色轿车(A车)、红色卡车(B车) 第五步:事故事实?→ A车闯红灯,B车正常通行 第六步:事故原因?→ A车未注意观察信号灯 第七步:如何避免?→ A车应遵守信号灯,减速慢行 第八步:责任判定?→ A车全责 第九步:自我验证?→ 依据《道交法》第38条,判定正确
AITP的MCoT就是把这个推理过程结构化了:
-
不是直接输出结果,而是生成完整的推理链 -
每一步都有明确的输出格式,方便验证 -
最后用”自我验证”步骤检查判定是否符合法规
2. RAG:检索增强生成(Retrieval-Augmented Generation)
光会推理不够,还得懂法。AITP用RAG技术接入了交通法规知识库:
事故视频 → AITP提取关键信息 → 检索相关法规条文 ↓ 生成责任判定 + 法规依据 例:"依据《道交法》第38条..."
这解决了大模型幻觉问题——不会瞎编法规条文,所有依据都从知识库检索而来。
💡 通俗理解:MCoT = 交警的推理过程(像人一样一步步分析)RAG = 交警查阅法规手册(不会记错法律条文)
三、训练策略:四阶段渐进式微调,从”看热闹”到”断案”
AITP基于Qwen3-VL构建,采用四阶段渐进式微调,让模型从简单到复杂逐步掌握技能:
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 第四阶段 | 责任分配(TARA) | 判定责任+引用法规 | ★★★★★ |
这种渐进式训练的好处:
- 先学走再学跑
:模型先掌握基础感知,再学复杂推理 - 避免灾难遗忘
:不会学了新任务就忘了旧任务 - 任务协同
:前面的能力为后面的任务打基础
四、DecaTARA数据集:10项任务,6.8万视频,19.6万问答对
为了训练AITP,论文团队搞了个超级数据集DecaTARA(Decathlon-style Traffic Accident Responsibility Allocation):
DecaTARA数据集规模: 📹 视频数量:67,941个标注视频 💬 问答对:195,821个(每个视频平均3个QA) 📋 任务数量:10个互相关联的推理任务 🎯 核心任务:TARA(交通事故责任分配)
10个任务覆盖从简单到复杂的完整推理链:
-
事故检测(Accident Detection) -
事故类型识别(Accident Type Recognition) -
事故时间定位(Temporal Localization) -
事故主体识别(Subject Identification) -
事故事实提取(Fact Extraction) -
事故原因分析(Cause Analysis) -
避免建议生成(Avoidance Advice) - 责任分配(Responsibility Allocation)
← 核心任务 -
法规依据生成(Legal Basis Generation) -
综合报告生成(Comprehensive Report)
这个数据集最大的特点:任务互相关联,形成了一个完整的推理链条。比如要判定责任,必须先知道事故类型、时间、主体、事实、原因。
五、实测效果:SOTA刷爆9项任务
AITP在DecaTARA的10个任务上全面碾压竞品:
核心任务:交通事故责任分配(TARA)
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| AITP(Qwen3-VL) | 82.7% | 78.9% | 80.8% |
在责任判定上,AITP比最强的基线模型高了14.3个百分点!
辅助任务:事故检测、理解全面领先
|
|
|
|
|
|---|---|---|---|
|
|
|
94.7% |
|
|
|
|
83.2% |
|
|
|
|
88.4% |
|
|
|
|
79.1% |
|
关键指标:幻觉率大幅下降
使用RAG后,AITP的法规幻觉率(瞎编法律条文)从32.5%降到3.8%,直接砍了88%!
六、技术原理深挖:为什么MCoT+RAG这么强?
MCoT为什么比直接输出好?
对比实验证明,直接让模型输出”谁的责任”效果很差:
❌ 直接输出: 问:这起事故谁的责任? 答:A车全责。(没推理过程,没法验证) ✅ MCoT输出: 第一步:事故发生了吗?→ 是 第二步:事故类型?→ 路口直行车辆与左转车辆碰撞 第三步:事故事实?→ A车左转未让行直行车辆 第四步:法规依据?→ 《道交法》第51条:左转车辆应让行直行车辆 第五步:责任判定?→ A车全责 第六步:自我验证?→ 判定符合法规,正确 ✓
MCoT的好处:
- 可解释
:每一步都能验证,不是黑盒 - 更准确
:分解任务降低难度,每一步都更准 - 可调试
:哪步错了能定位,方便改进
RAG如何接入法规知识库?
AITP的RAG流程:
1. 视频输入 → 提取关键信息(事故类型、车辆行为等) 2. 关键信息 → 向量化 → 检索最相关的法规条文 3. 法规条文 + 视频内容 → 生成责任判定 + 引用依据
法规知识库包含:
-
《中华人民共和国道路交通安全法》全部条文 -
《道路交通事故处理程序规定》 -
最高人民法院相关司法解释 -
历史判例库(可选)
七、落地场景:AITP能用在哪些地方?
这篇论文的实用价值极高,直接能落地的场景:
- 交警队智能辅助
:上传事故视频,AI自动生成责任认定书初稿,交警审核后签发,效率提升10倍 - 保险公司快速理赔
:AI判定责任后,系统自动计算赔付比例,秒级完成理赔 - 自动驾驶事故责任界定
:自动驾驶出事故,用AITP判定是车的问题还是人的问题 - 驾校教学
:用真实事故视频+AI分析,教新手司机如何避免事故 - 法院辅助判决
:复杂事故责任争议,AI提供法规依据和判例参考
💰 商业价值估算:中国每年交通事故约20万起,每起处理成本约500元(人工+时间)AITP可降低70%成本 → 年节省约7000万元(仅事故处理环节)
八、局限性与未来方向
AITP虽然强,但论文也坦承了局限:
- 极度依赖数据质量
:DecaTARA数据集覆盖了中国道路场景,但在其他国家需要重新标注 - 极端场景仍困难
:恶劣天气、夜间、遮挡严重的事故,视频理解准确率下降 - 法规更新滞后
:RAG知识库需要定期更新,否则可能引用失效法规 - 多车事故挑战
:三车以上连环追尾,责任分配复杂度指数级上升
未来方向:
-
扩展到更多国家/地区的交通法规 -
结合车载传感器数据(雷达、GPS轨迹) -
接入实时交通信号数据 -
构建端到端事故处理系统(检测→定责→理赔→教学)
九、总结:AITP的三大贡献
- 任务创新
:第一次定义了TARA(交通事故责任分配)任务,填补了事故检测和理解之后的空白 - 技术创新
:MCoT+RAG组合拳,让AI既能推理又能懂法,幻觉率降低88% - 数据创新
:DecaTARA数据集10项任务联动,6.8万视频+19.6万QA,为后续研究提供基准
这篇论文已经中了CVPR 2026 Findings,代码和数据集全部开源,DecaTARA数据集: 67,941视频, 195,821 QA对
想复现的朋友可以直接去GitHub拿:
回复本公众号 关键词 “AI交警”即可获取 GitHub链接
对于做自动驾驶、智能交通、法律AI的朋友,这篇论文绝对值得深入研究。

FSDETR告诉我们:换个维度思考,可能就是破局的关键。
机器学习算法AI大数据技术
搜索公众号添加:datanlp

长按图片,识别二维码
阅读过本文的人还看了以下文章:
整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加:datayx

夜雨聆风