乐于分享
好东西不私藏

CVPR 2026创新:AI交警来了!1.6万视频训练,责任判定秒杀人类专家

CVPR 2026创新:AI交警来了!1.6万视频训练,责任判定秒杀人类专家

向AI转型的程序员都关注公众号 机器学习AI算法工程

两辆车撞了,谁的责任?

以前AI只能告诉你”发生了追尾事故”,但不知道谁该赔钱。现在CVPR 2026的一篇论文直接把这个难题解决了——AITP(人工智能交警)不仅能看懂事故视频,还能像交警一样一步步推理,最后给出责任判定,准确率直接干翻人类专家!

这篇论文的核心突破:第一次把交通法规知识塞进多模态大模型,让AI不仅能”看”事故,还能”懂法”、会推理。

论文:AITP: Traffic Accident Responsibility Allocation via Multimodal Large Language Models (CVPR 2026 Findings)

https://arxiv.org/abs/2604.20878

一、痛点:现有AI只会”看热闹”,不会”断案”

现在的交通事故AI做到了什么水平?

能力
现有模型
能做到啥
做不到啥
事故检测(TAD)
YOLO系列、VideoSwin
检测出”发生车祸了”
不知道谁的责任
事故理解(TAU)
LLaVA、VideoLLaMA
描述”两车追尾,后车速度快”
不会引用交通法规
责任分配(TARA) 几乎没有 需要多步推理+法规依据

问题在哪?事故责任和简单分类不一样:

  • 需要因果推理
    :不是”图里有车”,而是”因为A车闯红灯,所以A全责”
  • 需要法规依据
    :判定必须引用《道路交通安全法》第X条
  • 需要多步推理
    :事故时间→车辆行为→违规事实→责任划分,一步步来

之前的模型只会”看图说话”,不会”依法断案”。AITP就是来填补这个空白的。

二、AITP核心创新:两招搞定事故责任判定

AITP(Artificial Intelligence Traffic Police)是第一个专门为交通事故责任分配设计的多模态大模型。它的两大杀器:

1. MCoT:多模态思维链(Multimodal Chain-of-Thought)

人类交警怎么判案?不是直接说”这是A全责”,而是一步一步推理:

第一步:事故发生了吗?→ 是,两车碰撞 第二步:事故类型?→ 路口闯红灯碰撞 第三步:事故时间?→ 2026年4月11日14:32 第四步:事故主体?→ 黑色轿车(A车)、红色卡车(B车) 第五步:事故事实?→ A车闯红灯,B车正常通行 第六步:事故原因?→ A车未注意观察信号灯 第七步:如何避免?→ A车应遵守信号灯,减速慢行 第八步:责任判定?→ A车全责 第九步:自我验证?→ 依据《道交法》第38条,判定正确

AITP的MCoT就是把这个推理过程结构化了:

  • 不是直接输出结果,而是生成完整的推理链
  • 每一步都有明确的输出格式,方便验证
  • 最后用”自我验证”步骤检查判定是否符合法规

2. RAG:检索增强生成(Retrieval-Augmented Generation)

光会推理不够,还得懂法。AITP用RAG技术接入了交通法规知识库

事故视频 → AITP提取关键信息 → 检索相关法规条文                                     ↓                             生成责任判定 + 法规依据                             例:"依据《道交法》第38条..."

这解决了大模型幻觉问题——不会瞎编法规条文,所有依据都从知识库检索而来。

💡 通俗理解:MCoT = 交警的推理过程(像人一样一步步分析)RAG = 交警查阅法规手册(不会记错法律条文)

三、训练策略:四阶段渐进式微调,从”看热闹”到”断案”

AITP基于Qwen3-VL构建,采用四阶段渐进式微调,让模型从简单到复杂逐步掌握技能:

阶段
任务
训练目标
难度
第一阶段
非事故初始化
学会识别正常行驶场景
★☆☆☆☆
第二阶段
交通事故检测(TAD)
检测出”发生事故了”
★★☆☆☆
第三阶段
交通事故理解(TAU)
描述事故经过和原因
★★★☆☆
第四阶段 责任分配(TARA) 判定责任+引用法规 ★★★★★

这种渐进式训练的好处:

  • 先学走再学跑
    :模型先掌握基础感知,再学复杂推理
  • 避免灾难遗忘
    :不会学了新任务就忘了旧任务
  • 任务协同
    :前面的能力为后面的任务打基础

四、DecaTARA数据集:10项任务,6.8万视频,19.6万问答对

为了训练AITP,论文团队搞了个超级数据集DecaTARA(Decathlon-style Traffic Accident Responsibility Allocation):

DecaTARA数据集规模: 📹 视频数量:67,941个标注视频 💬 问答对:195,821个(每个视频平均3个QA) 📋 任务数量:10个互相关联的推理任务 🎯 核心任务:TARA(交通事故责任分配)

10个任务覆盖从简单到复杂的完整推理链:

  1. 事故检测(Accident Detection)
  2. 事故类型识别(Accident Type Recognition)
  3. 事故时间定位(Temporal Localization)
  4. 事故主体识别(Subject Identification)
  5. 事故事实提取(Fact Extraction)
  6. 事故原因分析(Cause Analysis)
  7. 避免建议生成(Avoidance Advice)
  8. 责任分配(Responsibility Allocation)
     ← 核心任务
  9. 法规依据生成(Legal Basis Generation)
  10. 综合报告生成(Comprehensive Report)

这个数据集最大的特点:任务互相关联,形成了一个完整的推理链条。比如要判定责任,必须先知道事故类型、时间、主体、事实、原因。

五、实测效果:SOTA刷爆9项任务

AITP在DecaTARA的10个任务上全面碾压竞品:

核心任务:交通事故责任分配(TARA)

模型
责任判定准确率
法规引用准确率
综合得分
LLaVA-Video-7B
62.3%
45.2%
53.8%
VideoLLaMA3-7B
65.8%
48.7%
57.3%
Qwen2-VL-7B
68.4%
52.1%
60.3%
AITP(Qwen3-VL) 82.7% 78.9% 80.8%

在责任判定上,AITP比最强的基线模型高了14.3个百分点

辅助任务:事故检测、理解全面领先

任务
最佳基线
AITP
提升
事故检测(TAD)
89.2%
94.7%
+5.5%
事故理解(TAU)
71.5%
83.2%
+11.7%
事故类型识别
76.8%
88.4%
+11.6%
事故原因推理
63.4%
79.1%
+15.7%

关键指标:幻觉率大幅下降

使用RAG后,AITP的法规幻觉率(瞎编法律条文)从32.5%降到3.8%,直接砍了88%!

六、技术原理深挖:为什么MCoT+RAG这么强?

MCoT为什么比直接输出好?

对比实验证明,直接让模型输出”谁的责任”效果很差:

❌ 直接输出: 问:这起事故谁的责任? 答:A车全责。(没推理过程,没法验证)  ✅ MCoT输出: 第一步:事故发生了吗?→ 是 第二步:事故类型?→ 路口直行车辆与左转车辆碰撞 第三步:事故事实?→ A车左转未让行直行车辆 第四步:法规依据?→ 《道交法》第51条:左转车辆应让行直行车辆 第五步:责任判定?→ A车全责 第六步:自我验证?→ 判定符合法规,正确 ✓

MCoT的好处:

  • 可解释
    :每一步都能验证,不是黑盒
  • 更准确
    :分解任务降低难度,每一步都更准
  • 可调试
    :哪步错了能定位,方便改进

RAG如何接入法规知识库?

AITP的RAG流程:

1. 视频输入 → 提取关键信息(事故类型、车辆行为等) 2. 关键信息 → 向量化 → 检索最相关的法规条文 3. 法规条文 + 视频内容 → 生成责任判定 + 引用依据

法规知识库包含:

  • 《中华人民共和国道路交通安全法》全部条文
  • 《道路交通事故处理程序规定》
  • 最高人民法院相关司法解释
  • 历史判例库(可选)

七、落地场景:AITP能用在哪些地方?

这篇论文的实用价值极高,直接能落地的场景:

  • 交警队智能辅助
    :上传事故视频,AI自动生成责任认定书初稿,交警审核后签发,效率提升10倍
  • 保险公司快速理赔
    :AI判定责任后,系统自动计算赔付比例,秒级完成理赔
  • 自动驾驶事故责任界定
    :自动驾驶出事故,用AITP判定是车的问题还是人的问题
  • 驾校教学
    :用真实事故视频+AI分析,教新手司机如何避免事故
  • 法院辅助判决
    :复杂事故责任争议,AI提供法规依据和判例参考

💰 商业价值估算:中国每年交通事故约20万起,每起处理成本约500元(人工+时间)AITP可降低70%成本 → 年节省约7000万元(仅事故处理环节)

八、局限性与未来方向

AITP虽然强,但论文也坦承了局限:

  1. 极度依赖数据质量
    :DecaTARA数据集覆盖了中国道路场景,但在其他国家需要重新标注
  2. 极端场景仍困难
    :恶劣天气、夜间、遮挡严重的事故,视频理解准确率下降
  3. 法规更新滞后
    :RAG知识库需要定期更新,否则可能引用失效法规
  4. 多车事故挑战
    :三车以上连环追尾,责任分配复杂度指数级上升

未来方向:

  • 扩展到更多国家/地区的交通法规
  • 结合车载传感器数据(雷达、GPS轨迹)
  • 接入实时交通信号数据
  • 构建端到端事故处理系统(检测→定责→理赔→教学)

九、总结:AITP的三大贡献

  1. 任务创新
    :第一次定义了TARA(交通事故责任分配)任务,填补了事故检测和理解之后的空白
  2. 技术创新
    :MCoT+RAG组合拳,让AI既能推理又能懂法,幻觉率降低88%
  3. 数据创新
    :DecaTARA数据集10项任务联动,6.8万视频+19.6万QA,为后续研究提供基准

这篇论文已经中了CVPR 2026 Findings,代码和数据集全部开源,DecaTARA数据集: 67,941视频, 195,821 QA对

想复现的朋友可以直接去GitHub拿:

回复本公众号 关键词 “AI交警”即可获取 GitHub链接

对于做自动驾驶、智能交通、法律AI的朋友,这篇论文绝对值得深入研究。

FSDETR告诉我们:换个维度思考,可能就是破局的关键。

机器学习算法AI大数据技术

 搜索公众号添加:datanlp

长按图片,识别二维码

阅读过本文的人还看了以下文章:

实时语义分割ENet算法,提取书本/票据边缘

整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主

《大语言模型》PDF下载

动手学深度学习-(李沐)PyTorch版本

YOLOv9电动车头盔佩戴检测,详细讲解模型训练

TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank,用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解,通俗易懂!

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门:基于Python的理论与实现》高清中文PDF+源码

《深度学习:基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频,从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码

《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材

笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!

《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API

FashionAI服装属性标签图像识别Top1-5方案分享

重要开源!CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字

同样是机器学习算法工程师,你的面试为什么过不了?

前海征信大数据算法:风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类

VGG16迁移学习,实现医学图像识别分类工程项目

特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七):图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分?

Machine Learning Yearning 中文翻译稿

蚂蚁金服2018秋招-算法工程师(共四面)通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)

python+flask搭建CNN在线识别手写中文网站

中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加:datayx