乐于分享
好东西不私藏

自动驾驶AI组件的FuSa与SOTIF融合评估框架

自动驾驶AI组件的FuSa与SOTIF融合评估框架

摘要:驾驶自动化功能的预期功能安全(SOTIF)与功能安全(FuSa)分析交叉领域,传统上会将质量管理(QM)组件(未从整车级危害分析与风险评估中分配汽车安全完整性等级要求的组件)排除在严格的安全影响评估之外。虽然QM组件通常不被归类为安全相关,但人工智能(AI)集成的最新进展表明,此类组件可能会引发与 SOTIF 相关的危害风险。遵守新兴的AI安全标准(如ISO/PAS 8800),需要重新评估这些组件的安全考量。本文研究了对AI组件开展整体安全分析与风险评估的必要性,强调其在安全关键型驾驶系统中部署时,尤其是在感知算法中,可能引发违反风险接受准则的危害。通过案例研究,我们证明即使是QM分类的组件,也可能出现AI驱动感知系统的缺陷,进而导致具有关键安全影响的非预期功能行为。本文将理论分析与实际案例相结合,主张采用基于FuSa、SOTIF和AI标准的综合方法,以识别并缓解AI组件中的风险。研究结果表明,修订现有安全框架以应对 AI 带来的不断演变的挑战至关重要,这能确保跨多个安全标准、覆盖所有组件分类的全面安全保障。

原文作者:Alireza Abbaspour,Shabin Mahadevan,Kilian Zwirglmaier,Jeff Stafford

原文标题:The Necessity of a Holistic Safety Evaluation Framework for AI-Based Automation Features

编译:猿东东,猿西西

01. 简介

随着高级驾驶辅助系统(ADAS)逐步控制关键驾驶任务,确保安全成为该领域最核心的课题。ADAS技术包括脱手驾驶、车道保持辅助、自适应巡航控制和自动紧急制动(AEB)等,运行在动态且不可预测的环境中,即便微小的安全缺陷也可能导致灾难性后果。随着这些系统向更高等级自动驾驶演进,其架构复杂度急剧提升,而人工智能(AI)组件(尤其是在感知和决策模块中)的快速普及,进一步加剧了这种复杂性。

AI在ADAS中的应用既带来机遇,也带来挑战。AI驱动模型虽能提升目标检测、语义分割、行人意图预测等能力,但也引发了新的安全问题。这些问题源于AI算法固有的不可解释性与随机性,可能导致系统行为不可预测或非预期。传统功能安全(FuSa)分析(ISO 26262 定义)聚焦系统性与随机硬件、软件故障,却并非为解决AI组件特有的性能限制与功能不足而设计。为弥补这一缺口,由ISO 21448规范的预期功能安全(SOTIF)成为关键框架。SOTIF超越传统FuSa,针对功能不足与可预见误用引发的危害。

尽管SOTIF具备实用价值,但行业内始终存在一种误区:基于FuSa分析归类为QM的组件,本质上不存在SOTIF相关危害。QM等级AI组件因被排除在安全关键分析范围之外,常被跳过严格的安全评估;但随着基于AI的组件(即便被定为QM等级)显现出引发功能不足的潜力,这一假设愈发站不住脚,尤其在AI感知系统中,模型预测的细微误差或训练数据偏差,都可能在真实场景中导致危害后果。系统理论过程分析(STPA)是一种系统理论危害分析方法,可在复杂社会技术控制结构中同时处理功能安全(FuSa)与预期功能安全(SOTIF)问题。该方法由麻省理工学院的Nancy G. Leveson研发,通过系统建模控制器、执行器、传感器、操作人员与运行环境,识别潜在不安全控制行为(UCA)、推导可执行安全约束并生成因果场景,因此被广泛应用于航空航天与汽车领域,用于全面识别SOTIF与FuSa相关危害。

随着AI安全标准ISO/PAS 8800的出台,AI驱动系统的保障实践有了更清晰的指引,但也为本就复杂的自动驾驶领域增添了新维度。本文探讨对QM等级AI组件开展SOTIF分析的必要性,通过基于AI感知系统的用例,强调针对QM等级AI组件修订安全保障方法的迫切需求。该分析对确保ADAS系统日益增长的复杂度与自主性,匹配可识别并缓解新兴风险的稳健方法至关重要。

本文对ADAS系统安全分析领域做出以下核心贡献:

– 从理论上证明对QM等级AI组件开展安全相关危害评估的必要性。

– 提供实际用例,说明QM等级AI组件如何引发SOTIF相关危害。

– 论证并举例说明AI安全必须覆盖QM等级AI组件的SOTIF维度。

– 通过解决以上问题,本研究倡导更包容、更稳健的安全框架,以适配现代ADAS系统不断提升的复杂度与自主性。

本文后续结构如下:第2部分分析FuSa与SOTIF的交互,强调汽车安全完整性等级(ASIL)的作用,并证明QM等级AI组件可能引发SOTIF相关危害。第3部分以L2 +级ADAS系统中的AI感知用例为例,展示QM等级AI组件如何导致安全风险。第4部分说明如何在安全关键型AI感知系统中,依据ISO/PAS 8800指南保障AI安全。第5部分讨论研究结果,重申对基于AI系统开展整体安全分析的必要性。第6部分总结全文并提出未来研究方向。

02. ASIL层面的FuSa与SOTIF交互

FuSa与SOTIF的交互对ADAS系统的全面安全至关重要。ISO 26262定义的FuSa解决系统性与随机故障引发的问题,ISO 21448规范的SOTIF则聚焦功能不足或可预见误用导致的危害。二者结合为危害识别与缓解提供整体方案。本节旨在说明:无论组件或子系统分配何种ASIL等级,即便被认定为QM,仍可能出现SOTIF危害。

(1)安全的功能安全维度

汽车安全完整性等级(ASIL)是FuSa的核心组成部分,基于严重度(S)、暴露度(E)与可控性(C)对风险分类。ASIL等级从A(最低)到D(最高),QM等级代表不属于ASIL框架的非关键组件。SOTIF分析常与这些等级交叉,尤其在识别无电气/电子故障时仍发生的危害。SOTIF危害的判定条件涉及可控性与严重度,针对可控性C>0且严重度S>0的场景。本节分析FuSa中归类为QM的组件,如何仍能引发SOTIF相关危害。例如,被定为QM的感知模块,在特定条件下无法正确识别道路目标,即便无软硬件故障,也会导致危害场景。这些案例说明,需在SOTIF框架下评估QM等级AI组件,确保潜在危害被有效识别与缓解。

汽车行业的功能安全(ISO 26262标准),旨在最小化电气/电子系统故障导致的不合理风险,通过管控车辆组件风险,避免人员伤亡或健康损害。根据ISO 26262,汽车行业将风险分为三个维度:严重度、发生概率(暴露度)、可控性,各维度进一步划分为不同定性等级,具体如下:

– 严重度(S)

S0:无伤害

S1:轻、中度伤害

S2:重度、危及生命的伤害(存活可能性高)

S3:危及生命的伤害(存活可能性低)

– 暴露度(E)

E1:概率极低

E2:低概率

E3:中等概率

E4:高概率

– 可控性(C)

C0:危害事件总体可控

C1:简单可控

C2:正常可控

C3:难以控制或不可控

通过严重度、暴露度、可控性的定性评估组合,可确定风险等级,对应ASIL等级。仅最高风险组合符合ASIL D,多数低风险组合无ASIL等级,归类为QM。举例说明:ASIL D(最高等级)涵盖安全气囊意外弹出、部分非预期减速或自主转向故障等风险;ASIL C涵盖部分非预期制动或加速故障;ASIL B涵盖前后视摄像头或刹车灯故障;ASIL A涵盖双侧尾灯故障。随着自动化程度提升,人类驾驶员的辅助可控能力下降,部分系统可能升级至更高ASIL等级。表1展示了如何通过严重度、暴露度、可控性确定ASIL等级。

表1:基于严重度、概率与可控性等级的ASIL判定表

(2)安全的预期功能安全(SOTIF)维度

预期功能安全是自动驾驶领域的核心概念,旨在确保系统在所有预期条件下安全运行。与传统FuSa主要解决软硬件故障风险不同,SOTIF聚焦功能不足、驾驶员可预见误用、性能限制,以及运行设计域(ODD)内触发条件与意外场景结合引发的危害。例如,SOTIF会解决传感器在特定光照条件下无法检测障碍物的问题。ISO 21448标准为实现SOTIF提供全面指南,强调在系统全生命周期开展危害分析、风险评估与安全措施实施的重要性。将SOTIF与FuSa融合,可显著提升自动驾驶汽车的整体安全性与可靠性。

根据ISO 21448标准,若潜在伤害的可控性(C)>0或严重度(S)>0,即构成残余风险,需进一步研究并明确残余风险的接受准则(如图1)。如表1所示,对FuSa而言,只要可控性与严重度均≤1,无论暴露度如何,ASIL等级均归类为QM。因此,若该区间内存在SOTIF危害(0<C≤1或0<S≤1),则无对应的FuSa危害。

图1:依据ISO 21448标准的SOTIF风险评估

(3)QM等级AI组件中SOTIF相关危害的识别

部分人错误认为QM等级组件非安全关键,与SOTIF无关。但所有QM组件(尤其是自动驾驶中涉及AI的组件),都必须仔细评估SOTIF相关性。特别是基于AI的QM组件,需额外审查与全面SOTIF分析,确保安全风险被妥善处理,即便其功能安全分类保持不变。

后续章节将展示存在SOTIF危害影响的QM等级AI组件用例,通过这些案例阐明本文主旨:SOTIF危害可影响FuSa定义下传统认为安全风险可忽略的组件。通过分析这些案例,强调重新评估QM等级AI组件的重要性,确保实施全面安全措施,同时解决FuSa与SOTIF危害。

03. 存在SOTIF危害影响的QM等级AI组件

本节以低级感知(LLP)系统为案例,说明QM等级AI功能如何关联SOTIF危害。具体分析L2级系统中被归类为QM等级AI组件的LLP,现代LLP设计普遍采用基于AI的算法,需额外遵守ISO/PAS 8800等标准。通过该示例,阐明QM等级AI组件的潜在SOTIF危害,强调处理这些危害以实现全面安全的重要性。

低级感知(LLP)与高级感知(HLP)的核心差异在于范围与复杂度。LLP负责原始传感数据的初始处理,如从视觉输入中检测边缘、纹理与基础形状,聚焦构成复杂解读基础的核心特征与模式。HLP则整合并解读这些基础特征,实现目标识别、场景理解与高阶决策,依托LLP的处理数据形成对环境的全面认知,支持目标分类、场景分析、上下文推理等复杂任务。简言之,LLP提供基础数据,HLP在此基础上实现对环境更深入、更有意义的理解。这些特征的精准检测与描述,对目标识别、场景理解等各类计算机视觉任务至关重要。图2以图形化方式展示ADAS中的感知流程,以及LLP与HLP的作用。

图2:高级驾驶辅助系统(ADAS)中低级感知与高级感知作用的图示说明

(1)LLP在ADAS中的作用

LLP在高级驾驶辅助系统中至关重要,为各类安全与自动化功能提供必要的基础数据。LLP处理摄像头、雷达、激光雷达的原始传感输入,检测并识别车辆、行人、交通标志等目标,这种初始目标检测对实时决策与防撞至关重要。此外,LLP通过持续监测与解读环境条件,确保车辆在安全限值内运行,助力确定运行设计域(ODD)。同时,LLP通过分析车辆当前位置、速度与轨迹,辅助预测自车路径,这对自适应巡航控制(ACC)、车道保持辅助(LKA)、自动紧急制动(AEB)等自动驾驶任务不可或缺。

重要的是,LLP常依赖功能安全标准中定为QM等级的组件。尽管这些组件传统上被视为非安全关键,但在感知任务(尤其是AI驱动系统)中的作用,要求对其进行细致评估。机器学习模型(尤其是卷积神经网络CNN)进一步提升LLP性能,可精准学习检测这些特征。

(2)机器学习在LLP中的作用

机器学习(尤其是CNN)极大推动了LLP领域发展。CNN通过卷积层应用滤波器,自动学习从图像中检测与提取低级特征,提升特征检测的精度与效率,这对目标识别、图像分割等任务至关重要。

支撑LLP中机器学习的众多软硬件组件均为QM等级,包括图像预处理单元、嵌入式AI加速器、为感知模型供数的数据流水线。尽管归类为QM,但其在ADAS(尤其是自动驾驶)安全相关感知任务中的贡献,需要特别关注。这些组件必须经过全面SOTIF评估,确保其在边缘案例或新奇场景下的行为不会损害系统安全。此外,机器学习模型可适配不同类型图像与环境,在医学影像、自动驾驶等多领域具备通用性,通过大规模数据集训练,模型性能与鲁棒性持续提升,可支持环境感知等实时应用。

(3)ADAS系统中LLP的SOTIF危害

为评估此类危害是否可接受,ISO 21448基于定性或定量阈值规定了接受原则,包括GAMAB(全球至少等效)、PRB(正向风险平衡)、ALARP(合理可行尽量低)、MEM(最小内生风险)。这些原则确保自动化功能的残余风险不高于合格人类驾驶员(或现有系统),且新增风险被净安全收益抵消。随后将这些全局接受准则分解为场景类专属验证目标——虚拟仿真、场地或道路测试的具体可测性能目标,为在定义的运行设计域内证明合规性提供统计置信度。通过将每个SOTIF危害(含QM等级)映射至定制化风险接受准则及对应验证目标,研发人员可构建严格的验证策略,提供充分证据,证明所有SOTIF相关风险已按ISO 21448要求处理。

依托该接受框架,通过因果树分析(CTA)分解危害,可得到可直接追溯至特定触发事件与运行场景的独立根因节点。将每个叶节点根因映射至对应场景类,团队可定义精准的基于场景的验证目标(如所需覆盖度、统计置信区间),并分配适配各危害路径的接受阈值。这种可追溯性确保缓解措施不仅解决底层系统缺陷,还可通过针对性仿真与道路测试验证,从而闭合危害识别与ISO 21448定量验证要求之间的循环。

(4)脱手驾驶

脱手驾驶(HOD)ADAS功能允许驾驶员在严格定义的运行设计域(ODD)内松开方向盘,由系统维持横向控制,例如仅限车道标线清晰、车速适中的分隔式高速公路。LLP子系统依托多传感器融合与检测算法,持续监测车道边界质量、道路几何形状等关键ODD参数,仅在对这些条件置信度较高时允许激活HOD。但若LLP错误判定环境满足ODD要求(假阳性),HOD可能错误激活,导致驾驶员在仍需手动转向干预时松开方向盘,该误差会损害安全并提升碰撞风险。

为缓解此类危害,研发人员需采用保守的门控逻辑,优先最小化ODD检测假阳性,并通过彻底的边缘案例测试与冗余传感器模态交叉验证。

我们针对HOD功能开展危害分析与风险评估(HARA),重点关注该功能的非预期激活。由于L2级系统中驾驶员仍承担车辆控制责任,相关安全目标归类为QM,无需安全状态。表2总结HARA结果。

同时,针对同一功能开展SOTIF识别与风险评估(SIRA),该分析识别出严重度S2、可控性C2的SOTIF相关危害,与HARA分类一致,表明即便为QM等级,仍存在潜在不安全场景。表3为SIRA详细结果。

表2:非预期激活场景的危害分析与风险评估(HARA

表3:错误ODD检测场景的预期功能安全分析与风险评估(SIRA)

为进一步探究该危害根源,开展因果树分析(CTA)(图3),说明潜在学习问题如何导致该风险。由于该场景在HARA与SIRA中均为S2/C2,ISO 21448要求开展残余风险评估(RRA)。本文假设初步残余风险估算超过规定的SOTIF接受准则,因此需额外SOTIF缓解要求,将残余风险降至定义阈值以下。

自动驾驶系统(ADS)需采用多样化感知程序,确保车辆在ODD地理围栏内运行。该示例说明:即便功能被定为QM(传统认为无安全关键问题),仍可能引发SOTIF危害,这挑战了“QM分类功能本质上无SOTIF相关风险”的普遍假设。

图3:与对向车辆或周边物体碰撞的因果树分析

04. LLP的ISO/PAS 8800安全维度

在安全关键系统背景下,AI的集成带来独特挑战,需要严格监管与标准化。ISO/PAS 8800标准为应对这些挑战提供结构化框架,建议当安全关键组件包含AI模型(尤其相关风险可直接关联AI系统行为或性能)时,遵循其指南。重要的是,ISO/PAS 8800作为补充标准,适配规范FuSa的ISO 26262与聚焦SOTIF的ISO 21448,不替代这些标准,而是将其适用范围扩展至AI驱动组件。图4以图形化方式展示汽车应用中判定何时适用ISO/PAS 8800的决策流程,强调AI对安全关键功能风险构成贡献时的相关性。

图4:确定ISO/PAS 8800标准的适用场景

后续小节将总结 ISO/PAS 8800标准的核心内容,探讨其如何解决AI特定安全问题,尤其是自动驾驶系统中安全关键应用LLP的场景。ISO/PAS 8800提供识别、分析、缓解AI组件风险的结构化方法,确保其集成至安全关键功能时不损害系统整体安全。

(1)AI安全生命周期

AI安全生命周期是基于V模型与系统工程原则的迭代流程,与ISO 8800各阶段对齐。流程始于构建安全保障论据与定义AI安全需求,随后开展严格的数据管理与模型开发,验证与确认确保系统在设计与真实场景中均满足安全预期,最后通过运行期间持续监测识别并处理新兴风险。该生命周期强调可追溯性、适应性与持续改进,维持AI系统全开发与部署周期的安全。图5展示ISO/PAS 8800提出的AI系统设计与验证确认(V&V)阶段。

图5:ISO/PAS 8800标准提出的AI安全生命周期中,AI系统设计与验证确认(V&V)阶段

(2)AI安全需求的推导

推导AI安全需求是研发安全AI系统的首要步骤之一。根据ISO/PAS 8800,建议通过功能需求、分配给AI系统的安全需求、输入空间定义、AI安全属性、AI系统安全分析、运行期间识别的功能不足,推导AI安全需求。

为此,本文以表3的SIRA分析为例,说明如何推导AI安全需求,展示如何将SOTIF系统需求用于ADS中地理围栏(ODD)检测LLP模块的AI安全需求推导,阐明安全属性、危害分析与缓解策略如何转化为可执行的AI安全需求。该示例并非穷尽所有情况,仅作为概念验证。以下步骤展示推导流程(如图6)。

图6:AI安全需求的推导流程图

步骤1:基线SOTIF需求

核心SOTIF需求为:

“自动驾驶系统需采用多样化感知程序,确保车辆在ODD地理围栏内运行。”

该需求将地理围栏验证责任分配给LLP模块,强调GPS、摄像头、雷达及可选激光雷达等多个独立传感器模态与对应感知算法,目标是持续确认车辆实时位置在验证的运行域内。

步骤2:基于AI安全属性推导

为细化该高层意图,将鲁棒性、可靠性、偏差/公平性三大核心AI安全属性应用于LLP ODD检测器。

– 鲁棒性:要求模型在输入扰动(如GPS漂移、摄像头噪声、中等天气)下仍能正确分类地理围栏。因此,在GPS位置误差±5米、摄像头帧模糊或有噪声、小雨或雾天气下,LLP边界检测精度下降需低于1%。

– 可靠性:要求在全时段与标称条件下性能稳定。因此,模块在昼夜驾驶中“ODD内/外”分类正确率需≥99%,连续运行每10小时错误分类不超过1次。

– 偏差与公平性:确保在ODD所有子区域(城市、郊区、乡村)与环境场景(干燥/湿滑路面)性能均等。LLP分类精度在任意场景间偏差不超过±2%,避免在验证域的特定段出现系统性性能下降。

步骤 3:基于安全分析推导

系统级安全分析(如STPA或故障树分析FTA)识别地理围栏边界误分类相关危害。尤其未检测到即将退出ODD(假阴性),可能导致ADS在非支持环境继续运行,引发不安全操作。基于该危害,推导以下需求:

“LLP需通过融合多模态传感器输出,以≥5Hz频率计算‘ODD内置信度’。若置信度瞬时低于0.80,ADS需在100ms内发起安全状态请求——触发驾驶员接管警报与可控减速。”

该需求确保不确定性突破指定阈值时,系统及时切换至安全降级模式。

步骤4:基于功能不足推导

功能不足源于AI系统在特定运行条件下失效,如传感器校准漂移或输入分布退化。衍生两项关键需求:

周期性传感器校准自检:“每10分钟,LLP需评估传感器校准。若摄像头重投影误差超过2像素或GPS漂移超过10米,系统需自动重新校准,或切换至冗余感知模式(如仅雷达地理围栏验证),再恢复完全自动驾驶。”

该措施防范累积漂移逐渐导致系统误判相对地理围栏的位置。

– 累积漂移监测:“LLP ODD检测器需持续对比车辆位置估算流与高清地图边界。若30秒内检测到超过3米的累积漂移,模块需警报驾驶员并减速至≤10km/h,直至校准恢复。”

通过监测长期偏差,系统可检测到单次自检可能未触发的场景(如传感器缓慢偏移),仍能确保安全降级。

步骤5:基于车载/车外措施推导

– 车载措施:为保障稳健的整车级执行,车载融合与降级模式需求明确单个传感器失效或退化时ADS的行为:

“LLP ODD系统需以至少10Hz频率融合GPS、摄像头、雷达数据。若任意模态超过200ms未提供有效数据,动态调整融合权重;若融合置信度超过100ms低于0.75,ADS需切换至‘降级安全模式’,限制最高车速并警报驾驶员接管。”

该措施确保单个传感器中断或损坏不会导致系统完全依赖退化或不安全的感知输出,而是自动适配并触发运行安全降级。

– 车外措施:车外措施聚焦通过云端同步保持最新地理围栏与地图数据:

“LLP ODD检测模块需至少每24小时与中央服务器同步高清地图/地理围栏数据。若24小时内未获取有效更新,ADS不得进入完全自动驾驶模式,直至获取新更新或离线地理围栏数据集(重叠度≥95%)验证地理围栏有效性。”

该需求防范地图信息过时或缺失导致地理围栏失效,确保车辆不依赖过时或不完整的运行域表示。

步骤6:整合需求清单

需说明该示例仅为概念验证,展示如何从安全需求推导AI安全需求,纳入更多分析细节后可补充更多需求。整合以上推导,得到基于LLP的ODD检测模块的精炼AI安全需求(如表4)。

表4:整合与精炼的需求清单

这些需求共同确保基于LLP的ODD检测模块满足原始SOTIF需求,同时解决AI特定安全属性、缓解已识别危害、弥补功能不足、整合车载与车外防护策略。遵循该结构化推导流程,ADS可持续验证运行域,及时检测并处理不确定性或传感器故障,在恶劣或动态变化条件下仍维持安全行为。

(3)AI系统安全分析

AI系统安全分析的核心目标有三:第一,检测可能损害AI安全需求的安全相关故障与AI错误;第二,分析这些故障与错误的根本原因;第三,支持制定合理安全措施,预防或缓解此类问题。这些措施可包括优化AI设计、方法、数据集生成,更新AI安全需求与相关研发流程。此外,安全分析输出通过细化或制定数据规范、数据采集、设计参数、测试协议的新需求,支撑AI安全需求的验证。可应用于AI模型的推荐安全分析方法包括:故障树分析(FTA)、失效模式与影响分析(FMEA)、系统理论过程分析(STPA)、事件树分析(ETA)、贝叶斯网络、危害与可操作性分析(HAZOP)。

(4)数据管理

数据对AI系统性能影响至关重要。ISO/PAS 8800为AI系统研发提出数据集生命周期,覆盖数据需求、设计、实施、安全分析、验证、确认、管理与维护等关键活动,目标是识别可能影响系统安全的数据集缺陷,建立相关数据安全属性,并通过全生命周期数据集安全分析提出应对措施。重点强调建立每个AI安全需求与对应数据集需求之间清晰的双向关联,确保数据质量与系统安全的可追溯性与一致性。文献详细阐述了自动驾驶应用中数据集管理的安全维度,FuSa与SOTIF需求可通过AI安全需求影响数据集需求,进而推导具体数据集要求。ISO/PAS 8800还列出支撑安全保障所需的数据相关工作产物,适用于采用监督、半监督或无监督学习的AI系统。

(5)验证与确认(V&V)

验证与确认通过双重流程确保AI系统满足定义的安全需求:验证内部安全需求的达成,确认AI系统集成至更大系统后有效实现这些需求。在AI系统验证确认阶段,评估独立性能,并开展AI模型及其前后处理模块的组件级与系统级测试。本文同时定义“AI系统安全确认”,区别于通用安全工程中的宽泛用法。

(6)监测与变更管理

部署后需持续监测AI系统运行状态,通过持续监测与风险管理维持AI安全,建立明确流程保障持续安全保障,依托安全保障论据中的措施,并可补充额外措施识别与处理运行期间的安全风险。此外,强调建立应对不可接受安全风险的响应机制,要求修改后的AI系统重新获批后方可重新投入运行。

05. 讨论

基于AI的感知模块分配QM标识,常引发“此类组件无安全关键危害、无需进一步审查”的误区。在传统SAE L2级系统中,这一假设因“故障时监督驾驶员会及时介入、缓解可控性问题”的预期而强化。但脱手驾驶(HOD)功能削弱了这一保障,驾驶员可能不清楚安全激活所需的特定ODD条件。本文HOD的LLP示例清晰说明:ODD检测假阳性可能在非支持场景错误激活HOD,引发SOTIF危害(严重度S>0、可控性C>0)——仅QM评估大概率会忽略该风险。

此类场景需要全面安全分析,包括自上而下方法(如CTA)、自下而上方法(如功能不足影响分析)与基于场景的验证,以挖掘潜在失效模式并制定针对性缓解策略。因此,任何AI感知组件(即便为QM等级)都必须开展完整SOTIF评估。若识别出SOTIF相关危害,AI组件必须遵守ISO/PAS 8800指南。ISO/PAS 8800规定严格的AI安全生命周期,明确如何推导AI安全需求、开展AI模型与数据集安全分析、维持AI安全需求、数据集规范与可测验证准则之间的可追溯性,确保不可接受风险不会渗入车辆运行环境。

为确保这些AI安全需求满足SOTIF风险接受准则,需将每项需求定量映射至危害发生率与系统总风险,闭合验证循环。首先为每项精炼需求分配可测性能指标(如边界分类错误率、安全状态触发延迟);验证期间,在广泛ODD测试场景中统计评估这些指标,估算地理围栏违规残余风险(如碰撞或不安全驶出);将实测风险与SOTIF目标(如每公里非预期事件≤1×10-6)对比,若实测风险超准则,迭代收紧AI安全需求(如将置信度阈值从0.80提升至0.85、提高融合模态更新频率)。这种连接需求推导指标、验证结果与SOTIF目标的反馈循环,确保基于LLP的ODD检测器在所有验证运行条件下,可验证地处于可接受风险区间内。

06. 结论

随着AI快速集成至安全关键型驾驶自动化系统,传统安全范式必须演进以应对新兴风险。本文证明:即便组件被指定为QM,若关联非零严重度与可控性等级(即S>0或C>0),仍可能构成重大安全风险。通过理论研究与实际案例,本文证明基于AI的感知系统(常基于QM假设研发)可能引发需要结构化风险评估的危害,强调应用ISO 21448的严格要求,以及在AI复杂度较高时依托ISO/PAS 8800提供的额外保障框架的必要性。

这些结果凸显:亟需采用整体、符合标准的安全分析方法,覆盖所有AI组件,无论其初始分类如何。通过对齐ISO/PAS 8800等新兴标准、整合AI特定风险评估方法,汽车行业可更好预判并缓解非预期功能行为。最终,修订安全框架以适配AI集成的现实,对确保现代自动驾驶系统稳健、端到端的安全保障至关重要。

免责声明:文中观点仅供分享交流,文章版权及解释权归原作者及发布单位所有,如涉及版权等问题,请您联系TechApe@yeah.net告知,我们会在第一时间做出处理。

相关推荐 

AUTOSAR时序分析模型构建方法及案例研究

符合ISO 26262的软件架构规划与建模模式

实现ASIL-C安全架构的解决方案建议

实现TARA和网络安全测试自动化的方法

辅助驾驶和自动驾驶感知性能评估的安全架构

汽车AI功能的概念性安全建模方法和安全论证

汽车系统网络安全风险分析方法

面向汽车安全的软件FMEA指南

汽车OTA更新的系统性威胁评估与安全测试

ROS2与AUTOSAR对比:自动泊车系统案例研究

自动驾驶汽车ODD描述方法及安全性验证