夜雨聆风学习资料网

ARTICLE · 1228453

专用测试软件要不要第三方测评?

专用测试软件要不要第三方测评?
质量监督 · 软件测评

专用测试软件要不要第三方测评?

从试验鉴定规定到GJB 2725A——六层法规标准逐级穿透分析

装备试验鉴定和检验验收中,经常会用到专用测试软件——自动测试系统(ATE)的测控软件、环境试验设备的控制软件、数据采集与分析软件等等。这类软件的作用是对装备进行检测、测试、评判,直接关系到试验结论和验收结论的可靠性。

那么——这类软件本身,要不要像装备软件一样接受第三方测评?答案不是简单的"要"或"不要"。正确的做法是:从上位法规到底层技术标准,逐层穿透——在六层法规标准框架中,找到每款软件的确切位置。

◆ ◆ ◆

分析框架:从顶到底的六层穿透

先把完整的法规标准框架摆在面前。专用测试软件测评要求的上位依据,有六个层级,从上到下约束力递减但要求渐细:

层法规/标准效力回答什么对测试软件的约束
①
《军队装备试验鉴定规定》
军事法规
试验鉴定管什么、怎么管
顶层规定"鉴定手段可靠"→鉴定用软件必须可信
②
GJB 2725A
国家军用标准
检测实验室怎么管测试手段
明确检测用软件须验证确认+非标方法须确认
③
GJB 9001C
国家军用标准
质量管理体系怎么保底线
测量软件"应确认"→底线要求,但不强制第三方
④
GJB 5000B
国家军用标准
软件开发过程怎么管质量
VV实践域要求系统化验证确认→独立性的"过程保障"
⑤
TE-BTBA系列/GJB 6921
指导性文件
鉴定定型文件怎么编
通过"配置项归属"间接约束→纳入则须测评
⑥
GJB/Z 141
指导性技术文件
测试怎么测
按风险分级给出测试深度建议

下面逐层展开分析。核心逻辑是:越往上层,要求越原则但效力越强;越往下层,要求越具体但强制性递减。最终判断所需测评深度时,要六层都走过,而不是只看其中某一层。

◆ ◆ ◆

第一层:《军队装备试验鉴定规定》——鉴定手段必须过硬

2022年2月10日起施行的《军队装备试验鉴定规定》,是装备试验鉴定工作的基本法规,共11章56条。它不直接说"测试软件要第三方测评",但它确立了三个核心原则,从根本上决定了鉴定用测试手段必须可靠:

原则一:"面向部队、面向实战"。试验鉴定的结论要服务于部队的实战化使用。如果做鉴定的测试软件本身不可靠,"面向实战"就是一句空话——你用不可信的工具去评判装备的实战能力,结论自然不可信。

原则二:全寿命周期五环节链路。规定构建了性能试验→状态鉴定→作战试验→列装定型→在役考核的工作链路。其中状态鉴定和列装定型两个环节都要对装备的技术状态进行审查判定——而用于判定的测试软件,其技术状态本身是否受控,直接决定了鉴定结论的有效性。

原则三:"改进试验鉴定工作模式"。规定要求"立足装备信息化智能化发展趋势,改进试验鉴定工作模式,完善了紧贴实战、策略灵活、敏捷高效的工作制度"——这意味着,信息化测试手段本身也要成为管理的对象,而不是管理的盲区。

🔑 对测试软件的启示:《规定》虽然没有"测试软件须经第三方测评"的明确条文,但其确立的"鉴定手段必须可靠"原则,在逻辑上必然推导出——用于鉴定结论的测试软件,其可靠性不能仅靠研制方自证,而必须接受独立验证。这不是条文的字面要求,而是制度精神的内在要求。

◆ ◆ ◆

第二层:GJB 2725A——检测实验室如何管测试软件

GJB 2725A-2001《测试实验室和校准实验室通用要求》是我国军用实验室能力认可的基础标准,完整采纳了ISO/IEC 17025的全部要求,并增加了军用实验室的特殊要求。这部标准是回答"鉴定用软件怎么管"最直接的制度依据。

它从三个维度约束了检测用软件的质量要求:

2.1 检测用软件的通用要求

GJB 2725A明确要求:实验室使用的检测软件,应当经过充分验证和确认,并形成文件化的确认记录。这里的"确认"与GJB 9001C中的"确认"一脉相承,但GJB 2725A的要求更具体——验证和确认的对象不仅包括软件的功能正确性,还包括其在实际使用环境中的适用性。

关键点:GJB 2725A的"确认",尽管没有明文写死"必须由第三方完成",但考虑到实验室本身需要向认可机构证明其检测能力——自确认的充分性需要面对外部评审的检验。如果实验室执行的是直接影响装备鉴定结论的检测任务,仅靠内部确认很难通过认可评审的严格审查。

2.2 非标准方法的确认要求

装备专用测试软件通常实现的是非标准检测方法——它不是通用仪器自带的标准化功能,而是针对特定装备定制开发的测试逻辑。GJB 2725A第5.4.5条明确规定:非标准方法在使用前必须经过确认,确认应包括"对方法性能指标的验证"。这里的"验证"和"确认"同样原则上应具有独立性和充分性——当软件实现的检测方法直接影响装备验收结论时,仅靠方法开发者的自确认,在实验室认可语境下是不够的。

2.3 第三方实验室的公正性要求

GJB 2725A第4.1.4条特别规定:第三方军用实验室必须通过正式文件证明其公正性,"禁止参与可能损害独立性的科研/生产活动"。这一条的直接适用对象是实验室本身,但它传递了一个核心价值——在军事检测领域,"独立性"是从制度上确保检测结果可信的前提条件。

把这个逻辑延伸到测试软件:如果一款测试软件由装备承制方自己开发、自己使用、自己得出验收结论——那么整个链条中缺乏独立的第三方验证环节,其结论的可信度天然不足。

🔑 对测试软件的启示:GJB 2725A是"鉴定用测试软件必须可信"这条原则最直接的制度表达。如果试验鉴定单位通过了GJB 2725A实验室认可——那么它使用的任何检测软件都必须经过系统的验证和确认,且确认的充分性要能经受认可评审。对于直接影响装备验收结论的软件,仅靠内部确认很难满足这一要求。

◆ ◆ ◆

第三层:GJB 9001C——"应确认"是底线,但不强制第三方

GJB 9001C关于监视和测量资源的规定(7.1.5条款),是分析这道题的常规起点:

① 测试软件是"监视和测量资源"。当软件的用途是对装备进行检测、试验、数据采集和结果判定时,该软件本质上是一种测量装置——和游标卡尺、频谱分析仪在质量体系中的地位相同。

② 测量资源必须经过确认。标准明确规定"应"确认——强制要求。"当计算机软件用于规定要求的监视和测量时,应确认其满足预期用途的能力。"

③ 确认应在使用前进行。"确认应在初次使用前进行,必要时再确认。"

🔑 本层结论:GJB 9001C的"确认"是底线——不经确认的测试软件,不能用于装备检测。但标准没有强制要求确认必须由第三方来完成——研制方可以自行组织确认。这是六层分析中要求最低的一层,但也是不可逾越的底线。

◆ ◆ ◆

第四层:GJB 5000B——验证确认要"系统化"

GJB 5000B-2021《军用软件能力成熟度模型》中,验证与确认(VV)是一个独立的实践域。对于测试软件的逻辑是:

① 验证(Verification)回答"软件做对了没有"——代码是否实现了设计、功能是否满足需求规格说明。

② 确认(Validation)回答"做的是对的软件吗"——软件在真实使用环境中是否达到了预期用途。

GJB 5000B的VV实践域明确要求验证和确认应按照已定义的规程执行,包括选择适当的V&V方法、建立V&V环境、执行同行评审、记录和分析结果。它特别强调基于可重用资产(如历史测试用例库)提升效率。

GJB 5000B虽然规定了VV的方法论,但没有明确要求VV必须由"第三方"来执行。它可以由开发组织内部独立于开发团队的质量保证人员来完成。但现实是:

     当专用测试软件直接决定了装备能否通过试验鉴定或检验验收时——该软件的验证和确认如果仅由开发方"自说自话",其客观性和说服力在监管视角下是不足的。此时,引入独立测评就从一个"可选加分项"变成了"实际必需品"——不是因为标准白纸黑字写"必须第三方",而是因为独立性的缺失会使VV结果的可信度大打折扣。    
◆ ◆ ◆

第五层:试验鉴定细化文件——通过"配置项归属"间接约束

军委装备发展部2021版试验鉴定指导性文件(TE-BTBA系列),主要针对装备本身的鉴定定型,对测试软件的约束不是直接的,而是通过"软件配置项归属"间接实现的:

① TE-BTBA-004-2021《装备状态鉴定工作指南》要求:状态鉴定中,对软件配置项应完成"软件鉴定测评"。这里针对的是装备交付软件本身——但如果测试软件是随测试设备一同交付部队的,则它应被纳入装备软件的鉴定测评范围。

② TE-BTBA-006-2021《装备列装定型工作指南》要求:列装定型审查中须审查"装备软件测评报告"。同样针对交付软件。

③ GJB 6921-2009《军用软件定型测评大纲编制规范》和GJB 2786《军用软件开发通用要求》——适用于纳入鉴定定型范围的军用软件。测试工具软件是否纳入,取决于它是否被项目定义为"鉴定定型文件中的软件配置项"。

🔑 本层结论:试验鉴定细化文件对测试软件的第三方测评要求,不是直接规定的,而是通过"软件配置项归属"来间接约束——如果测试软件被项目定义为需要鉴定的软件配置项,则必须测评;如果没有被定义,指导性文件不直接强制。这一层的分析结论,验证了第一层《规定》的精神——鉴定用的工具本身,应纳入鉴定管理的视野。

◆ ◆ ◆

第六层:GJB/Z 141——按风险分级的测试深度

GJB/Z 141-2004《军用软件测试指南》从技术层面给出了不同类型软件测试的深度建议。对测试工具软件,通过"重要性分级"的思路提供了判断依据:

测试软件类型对验收结论的影响建议的测试深度实操建议
直接判定合格/不合格
致命——软件错误导致误判
全V&V——等同装备软件
必须第三方测评
辅助数据采集与分析
重要——软件错误降低数据质量
配置项级测试+独立确认
建议第三方测评
通用工具/脚本
一般——仅提供效率提升
使用前确认即可
不需要
◆ ◆ ◆

第七部分:综合六层——"四把尺子"判据法

将六层法规标准分析凝练为一套可操作的判断框架——四把尺子,逐项衡量:

尺判断维度主要依据回答"是"→倾向需要回答"否"→倾向不需要
①
软件归属
试验鉴定规定TE-BTBA系列
软件是装备交付的组成部分,或随测试设备一同交付
软件仅用于试验/验收过程,不随产品交付
②
实验室属性
GJB 2725A
测试软件用于已通过2725A认可的实验室检测活动
软件用于非认可实验室环境或现场简易测试
③
结论依赖
GJB 9001CGJB/Z 141
软件的计算/判断结果直接决定装备合格与否
软件仅有辅助功能,合格判定另有独立手段
④
过程独立性
GJB 5000B
开发团队自测是唯一质量把关,无独立VV人员
已由独立于开发团队的人员/机构完成充分验证

实操建议:四把尺子中第②把(GJB 2725A实验室属性)是新加入的关键维度——如果试验鉴定单位已通过GJB 2725A认可,其使用的检测软件必须满足实验室认可对"检测软件确认"的要求。在这种情况下,即使第①③④把尺子的结论都是"倾向不需要",仅凭第②把尺子,也足以将测评要求从"开发方自确认"提升到"独立验证"的水平。

◆ ◆ ◆

第八部分:军代表监督五要点

第一,核实验室资质。先确认试验鉴定单位是否已通过GJB 2725A实验室认可。如已通过——则直接要求其按照2725A要求,对检测用软件出具验证确认记录。这是最具行政约束力的一道关。

第二,尽早定性归属。在研制早期就明确——测试软件是交付产品的一部分(随装备交付部队),还是纯粹的研试工具。前者必须纳入装备软件鉴定测评范围;后者按风险分级处理。

第三,分级施策。参照"四把尺子"对不同测试软件给出明确测评要求。最高级别(影响验收判据且用于认可实验室)——必须第三方测评。中间级别——至少独立VV。最低级别——使用前确认即可。

第四,盯住回归测试。测试软件每次版本升级——无论大小——都应重新执行与验收判据相关的关键测试用例。回归测试的覆盖范围和结论,应作为质量审签必查项。

第五,合同化落地。无论最终判断是需要第三方测评还是仅需内部VV,都将要求写入合同/技术协议——明确技术状态项归属、软件质量保证条款和交付物清单。没有合同约束的质量要求,最终都沦为一纸空文。

◆ ◆ ◆

九、结语

专用测试软件要不要第三方测评——在六层法规标准的框架下,答案从未像现在这样清晰:

分析层级核心要求是否强制第三方
《试验鉴定规定》
鉴定手段必须可靠→鉴定用软件必须可信
制度精神要求独立验证
GJB 2725A
检测软件须验证确认→非标方法须确认→公正性须保障
认可实验室场景下实质需要
GJB 9001C
"应确认"——底线要求
不强制第三方
GJB 5000B
系统化VV→独立性是过程保障
高风险场景下实质需要
TE-BTBA/GJB 6921
通过配置项归属间接约束
纳入配置项则必须
GJB/Z 141
按风险分级→直接判据类等同装备软件
直接判据类必须

《规定》定方向,2725A定规矩,9001C定底线,5000B定过程,TE-BTBA定范围,141定深度。六层穿透之后,答案自现。

一句话:试验鉴定用的测试软件,不是"要不要测评"的问题,而是"在哪个法规标准层级、以什么深度去测评"的问题。六层框架给出了坐标,四把尺子给出了尺度——剩下的,就是军代表的判断力和执行力。

参考文献

[1]《军队装备试验鉴定规定》(2022年2月10日施行)

[2] GJB 2725A-2001《测试实验室和校准实验室通用要求》(等同采纳ISO/IEC 17025)

[3] GJB 9001C-2017《质量管理体系要求》第7.1.5条

[4] GJB 5000B-2021《军用软件能力成熟度模型》验证与确认实践域

[5] TE-BTBA-004-2021《装备状态鉴定工作指南》

[6] TE-BTBA-006-2021《装备列装定型工作指南》

[7] GJB/Z 141-2004《军用软件测试指南》

[8] GJB 6921-2009《军用软件定型测评大纲编制规范》

相关学习资料