夜雨聆风学习资料网

ARTICLE · 1216861

CNAS软件测试实验室测量不确定度必须要做吗?为什么?具体怎么做?

CNAS软件测试实验室测量不确定度必须要做吗?为什么?具体怎么做?

软件检测实验室在准备CNAS认可或CMA资质认定时,都会遇到同一个问题:我们不做物理测量,也要评测量不确定度吗?

答案不是简单的"要"或"不要",而是看检测项目是否输出有量值精度要求的测量结果。本文我们从什么时候需要做测量不确定度评定,测量不确定度如何评定以及如何编写配套的相应文件这几个方面,把这件事讲清楚。

一、必须要做吗?分情况 

1. 准则层面:是强制要求 

CNAS-CL01《检测和校准实验室能力认可准则》7.6条对测量不确定度作出明确规定:

7.6.1 实验室应识别测量不确定度的贡献,评定时应采用适当的分析方法考虑所有显著贡献,包括来自抽样的贡献。即使某个分量可能很小,也要有证据证明它可以被忽略。 

7.6.3 开展检测的实验室应评定测量不确定度;当由于检测方法的原因难以严格评定时,实验室应基于对理论原理的理解或使用该方法的实践经验进行评估。 

配套文件 CNAS-CL01-G003《测量不确定度的要求》 是强制性要求文件。它把原本只适用于校准实验室的部分要求(如4.5、4.6条款)纳入通用要求,意味着检测实验室与校准实验室在这方面的要求基本拉平。其中明确:

检测实验室应分析不确定度对检测结果的贡献,应评定每一项用数值表示的测量结果的测量不确定度; 

结果不是用数值表示的(合格/不合格、阴性/阳性、基于视觉和触觉的定性检测),宜采用其他方法评估,例如假阳性、假阴性的概率; 

采用新方法时,应按新方法重新评定; 

对非标准方法、实验室自行研制的方法、超出预定范围使用的标准方法及修改过的标准方法做确认时,应包含不确定度评定。 

另外,在申请CNAS/CMA资质之前,至少需要完成一次测量不确定度评定。

2. 软件检测层面:看申请范围 

软件检测有其特殊性。多数软件检测项目的最终结论属于定性结论,质量特性、子特性的度量结果也多为定性描述,这类项目不要求进行不确定度评定,但鼓励实验室在可能的情况下了解结果的可变性。

真正适用的是涉及测量值、且对量值精度有要求的项目。典型场景是性能效率测试中的:

响应时间 

处理时间 

周转时间 

吞吐量 

以及涉及浮点算法或数据近似表示的个别情况。

以申请 GB/T 25000.51 资质为例:功能性范围通常不需要评定,性能效率范围则可能涉及。

定性结论不评,数值结果且要求量值精度的才评。

二、为什么必须做 

1. 不确定度本身就是测量结果的组成部分 

测量不确定度表征被测量量值的分散性。没有不确定度的数值结果是不完整的——它只说明了"测出来是多少",没说明"这个数有多可信"。

2. 它决定了结果能不能被采信和比较 

不确定度直接影响测量结果的可信性、可比性和可接受性,是衡量检测活动质量与结果准确性的重要参数。两个实验室给出同一个响应时间,若不确定度差异很大,结果的可比性就无从谈起。

3. 它是符合性判定的前提 

当检测结果需要与规范限值比较并作出"合格/不合格"判定时,不确定度会影响判定结论。此时必须考虑相关风险水平——错误接受、错误拒绝以及统计假设,并把判定规则形成文件加以应用。判定规则的确定可参考 ISO/IEC 指南 98-4 和 CNAS-GL015。

4. 什么时候必须报告 

满足下列情形之一时,实验室应在检测报告中报告不确定度:

不确定度与检测结果的有效性或应用有关; 

检测方法或标准有要求; 

客户要求; 

不确定度影响与规范限的符合性。 

三、具体怎么做 

第一步:识别不确定度来源 

可从"人、机、料、法、环、测、抽"七个维度排查。常见来源包括:

来源类别

具体示例

设备因素

仪器校准误差、重复性、设备漂移

人员因素

操作重复性、读数误差

方法因素

标准曲线拟合偏差、方法检出限

环境因素

温度波动、湿度波动

样品/抽样因素

样品均匀性、稳定性;抽样方法偏差(软件检测中较少涉及)

软件特有因素

浮点运算精度、数据近似表示、系统资源波动

对无法合理评估但可能有显著贡献的分量,可在证书或报告中注明"本报告的不确定度未包括该分量"。

第二步:建立数学模型 

把被测量与各输入量之间的函数关系表达出来,这是后续所有计算的基础。

第三步:确定各输入量估计值,计算测量结果 

第四步:评定各输入量的标准不确定度及敏感系数 

标准不确定度评定分两类:

A类评定:对观测列进行统计分析,通过重复测量计算实验标准差; 

B类评定:根据有关信息或经验估计概率分布来评定。 

第五步:合成标准不确定度 

各分量按方和根合成:

uc = √(u₁² + u₂² + … + un²)

第六步:给出扩展不确定度 

U = uc × k

通常取 k=2(对应约95%包含概率),特殊要求时取 k=3(约99.7%)。

第七步:编制不确定度分量一览表 

第八步:给出测量不确定度报告 

示例:性能测试中的响应时间测量,设备因素引入 u₁=0.001 s,人员操作重复性引入 u₂=0.0008 s,则

uc = √(0.001² + 0.0008²) ≈ 0.0013 s,取 k=2,U = 0.0026 s。

四、评定方法怎么选 

GUM法(方和根法):主要方法,依据 ISO/IEC 指南 98-3,即上文八步流程。 

蒙特卡洛法:基于概率分布传播的数值方法,通过随机抽样把输入量的概率分布传递到输出量。适用于GUM法条件不满足的情况,如输入量分布明显非对称、模型非线性较强。 

基于实践经验的方法:当检测方法的性质决定无法从计量学和统计学角度严格评定时,基于对理论原理的理解或实践经验,列出主要分量并作出合理评定。软件检测领域多数方法尚不明确整体不确定度如何评估、计算与表示,因此这一路径在实际应用中较为常见。 

五、报告与数值修约 

报告中应包含测量结果 y 和对应的扩展不确定度 U,通常用"y ± U(y 和 U 的单位)"或列表对应给出;也可用相对扩展不确定度 U/|y|(|y|≠0)的方式给出。同时应注明包含因子和包含概率,例如:

本报告给出的扩展不确定度是由合成标准不确定度乘以包含概率约为95%时对应的包含因子 k 得到的。

数值修约需满足:

扩展不确定度的数值不超过两位有效数字; 

最终报告的测量结果末位应与扩展不确定度末位对齐(使用相对扩展不确定度时除外); 

按通用规则修约,符合 GB/T 27418,详细规定参见 ISO 80000-1 和 GB/T 8170。 

对于不对称分布的不确定度、用蒙特卡洛法确定的不确定度或用对数单位表示的不确定度,可能需要用 y ± U 之外的方式表述。

六、落到管理体系:程序文件 

软件检测实验室一般需要制定《测量不确定度评定程序》,这是质量管理体系的组成部分,也是CNAS评审的重点检查内容。文件通常包含:

目的 

范围(适用哪些检测项目和活动) 

引用文件(CNAS-CL01、CNAS-CL01-G003、GB/T 27418、ISO/IEC 指南98系列、JJF 1059.1 等) 

术语和定义(测量结果、测量误差、标准不确定度、合成标准不确定度、扩展不确定度、包含因子、包含概率等) 

职责 

评定步骤 

评定方法(GUM法、蒙特卡洛法,A类与B类的具体要求) 

报告要求(报告方式、修约规则、k 与包含概率的表述) 

判定规则 

相关文件、记录文件(评定记录表、分量一览表等) 

编写时有四点值得注意:内容须与CNAS-CL01、CNAS-CL01-G003及相关标准逐条对应;步骤要清晰可操作,让检测人员能独立完成;明确软件检测的特殊性——写清楚哪些项目需要评定、哪些不需要;标准更新或方法变更时同步修订文件。

道普云,专注软件检测领域CNAS/CMA实验室建设,如需软件检测实验室测量不确定度评定具体项目操作案例、软件测试作业指导书等文件,可点击菜单获取。

相关学习资料