|
|
|
|
CNAS-CL01-A019《检测和校准实验室能力认可准则在软件检测领域的应用说明》
|
|
|
检验检测机构应从组织和管理上保证检测活动的公正性，确保不利用被检测软件相关方的知识产权谋取利益。
|
|
如果实验室所在的组织从事软件测试以外的活动涉及软件开发，应有承诺采取措施确保不利用被检测软件相关方的知识产权牟取利益。
|
|
|
检验检测机构应制定人员录用、培训、考核、监督、授权和监控的文件化要求，持续确保人员能力满足要求，并保留相关记录。
|
|
（注：与CNAS-CL01文件中6.2.5条款基本一致）
|
|
|
第六条 检验检测机构应确保具有充足的技术人员，其数量、教育、资格、培训、专业技术背景、检测能力及经验等应与所开展的检测活动相匹配，符合以下要求：（一）软件检测人员数量不少于20人（含），仅从事嵌入式软件检测的检验检测机构，软件检测人员数量不少于10人（含）。（二）软件检测人员应具有软件检测相关专业的大专及以上学历；若专业不满足要求，应获得中级及以上软件检测相关专业技术职称且具有1年及以上软件开发或软件检测工作经历。（三）软件检测人员应熟悉相关法律法规、标准和规范，具备软件检测任务相适应的被测软件背景知识和软件检测技术，掌握检测方法和工具操作技能。（四）具有中级及以上软件检测相关专业技术职称或同等能力的软件检测人员数量应不少于软件检测人员总数的30%。本款所称同等能力指：软件检测相关专业博士研究生毕业，具有1年及以上相关领域软件检测工作经历；软件检测相关专业硕士研究生毕业，具有3年及以上相关领域软件检测工作经历；软件检测相关专业大学本科毕业，具有5年及以上相关领域软件检测工作经历；软件检测相关专业大专毕业，具有8年及以上相关领域软件检测工作经历。（五）从事软件检测项目管理、测试需求分析、测试策划和测试设计活动的人员，在满足第六条（二）、（三）要求的基础上，还应有2年以上软件开发工作经历或3年以上软件检测工作经历，并熟悉软件项目管理、开发、测试技术和要求。（六）从事方法验证、人员监督、人员能力监控、结果分析和报告审核的人员，在满足第六条（二）、（三）要求的基础上，还应有3年以上软件检测工作经历，并熟悉软件检测过程、测试结果评价和判定准则，以及测试标准、规范。（七）从事国家规定的特定检测活动的人员，应取得相关法律法规所规定的资格。
|
|
软件测试实验室的人员应满足以下要求：a) 从事软件测试人员，应具有计算机及相关专业的大专（含）以上学历、并获得国家或行业承认的软件测试技术专业培训合格资质或计算机软件相关专业的高级工程师，具备与软件测试任务相适应的被测试软件背景知识和软件测试技术。b) 各类人员其他应满足的要求包括：1）从事软件测试项目管理、测试需求分析、测试策划和测试设计活动的人员，一般应有 2 年（含）以上软件开发工作经历或 3 年以上软件测试技术工作经历；2）软件测试执行人员，一般应有 3 个月（含）以上软件测试技术岗位实习工作经历，并至少实习完成 1 个软件测试项目；3）负责软件测试结果评价（评估）、方法确认、质量核查的人员，以及软件测试报告审核人和批准人，一般应有 3 年（含）以上软件测试技术工作经历。c）实验室对软件检测人员进行的培训，应包括安全保密、知识产权保护以及软件测试有关的法规、标准。d）实验室应：1）至少具有 5 名软件检测人员；2）由熟悉软件项目管理、开发、测试及标准、规程、规范的技术人员负责组织实施软件检测任务。3）由熟悉软件检测过程以及软件测试标准、规范、规程，软件质量评价和软件测试质量评价的人员，负责对软件检测人员实施质量核查，审核软件测试过程和形成的软件测试工作产品是否符合相应的标准、规范；4）由熟悉软件测试需求、测试结果评价和判定准则的人员负责对软件测试输入和测试结果进行核查。
|
|
|
检验检测机构应具备与所开展的检测活动相适应的技术管理人员。技术管理人员应熟悉软件检测相关的法律法规、掌握检验检测机构管理知识、相关技术标准及风险管理方法。其中：（一）技术负责人应了解资质认定的相关要求、熟悉软件检测工作范围内的相关专业知识；获得副高级及以上软件检测相关专业技术职称且具有3年及以上软件检测工作经历，或具有同等能力。（二）授权签字人应了解资质认定的相关要求、熟悉授权范围内的相关专业知识，并具有与授权签字范围相适应的相关专业背景；获得副高级及以上软件检测相关专业技术职称且具有3年及以上软件检测工作经历，或具有同等能力。本条所称同等能力是指：软件检测相关专业大学本科毕业，具有8年及以上软件检测工作经历；软件检测相关专业硕士研究生毕业，具有5年及以上软件检测工作经历；软件检测相关专业博士研究生毕业，具有3年及以上软件检测工作经历。
|
|
（注：授权签字人在CNAS-CL01-G001 6.2.2条款中有相关要求，结合CNAS-CL01-A019 6.2.2 第3）条的要求，基本一致。）
|
|
|
检验检测机构的设施和环境条件，应确保测试数据和测试设备的完好、安全、稳定，具有与被测软件相适应的硬件环境和软件环境，具备满足所开展检测活动要求的检测区域，检测区域应与非检测区域有效隔离，防止非授权实体的进入。
|
|
实验室的设施和环境条件应确保测试数据和测试设备的完好、安全、稳定，测试场地一般应具备防静电、电源故障保护措施。如果软件测试在实验室固定场所以外进行，应有措施控制测试设施和环境条件满足测试任务要求，确保其测试记录及数据的完整和安全，防止非授权实体的进入。
|
|
|
在检验检测机构固定场所以外的测试环境实施软件检测时，应具有措施控制测试设施和环境条件满足测试任务要求，确保其测试记录及数据的完整和安全。
|
|
在实验室固定场所以外测试环境实施软件测试的过程控制和项目管理，应考虑在实验室固定场所以外测试环境与实验室受控环境的各种不同因素，采取相应措施形成文件使测试活动满足管理要求和技术要求。
|
|
|
检验检测机构应对影响检测结果的环境条件因素进行监控和记录。应采取措施防止恶意程序交叉感染测试环境，包括但不限于对防病毒软件及时升级并记录，以及在使用前对检测环境进行核查。当软件检测活动需要在固定场所以外进行时，应确保具备同等效力的防护措施，防止测试结果受到影响。
|
|
对结果有影响的因素，实验室进行监控和记录环境条件，应有防止计算机病毒、木马程序等事项不良程序交叉感染测试环境，如防病毒软件的升级及记录。
|
|
|
检测网络应与其他网络采取隔离措施。如果同时进行多个检测项目，应保持检测环境的有效分离，防止外部环境不可控因素对被测试软件和测试结果造成不良影响。当通过检验检测机构以外的网络实施远程测试时，应注意影响网络正常运行的环境条件。如测试环境与运行环境不一致，需要时应进行差异性分析，说明测试环境的偏差及对测试结果的影响。
|
|
应有措施保证软件测试项目使用的计算机及网络与该项目以外的计算机及其网络有效隔离，防止外部环境不可控因素对被测软件和测试结果造成不良影响。当通过实验室以外的网络实施远程测试时，应注意影响网络正常运行的环境条件。
|
|
|
国家或行业相关法规和标准对特定项目检测的环境和设施有规定的，应符合相应规定。
|
|
|
|
|
影响软件检测结果的设备包括测试工具、陪测软硬件以及支撑被测软件运行的软硬件。测试工具包括但不限于性能测试工具、安全测试工具、仿真测试工具等。对于租赁测试设备，检验检测机构应具有合法的许可和/或授权协议，并确保具有独立支配使用权。测量仪器应经量值溯源以满足使用要求。
|
|
软件测试设备可包括测试工具软件以及计算机系统、网络系统、适配器、测试输入和结果输出等硬件设备。当利用计算机或自动设备对软件测试数据进行采集、处理、记录、报告、存储或检索时，实验室应对这些测试数据处理有关的软件进行核实，并对测试环境中测试工具软件的计算和数据转移进行系统和适当的检查。实验室应规定程序保证测试环境中的所有测试软件应为正式软件或与客户约定的软件，且版本正确。注 1：正式软件指按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件。注 2：可运行一小组测试，验证测试工具软件（包括嵌入式测试工具软件配套的硬件设备）已正确安装。
（注：关于租赁设备在CNAS-CL01-G001 6.4.1a)条款中有相关要求）
|
|
|
检验检测机构应当对检测数据、结果的准确性或者有效性有影响的设备实施检定、校准或核查，包括商用、客户提供、开源和自研等工具；有指标要求的测试工具在投入使用前应对其使用范围进行检查；对客户提供、开源和自研工具投入使用前应进行确认，确保其适用性和安全性。在每个项目测试前应对检测设备进行核查，确保测试使用的检测样本集（如病毒样本库、网络攻击数据包、漏洞库等）为最新版本，以保证检测设备自身的安全性、持续适用性。
|
|
有指标要求的测试工具在投入使用前应对其使用范围进行检查。例如，允许 500 个用户的测试工具，在初次使用前，应采用适当的方法对其是否符合要求予以核查确认。
|
|
|
检验检测机构应对测试工具进行版本管理以及版本升级和配置控制，均应具有唯一性标识，防止误用。
|
|
实验室应对测试工具软件进行版本升级和配置控制，防止误用。
|
|
|
检验检测机构应建立和保存对测试结果有重要影响的仪器设备档案、操作规程、溯源计划和结果、使用和维修记录等。设备的档案应包括测试所用设备的配置及支撑软件等信息（如：设备类型、名称、生产厂商、版本号、用途与性能、启用时间、合同文件、授权文件、主要选件、技术文件及运行平台等信息）。
|
|
（注：CNAS-CL01 6.4.13条款有相关要求）
|
|
|
当利用计算机或自动设备对软件检测数据进行采集、处理、记录、报告、存储或检索时，检验检测机构应在投入使用前对这些与测试数据处理有关的软件功能进行确认，并对测试工具软件的计算和数据转移过程进行检查和记录。
|
|
|
|
|
检验检测机构应掌握开展检测活动所需的现行有效的国际标准、国家标准、行业标准/要求等规定的要求，具备相应的检测能力。
|
|
|
|
|
在引入检测方法之前，检验检测机构应对其能否正确运用这些方法进行验证，并形成验证报告。验证不仅需要确定相应的人员、设施和环境条件、设备等能够满足方法规定的要求，还应通过试验证明结果的准确性和可靠性，如使用已知缺陷的样本进行测试的检出率、多次测试结果的重复性、以及与其他方法或工具的比对结果，必要时进行实验室间比对。
|
|
（注：CNAS-CL01-G001 7.2.1.5条款有相关要求）
|
|
|
检验检测机构所采用的软件检测方法，一般包括测试标准、测试工具（硬件和软件）及其使用方法以及依托测试工具运行测试用例获得测试结果的相关程序，检验检测机构应在软件检测执行之前对软件检测方法进行技术评审和确认。
|
|
实验室所采用的软件测试方法，一般包括测试用例集、测试工具（硬件和软件）及其使用方法、以及依托测试工具运行测试用例获得测试结果的相关程序三要素。为了保证不影响软件测试方法的运用和测试结果，实验室应具有适当的软件测试方法使用指导书，有措施确保测试用例、测试脚本、测试数据和测试工具的一致、有效。
|
|
|
检验检测机构应具有适当的软件检测方法使用指导书，并有措施确保测试用例设计、测试数据选取、测试工具选择和配置等符合测试方法要求。检验检测机构应通过培训、技术咨询或技术指导方式确保能够正确运用选择的测试方法。
|
|
|
|
|
检验检测机构在接收检测样品时应详细记录被测试软件的程序、软件工程文档、数据等及其版本号，对样品进行唯一性标识，进行病毒检查并记录；在现场实施测试时，应采取必要的样品病毒检查措施，并进行风险告知。
|
|
实验室在接收被测软件时应详细记录被测试软件的程序、软件工程文档、数据及版本号，并进行唯一性标识。在接收测试样品时，应对样品进行病毒检查并记录。
|
|
|
检验检测机构应向客户提供充分的保证，确保测试工具或测试集不会将病毒或其他因素引入到属于客户的硬件或软件中。测试完成后，检验检测机构应按客户要求处置被测试软件，并保留记录。
|
|
实验室应向客户提供充分的保证，确保测试工具或测试集不会将病毒或其他损坏因素引入到属于客户的硬件或软件中。测试完成后，实验室应按客户要求处置被测试软件，并保留记录。
|
|
|
检验检测机构应规范检测工作流程，将软件检测相关的过程和活动以及测试项目管理相关的过程和活动的政策、制度、计划、程序和指导书制订成文件。（一）软件检测过程通常包括测试需求分析、测试项目策划、测试设计和实现、测试执行和回归测试、测试总结所开展的技术活动等，检验检测机构应对测试需求、测试计划、测试用例和测试结果等阶段成果进行评审。（二）检验检测机构应将测试环境、测试数据、测试阶段成果等纳入配置管理；测试质量保证应包括监督项目人员的测试工作、审核测试过程及形成的测试工作产品与标准、规范、过程文件的符合性；测试项目跟踪应包括控制测试计划的实施进度和风险等。
|
|
实验室应建立、实施和保持与软件测试活动范围相适应的管理体系；应将软件测试相关的过程和活动以及测试项目管理相关的过程和活动的政策、计划、程序和指导书制订成文件。
|
|
|
检验检测机构应保存软件检测技术记录，技术记录应覆盖实验室检测活动以及审查数据结果的日期和责任人。技术记录应包括但不限于：（一）测试输入项记录：客户提供的被测试软件清单、技术协议与软件检测相关的文件清单等；（二）测试技术文档：测试（回归测试）方案、测试需求规格说明、软件检测报告等；（三）测试环境记录：被测软件运行平台、陪测设备和测试工具的软硬件记录，及其对应的测试内容等；（四）测试执行记录：测试记录（日志）、测试问题单/缺陷报告等；（五）技术评审记录：对测试合同、测试输入项、测试技术文档、测试环境、测试结果等进行技术评审的记录。
|
|
实验室应保存外部提供测试服务的技术文档、测试记录和测试报告。适用时软件测试项记录应包括：a) 测试输入项记录：客户提供的被测试软件清单、与软件测试相关的文件清单等；b) 测试技术文档：测试（回归测试）方案、测试（项目）计划、测试需求规格说明、测试说明、软件测试报告的副本等；c) 测试环境记录：测试场地设施记录、被测试软件运行平台软件硬件记录、测试设备记录、测试工具软件记录、陪测的设备和软件记录等；d) 测试执行记录：测试记录（日志）、文档检查记录、软件问题单（报告）、源程序缺陷报告、测试问题单（报告）等；e) 技术评审记录：对软件测试合同、测试输入项、测试技术文档、测试环境、测试结果等进行技术评审的记录。
|
|
|
检验检测机构应将软件检测质量控制要求形成文件，控制软件检测的有效性，在证书有效期内应覆盖能力附表的所有参数。组织相同检测人员或不同检测人员留样再测、使用不同方法或不同工具重复检测等内部测试，标识技术偏差；参加实验室间的比对或能力验证，标识离群现象。
|
|
（注：在24年新发布的CNAS-CL01-G001文件中，有关于质量控制的内容较为分散，分布在多个条款中，如人员能力监控、结果有效性监控等）
|
|
|
检验检测机构应使用信息管理系统，对软件检测活动过程中的数据和信息进行管理，包括从合同/委托书签订、方案制定、样品接收与流转、测试设备核查、测试环境搭建、测试结果记录、测试报告编制审核到报告签发等检测业务流程，并定期做好数据备份。对系统的任何修改和调整在实施前应得到确认和批准,并保留相应记录。信息管理系统操作手册及系统生成的电子表格均应受控管理。当系统由外部机构进行管理和维护时,应对其进行监督和评价。
|
|
用于收集、处理、记录、报告、存储或检索数据的实验室信息管理系统，在投入使用前应进行功能确认，包括实验室信息管理系统中界面的适当运行。当对管理系统的任何变更，包括修改实验室软件配置或现成的商业化软件，在实施前应被批准、形成文件并确认。
|
|
|
本要求中软件检测相关专业是指电子科学与技术、信息与通信工程、控制科学与工程、计算机科学与技术、软件工程、网络空间安全、电子信息工程、智能科学与技术、网络工程、物联网工程、密码科学与技术、数据科学与大数据技术等理工类相关专业及其他行业软件检测关联技术领域的相关专业。
|
|
|
|
|
|
|
|
夜雨聆风
