ARTICLE · 1301693

AI质量工具链:从单点Agent到工程化落地

发布时间：2026-11-03 13:50:02 最近访问：2026-11-03 13:50:02

整理编辑｜TesterHome社区

在AI编码工具层出不穷、研发效率被大幅拉高的当下，质量侧不能只停留在单点提效，必须形成体系化的工程能力，才能跟上AI时代的研发节奏。

2026年8月，在深圳举办的MTSC2026第十五届中国互联网测试开发大会上，蚂蚁集团高级测开工程师柒明分享了题为《AI质量工具链》的实践案例，完整阐述了蚂蚁数科如何将AI从零散的单点工具，逐步建设成一套可落地、可复用、可嵌入研发流程、最终结果可被验证的完整质量工具链。

以下为分享者的观点：

PART 01 背景与挑战

一、核心矛盾：研发提速与质量后置的碰撞

AI时代质量领域的核心矛盾，是日益增长的代码产出速度，与不高效、不充分的质量保证能力之间的矛盾。

当下AI研发工具快速迭代，从代码生成到协同开发，研发全链路的吞吐效率被大幅拉高；但质量保障环节仍停留在传统模式，成为整条研发链路新的反馈瓶颈——代码产出速度越来越快，但质量校验依然卡在长链路的末端，稳定可交付的质量价值始终延迟兑现。

可以用一个更直观的交通类比来理解：研发端相当于车道直接拓宽了十倍，车辆通行效率大幅提升，但路口的红绿灯调度机制、事故快排能力完全没有同步升级，最终整条路的通行效率依然会被堵在质量这个“路口”。

这个矛盾在实际业务中感受非常明显。比如一个典型的国际化发布场景：周一刚完成国内版本的正式发布，要求周四就要上线西班牙语言版本。开发侧借助AI工具，两三天就能完成多语言代码的转换与适配；但到了测试环节，依然需要走完整的全量回归流程，人工校验翻译准确性、页面排版、功能兼容性，测试周期根本压不下来，直接成为版本交付的最大卡点。

二、质量领域的三大核心痛点

落到具体执行层面，传统质量体系的痛点集中在三个方面：

1.链路长、环节多，流转耗时严重

从需求、系统分析、测试分析、用例编写、用例执行到缺陷提交、测试报告，整条链路横跨多个角色，来回对齐、反复沟通的成本极高，多角色协同的效率始终无法充分释放。

2.个人经验差异直接放大质量风险

测试工作高度依赖专家经验与业务积累，不同测试人员的能力、经验、习惯差异很大，这种个人差异最终会直接演变为测试范围漂移、场景遗漏、反复返工；而宝贵的踩坑经验、专项知识又很难沉淀下来，新人上手慢、老员工经验带不走，知识传承成本极高。

3.工具孤岛林立，无法被AI高效消费

行业内沉淀了大量传统质量工具，但大多是独立建设的烟囱式系统，接口、数据格式都没有适配AI调用的标准；AI想调用现有工具能力，还要额外做大量适配工作，提效效果大打折扣，工具反而成了AI落地的阻碍。

三、升级的必要性与解决方向

过去质量流程的问题，还可以靠加人、加班来缓解；但AI研发时代，迭代速度成倍提升，提测质量参差不齐，质检又没有实现左移，验证环节已经成为整个迭代效率的核心卡点。叠加长期堆积的技术债、陈旧的质量流程范式，质量体系已经到了必须升级的节点。

这一轮升级的核心关键词非常明确：人机协同、质量左移、校验复用、面向AI友好的工具重构。

对应的整体解决方案分为三层：

经验资产化：把所有测试专家的经验、踩坑记录、规范流程，全部蒸馏沉淀为标准化的专业Skill，让个人经验变成组织资产；
难点专项突破：针对端到端UI测试这类传统方案解决不好的硬骨头，构建独立的专项Agent，啃下底层技术难题；
流程工作流化：结合具体业务场景，定义对应的标准化工作流Workflow，由工作流驱动全流程自动运转，而不是靠人来串联各个环节。

PART 02 场景型Agent建设：四大金刚

一、建设思路：从高确定性场景切入，先跑通价值

AI质量落地不能一开始就贪大求全，团队的策略非常朴素务实：先从确定性高、业务价值清晰、投入产出比明确的测试场景做起，紧贴真实业务寻找AI提效的切入点，先把单点价值打透，再逐步扩展。

适合优先落地智能体的场景特征

团队梳理了全量测试活动后，总结出四类最适合AI落地的场景：

规则明确、场景相对单一，判断标准清晰，不容易产生歧义；
可重复执行、偏机械性的工作，人工做耗时久、价值低；
智能体只作为“大脑”，配套完善的工具产品化能力，好用、易用是落地的关键；
能够融入现有质量平台生态，不做脱离流程的孤立工具。

落地面临的共性问题

同时团队也清晰认知到AI落地的局限：

模型幻觉客观存在，返回结果不幂等，同一条任务两次执行结果可能不一致；
工具生态融合度不足，多工具协同的效率还有很大提升空间；
通用Agent解决复杂业务问题的能力有限，深度场景必须做定制化改造。

基于以上判断，团队最终筛选并落地了四个核心场景型Agent，内部合称“四大金刚”：Web UI智能体、国际化检测智能体、AI用例生成智能体、配置巡检智能体。

二、Web UI智能体

1. 为什么优先做Web UI智能体

熟悉测试金字塔的同学都知道，UI测试处于金字塔最顶端，它最贴近用户视角、可解释性最高，但传统方案下效率最低、维护成本最高。

团队选择从UI测试切入，核心有两个现实原因：

业务刚需强：内部重UI的产品非常多，比如Agentar智能体平台、知识工程平台、云游平台，以及各类AI原生的Coding平台，都包含大量对话页面、管理配置页面，UI测试是必不可少的质量环节；同时对外交付、客户验收的场景很多，纯手工验证一遍耗时久、容易漏，页面问题还可能直接导致平台不可用，风险很高。
传统方案痛点足够痛：传统UI自动化编写效率极低，页面一迭代，大部分XPath定位就会失效，用例几乎要重写一遍，维护成本甚至高于新建成本，很多团队的UI自动化最后都慢慢荒废了；同时执行稳定性差，弹窗、加载、iframe都会导致执行失败，没有自愈能力。

而多模态大模型的成熟，给UI自动化带来了全新的方向——以Prompt驱动，从用例生成到脚本自愈都可以由AI参与，彻底打破传统规则驱动的瓶颈。

2. 核心判断：UI自动化从「规则驱动」走向「理解驱动」

传统UI自动化的三大顽疾，本质都是“规则驱动”的局限：

定位脆弱：重度依赖XPath/CSS选择器，页面结构一变，脚本直接失效；
场景复杂难描述：慢加载、iframe嵌套、弹窗干扰、多步骤跳转，很难用固定脚本稳定覆盖；
使用门槛高：依赖编程能力与定位技术，脚本可读性差，跨团队迁移成本高。

AI时代的解决方案，是把UI自动化从“写死脚本”升级为“理解意图”：

用自然语言或者标准化YAML描述测试目标，不用写具体的定位与操作代码；
基于ReAct执行内核，形成观察-规划-执行-反馈的完整闭环：AI先观察页面DOM结构、视觉截图和上下文信息，理解页面内容后动态规划可执行动作，操作完成后再获取结果反馈；如果页面发生变化，就重新观察、修正动作，实现闭环自愈；
底层配套浏览器执行底座，支撑DOM解析、视觉识别、证据留存、自愈修正等基础能力。

一句话总结：UI Agent的本质，是把质量意图转化为可执行的UI行为，同时沉淀执行证据与自愈能力的执行底座。

3. 核心能力与工作流

UI智能体的核心工作流遵循Observe（观察）→ Plan（规划）→ Act（执行）→ Feedback（反馈） 的循环，持续迭代直到任务目标完成。

任务输入：支持自然语言描述，也支持标准化YAML格式的任务定义；
页面观察：采集当前页面的截图、DOM结构、历史执行上下文，作为AI决策的依据；
AI规划：由大模型规划下一步具体操作，比如点击按钮、输入内容、滚动页面等；
浏览器执行：调用底层原子操作库，执行点击、输入、等待等动作；
结果反馈：更新执行状态，输出执行证据，判断是否达成目标；如果失败或未达成，则触发自愈重试。

三种能力模式

针对不同测试场景，UI智能体提供了三种能力模式：

分步模式：明确指定每一步操作，优势是执行稳定、结果可预期，适合需要沉淀为回归用例、重复执行的场景；保障同样的任务下次执行不走弯路，可复用性强。
遍历模式：自动探索页面URL与可点击元素，无需预设步骤，适合monkey测试、页面快速抽检、国际化页面遍历等场景，比如快速扫一遍所有页面有没有漏翻、有没有明显报错。
组合模式：支持叠加登录前置、表单填充等基础流程，自由组合出复杂的业务场景，覆盖完整的端到端链路。

底层沉淀了标准UI动作库，包含点击、输入、悬停、键盘操作、滚动、等待、断言、文件上传等十余种原子操作，覆盖绝大多数Web交互场景。

4. 执行工作流示例

以一个典型的遍历任务为例：用户只需要提供目标页面地址，以及遍历规则的YAML描述，系统会自动初始化浏览器、打开目标页面，先做环境感知获取页面上下文，再结合DOM信息与历史步骤，规划下一步操作、定位目标元素、执行对应动作；循环往复直到所有页面遍历完成，最终自动生成完整的测试报告。

报告中不仅包含执行结果，还附带每一步的截图证据、完整执行日志；如果执行失败，会自动触发重试与自愈逻辑，整个过程结果可追踪、失败可复盘。

5. 建设历程：三阶段逐步演进

UI智能体不是一步到位的，而是随着大模型能力与业务需求，分三个阶段逐步迭代升级，从分步可控到一句话任务，再到多智能体协同。

阶段A：分步化提示，依赖人工校验

早期大模型能力还不够稳定，团队采用了“人机各半”的策略：人工负责需求理解与高质量用例设计，再把用例转换为团队定义的标准化YAML脚本；大模型只负责理解脚本、规划执行、输出结果。这个阶段的核心是YAML分步拆解：

把传统的代码式UI脚本，转化为人人可读的结构化YAML表达，步骤和页面操作一一对应；
优势非常明确：一是可读可评审，哪怕不会写代码的测试同学也能看懂、能修改；二是版本可追踪，YAML文件可以直接纳入代码仓库，变更历史一目了然；三是稳定可靠，AI负责理解执行，搭配确定性的断言规则，执行稳定性有保障。

阶段B：一句话任务驱动，自主规划执行

分步模式稳定后，一线测试同学反馈：写YAML脚本还是有门槛，大家更希望“只说要测什么，不用管怎么测”。

于是团队升级了第二阶段：用户只用一句话描述完整任务目标，比如“登录系统，进入知识问答页面，打开联网搜索，提问杭州天气并校验答案”，AI会基于ReAct框架自主拆解步骤、规划执行、动态调整。

过程中AI可以自动应对弹窗干扰、加载等待、页面跳转、元素不可见等常见问题，配套多策略兜底、备用路径恢复、登录态缓存等机制保障稳定性；同时通过限制执行步数、多源定位校正、截图证据链留存等手段，应对过度规划、断言幻觉、定位偏移等常见AI问题。

阶段C：多智能体协同，全链路一条龙

单个UI Agent只能解决执行环节的问题，上游的测分、用例设计依然要人工完成。团队的终态目标，是从一份需求文档出发，多智能体协同完成从分析到报告的全流程：

团队主管/调度器：负责任务拆解与派发、全流程进度跟踪、状态同步；
需求分析师：理解需求文档，提炼核心要点，输出测试分析；
用例生成师：基于测试分析，生成完整的测试用例集；
UI执行助手：负责执行指定的UI用例，返回执行结果；
缺陷处理师：执行失败的场景，自动记录缺陷、留存证据；
报告汇总师：汇总所有执行结果，生成最终测试报告。

这个阶段的核心价值，是让UI能力从一个独立工具，变成了可编排、可复用、可追踪的质量能力节点，可以灵活嵌入到不同的质量流程中。

6. 配套平台能力

回放能力

UI智能体能力已经接入内部Album测试平台的UIWarden模块，提供完整的用例管理、步骤编辑、YAML生成与编辑、本地调试、执行回放、截图查看、报告下载等功能，执行进度与结果可以通过钉钉自动通知，实现了从用例管理到执行落地的全流程串联。

录制能力

团队还开发了浏览器录制插件：测试同学手工在页面上执行测试操作时，插件会自动采集全量操作数据，再通过大模型转换为标准化YAML脚本；脚本沉淀到平台后，经过少量调试与微调，就可以归档为可复用的回归用例。

这个能力极大降低了用例沉淀的门槛，老测试的操作经验可以快速转化为团队共享的数字资产。

三、国际化检测&翻译智能体

1. 为什么需要国际化智能体

国际化版本迭代快、时间紧，传统人工模式的痛点非常突出：

人工排查效率低、漏测多：要同时扫代码、查页面，大量硬编码的文本很难靠人工全部发现，经常上线后才发现漏翻；
分散翻译质量差：不同团队、不同开发各自翻译，术语不统一、语境不匹配，同一个功能前后翻译不一致，用户体验很差；
回归验证成本高：每次版本迭代都要全量回归多语言页面，问题定位与修复耗时长，占用大量人力。

针对这些痛点，国际化智能体的治理目标非常明确：漏测率下降、测试成本降低、翻译准确率提升，实现“检测×翻译×校验×沉淀”的全闭环，把复杂的国际化质量工作自动化、体系化，让每一次国际化发布都更可靠、更高效。

2. 能力模块：工具+模型结合，分阶段演进

整个智能体分为四大能力模块，分三个阶段逐步升级，从人工辅助走向全自动化。

代码扫描模块：对前端、后端代码执行静态扫描，自动发现i18n Key缺失与硬编码文本，是最早落地的能力；初期由人工手动触发，后续逐步集成到质量门禁，提交代码自动扫描。
AI翻译优化模块：通过OpenAPI调用多语言翻译接口，结合业务术语库与翻译记忆库，返回优化后的专业翻译结果；保障术语一致、语境准确，同时避免重复翻译。
UI智能执行器模块：从初期的智能monkey+人工编写UI自动化，逐步升级为全智能页面遍历，大幅提升页面覆盖率，自动采集全量页面截图，为后续校验提供素材。
AI大模型校验模块：基于采集的页面截图，自动校验各类国际化问题；从初期的简单校验，逐步升级为智能纠错、甚至自动修复。

整个体系从“扫描+人工复测”，逐步演进为“扫描-自动修复-部署-智能遍历-输出报告”的全自动化链路，越往后人工介入越少、效率越高。

3. 执行示例与校验能力

以官网页面的国际化校验为例：智能体先按深度优先策略遍历页面所有可点击控件，每进入一个新页面就自动截图，页面变更后自动回退，确保覆盖所有页面节点，不会出现“进去出不来”的情况。采集到的全量截图，会送入不同的校验器自动检测：

图片漏翻校验器：检测图片中是否包含未翻译的中文内容，避免图片里的文字漏翻；
文字重叠/溢出校验器：校验多语言文本下，是否出现文字重叠、溢出控件、排版错乱等问题；
自定义校验器：支持自定义规则，比如检测特定报错码、异常图片、品牌文案错误等场景。

四、AI用例生成智能体

1. 能力定位：重质量而非数量

用例生成的核心目标，不是简单地“生成大量用例”，而是把质量资产、专家SOP、历史踩坑经验转化为高质量的结构化用例，真正提升用例覆盖度、减少漏测、消除个人经验差异。团队设定的目标非常务实：用例采纳率>70%，用例编写提效30%。

它解决的是非常实际的业务痛点：

外包测试人员能力参差不齐，用例设计遗漏多，老员工要花大量时间批改；
测试人员存在业务知识盲区，复杂业务场景的用例考虑不周全，可维护性差；
每个人写用例的格式、颗粒度都不一样，标准不统一，后续没法对接自动化。尤其在研发提速、测试角色左移的背景下，开发同学也需要写用例，但他们不具备专业测试设计能力，用例生成工具就成了必不可少的支撑。

2. 产品能力：多源增强，标准产出

多源知识增强

用例生成不是凭空生成，而是基于多维度的知识输入做增强，保障用例质量：

业务知识：PRD需求文档、系统设计文档、测试分析文档、业务标签等，补全业务上下文；
通用知识：通用测分模板、各类型产品的用例规范、资损分析框架、专项测试要点等；
支持对接语雀、内部知识库、QC平台等多类系统，自动解析文档内容、召回相关知识。

核心产品特性

安全可控：支持语雀Token加密存储与用例下载权限校验，保密项目也可以安全使用；
可度量：支持用例使用反馈，自动对比生成用例与最终用例，自助计算采纳率，方便持续优化；
多模态支持：支持流程图、状态机图等多模态文档的分析与用例生成；
自带质检：内置用例质检能力，生成后先做一轮完备性自检，再输出给用户。

15列标准用例模型

所有生成的用例都遵循统一的15列标准结构，彻底解决格式不统一的问题，核心包含四类字段：

基础信息：用例标题、前置条件、测试步骤、预期结果；
分类信息：用例等级、标签、所属模块；
执行标识：冒烟标识、用例类型、业务属性；
自动化标识：执行方式、对应接口信息、来源文档，自动标记是否可UI自动化、是否可API自动化。

标准化的用例结构，让用例可以直接对接下游自动化平台，自动筛选可执行的用例，不用人工再整理转换，真正实现了资产可复用。

3. 平台与流程

用例生成能力已经接入内部测试平台，用户可以按需选择输入文档、配置测试范围（功能、性能、资金安全等）；平台配套知识库管理功能，不同业务线可以维护自己的业务知识库，用例生成时通过召回机制自动注入业务知识，越用越贴合业务。

五、配置巡检智能体

1. 方案背景：防控配置类资损风险

在营销活动、国际化发布、业务规则调整等场景下，会产生大量的配置变更，比如人群圈选规则、金额配置、权益有效期、场景码开关等；只要某一个配置项写错，就可能造成资金损失或者业务异常。传统方式靠人工核对配置，配置项少还能应付，一旦配置量大、逻辑复杂，人工很容易看漏，风险极高。

配置巡检智能体就是为了解决这个问题：把自然语言描述的规则转化为可执行的校验逻辑，自动拉取全量配置数据做巡检，发现问题立刻分级告警，实现配置风险的全流程自动化管控。

2. 核心能力与提效价值

低门槛规则配置：不用写代码，用自然语言就能描述巡检规则，运营、测试都能快速上手；
全数据源对接：可以对接各类配置平台、运营管控平台、数据平台，覆盖所有配置场景；
规则智能校准：人工梳理完基础规则后，AI可以基于历史故障案例、经验库反向review规则，补全边界场景，让巡检规则更严密；
全流程闭环：从规则管理、自动巡检、分级告警到流程编排、渠道触达，实现风险从发现到闭环的全流程管控。

团队总结了三点落地心得：

配置巡检从“写代码实现规则”变成“文本输入即可”，门槛大幅降低；
AI只是“大脑”，工程化对接、生态融合才是真正落地的必备条件；
人工负责梳理规则底座，AI负责优化校准，人机配合效果最好。

六、“四大金刚”总结

四个场景Agent落地后，充分验证了一件事：AI在测试领域不是花架子，是真的能落地到明确的质量场景，带来可感知、可度量的价值提升：

Web UI智能体：解决端到端UI执行的效率问题，通过率提升、编写与维护成本大幅下降；
国际化检测智能体：解决国际化专项治理的痛点，问题发现更精准，翻译一致性与修复效率显著提升；
AI用例生成智能体：解决测试设计的效率问题，用例采纳率高、覆盖更全面，释放人力；
配置巡检智能体：解决线上配置风险管控问题，高风险问题自动识别，风险闭环效率大幅提升。

走完这一步，AI质量落地就完成了“从0到1”的验证，具备了可用、可度量、可推广的基础。但单点工具做多了，新的问题也随之而来：经验怎么沉淀复用？多工具怎么协同编排？执行结果怎么保证可信？

这就进入了下一阶段的范式升级，对应三大核心支柱：Skill解决沉淀复用，Workflow解决编排协同，Harness解决可信约束。

PART 03 范式升级：三大支柱

一、AI质量范式升级：三层阶梯

质量能力的升级不是一蹴而就的，而是沿着“单点提效→能力资产→流程可信”的三层阶梯逐步演进：

第一层：场景Agent，解决单个明确质量场景的提效问题，对应四大金刚阶段；
第二层：质量Skill，把零散的专家经验、工具能力，变成标准化、可调用、可复用的组织能力；
第三层：Workflow / Harness，把质量能力嵌入研发全流程，同时让执行过程与结果可验证、可审计。

最终的目标，是实现AI原生质量工程：不是给传统质量流程套一层AI外壳，而是把质量标准彻底变成可执行、可度量、可复用的数字资产。

二、三大支柱总览

三根支柱分别对应三个核心问题，共同支撑起整个AI质量工具体系：

1.Skill（经验沉淀）

解决“专家经验如何复用”的问题，把SOP、规则、知识库、评测集全部沉淀为标准化Skill，让能力可调用、可复用、可组合。

2.Workflow / CTT（编排协同）

解决“多工具如何协作”的问题，通过任务流编排、多智能体协同、流程自动触发、跨平台联动，实现全链路有序运转。

3.Harness（可信与约束）

解决“执行结果如何可信”的问题，通过全链路证据留存、标准化门禁规则、审计回放机制，让AI执行黑盒变白盒，结果可验证、可追溯。

三者结合，最终实现标准统一、数据贯通、能力沉淀、持续进化的AI原生质量工程体系。

三、第一阶段：专家经验Skill化

1. 核心价值：从一次性任务，到组织级能力

在没有Skill的时代，AI的使用效率非常低：每开一个新会话，就要重复给AI讲一遍项目背景、流程步骤、规则规范、历史踩坑；不同的人用，输出的结果天差地别；换一个项目，所有东西又要重来一遍，能力完全没法沉淀。

Skill化之后，所有的规范、经验、流程都被固化到SKILL.md中，智能体可以自动读取、精准执行；一次配置，持续复用，还可以打包成插件跨项目共享、跨团队传递，协作成本大幅下降，输出质量也有了统一标准。

对应的，质量能力也从“场景型Agent”进化为“质量Skill能力层”：从零散的、定制化的单点工具，变成标准化、模块化、组合化、平台化的能力库；最终实现从单点提效，到组织级质量能力的跃迁。

2. qaskill-hub：统一质量技能库

为了管理分散的质量Skill，团队建设了统一的qaskill-hub质量技能库，相当于质量领域的“应用商店”：

所有质量能力都封装为标准化Skill，一键安装到任意项目；
支持团队共享、持续迭代演进，彻底改变了传统“能力写死在脚本里，换项目就重写、团队间无法复用”的局面。

技能库覆盖了产品、研发、测试、发布全流程角色，对应不同领域的Agent，包含需求澄清、单测生成、UI测试、配置巡检、代码评审、资金风险校验等几十类Skill；同时配套质量分层机制、准出规则、领域专家知识、Agent/Skill评测基准，保障技能库的输出质量。

3. AI Skill驱动的质量工具建设大图

整个体系从下到上分为四层：

底层基础设施：MCP、CLI、大模型服务、UIWarden、AntCC、Homi等底层执行与服务底座；
质量技能库：是整个体系的核心，分为质检类、迭代流程类、测试执行类、评测类、生态组件类五大类Skill，覆盖质量全场景；
单点场景应用：基于技能库快速落地的单点能力，比如UI测试助手、自动化回归助手等；
复杂流程编排：在单点能力之上，编排复杂的端到端测试流，比如需求到UI自动化全链路、测分到接口自动化覆盖、端到端场景智能编排等。

建设路径也非常清晰：先单点突破，从点到面推广AI提效；再持续沉淀技能，把经验固化为资产，由浅入深完成测试经验的AI化转型。

4. 核心Skill演进：从UI Agent到UI Skill

以UI能力为例，从Agent到Skill不是简单的改名，而是能力形态的本质升级：

最初的UI Agent，只是一个独立工具，只能单独完成端到端UI执行；
平台化阶段，叠加了用例管理、执行调度、报告沉淀等能力；
升级为UI Skill后，它变成了一个可以被多入口灵活调用的标准化能力模块；
最终它会成为E2E流程中的一个执行节点，直接嵌入到Auto Test等自动化流程中。

UI Skill还配套了图谱增强、失败自愈、报告复盘、上下文增强等原生能力，形成了完整的能力闭环：

可生成：从需求文档自动生成用例YAML；
可执行：自动完成浏览器操作与结果输出；
可追踪：全链路图谱存证，过程全程可视；
可修复：失败自动定位原因，尝试自愈修复；
可复用：技能沉淀后，跨场景快速复用。

5. 两大核心Skill详解

（1）UI自动化Skill

输入层：支持一句话任务、快速冒烟、批量用例、URL探索等多种触发方式，兼容自然语言、YAML、需求文档、测分文档等多类输入；
执行内核：ReAct执行内核，包含页面分析、YAML生成、用例设计等组件，由VLM+LLM联合驱动；
执行层：基于browser-use执行底座，支撑元素操作、网络拦截、截图录屏、重试自愈等底层能力；
输出层：输出标准化YAML、HTML测试报告、结构化结果文件、修复报告、复盘时间线等完整产物。

（2）用例生成Skill

多源输入层：支持测分文档、PRD、需求文档、语雀文档、接口文档、历史用例知识库等多源输入；
生成内核：先根据输入类型判定链路，匹配对应生成流程；再拆解测试点、梳理测试点、做完备性核对；最终输出15列标准用例；
产出层：支持Markdown、Excel、脑图等多格式输出，可直接推送至用例管理平台，具备可追溯、可评审、可自动化打标、可平台流转的特点。

6. 全流程编排示例

单个Skill只能提效一个动作，多个Skill串联起来，就能重构整条质量链路。比如一个典型的端到端任务：基于语雀需求文档，自动生成测分和测试用例，执行前3条UI用例；全部成功就提交评审任务，失败就自动提交缺陷，最后汇总生成完整测试报告。整个过程无需人工干预，多Skill自动衔接、有序流转。

四、第二阶段：Workflow编排与协同

1. 嵌入CI/CD：让质量左移落地

质量能力不能是独立的“体外循环”，必须嵌入到研发主流程中，才能真正实现质量左移。团队通过Webhook组件，把AI质量流水线嵌入到CI/CD流程中，提供三大触发通道：

IM通道：在钉钉等IM工具里直接@AI数字员工，用自然语言下发任务，7×24小时在线响应；
CI/CD通道：代码提交、PR创建时，通过Webhook自动触发质量流水线，自动获取变更上下文，执行对应测试；
定时通道：支持定时巡检、定时回归类任务，比如夜间自动跑全量回归。

底层由统一的Agent引擎负责意图理解、技能匹配、流程编排、结果输出，搭配LLM路由层与可插拔的技能库，灵活支撑各类场景。

2. CTT驱动的多Agent测试框架

固定工作流可以覆盖标准化场景，但复杂任务需要更灵活的协同模式。CTT（Claude Test Team）就是一个多代理测试工作台，它可以基于技能库，自主封装不同角色的智能体，根据任务复杂度动态组队。

比如面对复杂的全链路测试，它会自动拆解任务，分派给不同的专项Agent，自主完成调研、执行、分析、复盘；支持蜂群协作、多种工作模式切换等高级策略，最终输出结构化的测试报告与问题分析。

3. 打通质量平台生态

长周期、跨系统的质量任务，需要跨Agent、跨平台、跨状态的持续编排。团队的思路不是推翻现有平台，而是用Skill做智能层，对接内部DIMA评审平台、UIWarden测试平台、缺陷管理平台等现有系统；用户只用自然语言就能完成全流程操作，不用在多个系统之间切换，平台则继续承担数据沉淀、证据归档、流程管控的底座角色。

整个体系分工明确：

测试主管/调度器：负责任务分派、状态监控、风险预警、结果把控；
各专项Agent：测分产出、用例生成、UI执行、缺陷处理等，各司其职；
逻辑路由节点：自动判断执行结果，成功走评审流程，失败走缺陷闭环；
各业务平台：承载用例管理、缺陷生命周期、评审流程、报告存储等能力。

最终实现角色分工协同、复杂任务有序流转、全链路可视可回溯的效果。

五、第三阶段：Harness可信执行

1. 为什么必须有Harness

AI执行本质是黑盒，如果没有约束，就会面临很多风险：结果全靠AI“嘴上说过了”，可能存在假装执行、记忆漂移、结论主观的问题；缺少日志、截图等证据链，出了问题没法复盘、没法审计；AI对Prompt依赖强，目标稍有变化就容易跑偏。

一句话：没有证据的PASS，不是真正的PASS。

Harness就是给AI执行套上的一层“约束壳”：从输入边界、工具权限、执行规则三个维度做严格约束，同时全链路留存决策记录、步骤轨迹、截图日志，支持回放与审计。它的核心价值，是让AI执行从“乐观相信”，变成“可验证的工程事实”，真正做到过程可观测、执行可验证、结果可追溯、质量可度量。

2. Harness工程架构

Harness的设计哲学是：薄入口+Pipeline真相源+可审计证链。AI负责执行测试，但最终结论由结构化产物和门禁规则说了算，而不是AI的自然语言总结。

有几条核心原则：

Workflow只声明流程意图，pipeline.yaml才是每一轮执行的状态机与唯一真相源；
Agent不能靠自然语言总结就放行，必须交付完整的、可复验的证据包；
输入做归一化处理，不猜测、不强行归类，从源头减少歧义；
Agent负责执行、修复、归因，规则负责约束边界，人类保留最终的放行判断权。

整个架构包含输入归一化、Harness状态机、Agent执行闭环、人类审计边界四层，配套执行台账、证据清单、独立校验、门禁策略等机制，覆盖从需求到证据的全链路。

背后是三个核心方法论：

证据链哲学：结果要可复验，而不是靠叙述让人相信；所有执行必须落盘，日志、截图、报告、校验记录缺一不可；
覆盖追踪哲学：覆盖率不靠感觉，P0需求必须100%可追踪到对应用例，未执行的不得计入通过率；
门禁哲学：最终结论由策略规则计算得出，证据破损、P0用例失败、必填阶段不合规时，一律不得放行。

3. Auto Test：可流程触发的AI质量执行Loop

基于Harness体系，团队打造了auto-test全测试AI LOOP，形成了可触发、可闭环、可审计的自动化质量执行体系。

触发方式：支持钉钉机器人手动触发，也支持CI/CD流水线自动触发；
输入处理：自动从研发系统获取需求地址、分支、commit ID、变更日志，完成输入归一化与校验；
执行全流程：信息获取→测试分析→用例生成→用例自动化→API自动化→UI自动化→执行&反馈循环→测试报告→缺陷提交→产物存档；
闭环保障：Pipeline契约定义每个阶段的依赖、准入准出条件；Delegate机制隔离权限，限定产物读写范围；Harness提供执行台账与证据清单，独立校验完整性；门禁策略校验合规性、覆盖率、成功率；Scorecard沉淀治理指标，驱动持续优化。

它的价值非常明显：一次执行就能完成完整质量闭环，每一次执行都可审计；执行数据持续沉淀，越跑越准、越跑越稳，支持7×24小时不间断执行，质量状态全程可视、异常自动告警。