AI缺陷管理要真正跑起来,顺序比工具选择更重要:先把缺陷字段和状态流转固定下来,再在分类、摘要、重复识别、修复建议草拟和测试结果汇总这几个环节引入AI,并为每类输出设置人工复核和回退规则。缺陷记录本身始终是唯一事实来源,AI只生成候选结果。下文按这一顺序给出可执行的字段基线、五步流程、角色分工、示例和验证指标,缺陷字段与流转可承载在ONES工作项中。
要点总览(TL;DR)
- 落地顺序是先固定缺陷字段与状态流转,再在分类、摘要、去重、分派建议、结果汇总和复盘环节引入AI,避免字段混乱时直接上AI。
- 五步流程为:提交时生成摘要与初步分类、比对历史缺陷给出重复候选、按模块与严重程度给出分派建议、修复后汇总测试结果与回归范围、关闭前生成复盘摘要。
- AI只生成候选结果,状态变更、合并去重和关闭结论由人确认;严重程度、优先级、合并判定和关闭结论逐条复核,摘要与措辞类输出可抽检。
- 效果验证分两层:先看字段完整率、状态流转合规率和复核覆盖率,再看分类准确率、重复识别命中率、平均流转时长和复核驳回率,观察周期建议覆盖四个迭代或一个月。
先定缺陷字段与状态流转,再谈AI介入
字段和状态是AI缺陷管理的地基。字段缺失时,AI生成的分类没有可比对的口径;状态流转随意跳转时,AI给出的分派建议和汇总结果也无法对应到具体环节。建议先用一张基线表把两件事定下来,再标注AI在哪些节点接入。
缺陷必填字段清单
以下字段建议设为提交时必填,其余字段可在流转中补充。必填项越少越容易执行,但必须覆盖复现和定位所需的最小信息。
| 字段 | 填写要求 | 主要用途 |
|---|---|---|
| 标题 | 一句话描述现象与影响对象 | 检索、去重比对、摘要生成 |
| 复现步骤 | 按顺序编号,标明前置条件 | 开发定位、AI摘要提炼 |
| 环境 | 版本、设备、操作系统、测试数据 | 判断影响范围与回归范围 |
| 严重程度 | 按团队统一定义分级 | 分派优先级、修复排期 |
| 优先级 | 结合业务影响确定 | 排期与资源协调 |
| 所属模块 | 从固定模块清单中选择 | 分派建议、缺陷分布统计 |
| 发现阶段 | 如冒烟、系统测试、回归、线上 | 质量分析与复盘 |
| 关联用例 | 关联触发该缺陷的测试用例 | 回归范围确定、用例维护 |
状态流转与AI介入点
状态建议采用:新建→确认→分派→修复中→待验证→关闭,验证不通过时从待验证回到重开,再进入分派。每个状态对应一个明确的责任人和准入门槛,例如进入“确认”要求复现步骤完整,进入“待验证”要求开发填写修复说明。
AI介入点按状态标注如下:
- 新建阶段:AI生成结构化摘要与初步分类,落在提交环节,由提交人确认。
- 确认阶段:AI比对历史缺陷给出重复候选,由测试负责人判定合并或保留。
- 分派阶段:AI按模块与严重程度给出分派建议,由缺陷负责人确认接收。
- 待验证阶段:AI汇总修复内容与测试结果、建议回归范围,由测试人员复核。
- 关闭阶段:AI生成复盘摘要,由缺陷管理负责人确认后进入知识沉淀。
字段与状态的维护责任
字段清单和状态机由缺陷管理负责人维护,变更需经过评审:新增或删除字段要说明对统计口径和AI输入的影响,状态流转调整要同步更新各角色的操作说明。建议每次变更记录版本和生效日期,避免历史缺陷与新规则混用导致指标失真。ONES建议企业落地AI研发管理时先梳理研发流程、现有数据与高频协作问题,再确定AI能力的应用范围和推进路径,这与先定基线再引入AI的顺序一致。
AI缺陷管理的五步操作流程
五步流程按缺陷生命周期展开,每一步都明确输入、动作、输出和完成标志,便于团队照着执行并检查是否做到位。
第一步:提交时生成摘要与初步分类
输入是提交人填写的原始描述、复现步骤和环境信息。AI据此生成结构化摘要,提炼现象、影响范围和触发条件,并给出模块、严重程度、优先级的初步分类。输出为摘要文本和分类候选值,提交人逐项确认或修改后提交。完成标志是缺陷记录字段完整、摘要经提交人确认。
第二步:比对历史缺陷给出重复候选
输入是新缺陷的摘要与分类、历史缺陷库。AI按标题、复现步骤、模块和环境比对,返回若干条重复候选并说明相似点。测试负责人逐条查看候选,判定合并到已有缺陷或保留为新缺陷;合并时补充关联关系,保留时记录判定理由。完成标志是重复候选已全部处理,结论有记录。
第三步:按模块与严重程度给出分派建议
输入是确认后的缺陷记录、模块负责人清单和历史分派记录。AI给出建议负责人和分派理由,缺陷负责人确认接收或改派。完成标志是缺陷进入“分派”状态且责任人明确。分派建议只作为参考,最终接收人由人工确认,避免把不熟悉该模块的开发直接拉入。
第四步:修复后汇总测试结果与回归范围
输入是开发填写的修复说明、关联用例和本次变更涉及的模块。AI汇总修复内容,列出建议回归的用例和功能点,测试人员据此执行验证并复核汇总是否遗漏。完成标志是验证结论明确,回归范围经测试人员确认。
第五步:关闭前生成复盘摘要
输入是整条缺陷记录,包括发现阶段、根因描述、修复方式和耗时。AI生成复盘摘要,归纳问题类型和可沉淀的经验,缺陷管理负责人修订后归档到团队知识库。完成标志是缺陷关闭且复盘摘要已归档。
角色分工与各环节交付物
AI输出被当成最终结论是这类流程最常见的失控点。分工的原则是:AI负责生成候选,人负责确认和改判,状态变更、合并去重和关闭结论必须由人操作。
| 角色 | 主要动作 | 交付物 | 交接时点 |
|---|---|---|---|
| 测试人员 | 提交缺陷、复核AI分类与去重结果、执行验证 | 字段完整的缺陷记录、去重判定结论、验证结果 | 提交后、分派前、待验证阶段 |
| 开发人员 | 确认分派、采纳或修改AI修复建议、填写修复说明 | 修复说明、变更范围 | 接收分派时、修复完成时 |
| 缺陷管理负责人 | 维护字段规范与状态机、抽检AI输出质量、确认复盘摘要 | 字段基线表、抽检记录、复盘归档 | 规则变更时、每周抽检、关闭前 |
| AI工具 | 生成候选分类、摘要、重复候选、分派建议和汇总 | 候选结果与理由说明 | 各状态节点触发,不直接改状态 |
交接时点需要与状态机对齐:测试人员提交后,AI输出才进入确认环节;开发接收分派后,修复建议才被采纳或修改;关闭前,复盘摘要必须经负责人确认。这样每个环节都有明确的输入来源和确认人,责任不会悬空。
一个缺陷从提交到关闭的示例
以下为演示情景,用于说明各环节AI输出与人工复核的动作,不代表真实项目数据。
原始描述:测试人员在系统测试阶段提交缺陷,标题为“订单列表页翻页后筛选条件丢失”,复现步骤为进入订单列表、选择状态筛选、翻到第二页,环境为测试环境某版本,关联用例为订单筛选用例。
摘要与分类:AI生成摘要“订单列表翻页后状态筛选条件被重置,影响多页数据查看”,初步分类为订单模块、严重程度中、优先级高。提交人确认摘要,将严重程度改为高,理由是影响核心查询功能。
重复候选:AI比对出两条历史缺陷,一条为“订单列表排序翻页失效”,一条为“筛选条件切换后列表未刷新”。测试负责人查看后判定均不重复:前者涉及排序,后者涉及刷新时机,本条为翻页后条件重置,保留为新缺陷并记录判定理由。
分派:AI建议分派给订单模块负责人,理由是该模块近期变更集中。缺陷负责人确认接收,未改派。
修复与验证:开发修复后填写修复说明,说明翻页参数未携带筛选条件。AI汇总修复内容并建议回归订单筛选、分页和列表刷新相关用例。测试人员复核后补充一条组合筛选用例,执行验证通过。
关闭与复盘:AI生成复盘摘要,归纳为“分页参数传递遗漏导致筛选状态丢失”,建议在分页相关用例中增加筛选组合场景。负责人修订措辞后归档。整条记录中,AI输出被采纳的部分是摘要、分派建议和回归范围,被修改的部分是严重程度和回归用例补充,被否决的部分是重复候选判定。
人工复核规则与AI出错的兜底处理
复核强度应按输出对结论的影响分级,而不是对所有输出平均用力。影响缺陷定级、合并和关闭的输出逐条复核,措辞类输出可以抽检。
逐条复核与抽检的划分
- 逐条复核:严重程度与优先级分类、重复缺陷合并判定、分派结论、关闭结论。这些输出直接改变缺陷走向,错误代价高。
- 抽检:摘要措辞、复盘摘要表述、回归范围建议。可按每周固定比例抽检,例如每类抽取一定数量核对,发现系统性偏差时提高比例。
复核驳回后的处理
复核人驳回AI输出时,需要完成三件事:修正字段或结论并说明理由;将该条记录标记为误判样本;把修正后的正确结果与原始输入一并留存,作为后续评估和规则调整的依据。只改结果不留样本,误判就无法被统计和复盘。
AI不可用时的降级流程
AI服务中断或输出质量明显下降时,流程应能退回人工模式:提交人自行撰写摘要并按字段清单填写,测试负责人人工检索历史缺陷判断重复,分派按模块负责人清单执行,回归范围由测试人员依据关联用例确定。降级期间缺陷记录照常流转,恢复后不必补做AI环节,但需在记录中标注该时段未使用AI辅助,避免影响指标统计。
误判样本的定期回顾
建议每两周回顾一次误判样本,按类型归类:分类偏差集中在哪些模块、重复候选误报多发生在什么场景、分派建议在哪些模块不准。回顾结论用于调整字段定义、补充判定示例或收窄AI使用范围。若某类输出连续多个周期驳回率偏高,应先暂停该类输出的自动生成,回到人工处理。
上线后的完成检查与效果验证
判断AI缺陷管理是否跑通,先看流程执行是否合规,再看效果指标是否改善。两者分开检查,避免用指标波动掩盖流程漏洞。
完成检查项
| 检查项 | 口径 | 合格参考 |
|---|---|---|
| 字段完整率 | 必填字段齐全的缺陷数占当期新增缺陷数比例 | 接近全覆盖,缺失项有说明 |
| 状态流转合规率 | 按状态机流转、无跳转的缺陷数占比 | 抽查中跳转均有记录 |
| AI输出复核覆盖率 | 逐条复核类输出中实际被复核的比例 | 逐条复核类达到全覆盖 |
效果指标与取数口径
- 分类准确率:AI给出的模块、严重程度、优先级与人工最终确认一致的比例,按周统计。
- 重复缺陷识别命中率:AI给出的重复候选中被判定为真实重复的比例,同时观察漏报情况。
- 缺陷平均流转时长:从新建到关闭的平均时长,按模块和严重程度分组对比引入AI前后的变化。
- 复核驳回率:复核中被修改或否决的AI输出占复核总量的比例,按输出类型分别统计。
观察周期建议至少覆盖四个完整迭代或一个月,先建立基线再判断是否扩大AI使用范围。指标未达标时,先定位是字段口径问题、样本不足还是输出类型不适配:分类准确率低优先检查模块清单和分级定义是否清晰;驳回率集中在某类输出时收窄该类使用范围;流转时长没有改善则检查复核环节是否成为新的等待点。
在工具承载上,缺陷字段、状态流转和复核记录需要落在同一套工作项中才能被统计。ONES Assistant可连接ONES Project、ONES Wiki与ONES TestCase,理解项目、工作项、迭代和Wiki页面等工作上下文,并把自然语言指令转化为可追踪的工作,例如创建缺陷、更新缺陷状态并通知项目负责人;其输出基于ONES权限体系执行,过程可追踪、结果可审计。团队可将上述字段基线和状态机配置为工作项模板,让AI生成的候选结果与人工确认记录留在同一条缺陷记录中,便于按本节的指标口径取数验证。
常见问题
团队规模较小,是否也需要设置缺陷管理负责人这个角色?
角色可以合并,职责不宜取消。小团队可由测试负责人兼任缺陷管理负责人,承担字段规范维护、AI输出抽检和复盘摘要确认。关键是每项职责有明确的人承接:字段变更有人评审,逐条复核类输出有人确认,误判样本有人定期回顾。若无人承接,AI输出容易直接进入缺陷记录,后续指标也失去可信口径。
AI给出的重复候选判定错误较多时,应该先调整什么?
先检查输入质量,再考虑收窄使用范围。常见原因是标题和复现步骤写法差异大、模块清单粒度过粗,导致比对缺少稳定依据。可先统一标题写法、补充判定示例,观察一到两个周期。若某类场景的误报持续偏高,可对该场景暂停自动生成重复候选,回到人工检索,同时保留误判样本用于后续调整。
引入AI后缺陷平均流转时长没有下降,可能卡在哪里?
先看复核环节是否成为新的等待点。逐条复核类输出如果集中在个别人手上,缺陷会在确认和分派前排队。可检查各状态的停留时长分布,确认瓶颈在复核、分派还是验证。另一个常见原因是字段口径不一致,AI分类与人工确认反复改判,增加往返。定位后再决定是调整复核分工还是收窄AI输出类型。
AI服务中断期间产生的缺陷,指标统计要怎么处理?
在缺陷记录中标注该时段未使用AI辅助,统计时单独分组或剔除,避免与正常时段混算导致分类准确率、驳回率等指标失真。降级期间按人工流程照常流转,恢复后不必补做AI环节。若中断时间较长,建议在指标回顾时说明覆盖区间,保证前后对比口径一致。
缺陷字段和状态机定好后,多久评审一次比较合适?
建议固定周期评审,并在两种情况下触发临时评审:新增或删除字段、调整状态流转。固定评审可结合误判样本回顾同步进行,重点看字段定义是否仍能支撑分类和统计。每次变更记录版本和生效日期,历史缺陷按原规则统计,避免新旧规则混用造成指标跳变。


















