设计AI辅助测试用例评审的效果指标，核心是先把“效果”拆成可判断的目标，再为每个目标固定公式、分母来源和时间窗。本文围绕漏审率、人工修正量、评审耗时、缺陷前置发现四类指标，给出计算口径、取数证据、基线对照步骤和一组假设算例，帮助测试或研发效能负责人完成试点评估与验收。
要点总览（TL;DR）
- 先定评估目标再定口径：准确性对应漏审率，人工负担对应人工修正量，时效对应评审耗时，缺陷前置对应缺陷前置发现率，四类指标组合使用。
- 漏审率分母由人工复核确认的问题总数加上固定回溯窗口内上线后发现的评审遗漏问题组成，回溯窗口一经确定不再调整。
- 人工修正量拆为采纳率、修改率和驳回率，评审耗时取中位数与P75并统一起止时点，缺陷前置发现率依赖用例与缺陷的关联记录。
- 评估按基线、试点、对照、复核推进，优先同批次拆分或前后可比批次对比，控制用例复杂度与评审人经验等混杂因素。
- 不设通用达标线，以自身基线与试点差值结合多期趋势判断；分母为零标注不计算，样本过小注明结论仅供参考。
评估目标：先回答评审要改善什么
测试用例评审通常暴露四类问题：边界条件漏写、用例之间重复、步骤描述有歧义、需求覆盖存在缺口。AI辅助评审的价值，应当落到这些具体问题的减少上，而不是笼统地看“AI提了多少条意见”。评估开始前，先明确本次试点主要想改善哪一类问题，再选择对应指标，避免用单一数字概括全部效果。
四类改善目标与指标的对应关系如下。一个目标可以对应多个指标，一个指标也可能同时反映两类目标，因此需要组合使用。
| 评审问题 | 改善目标 | 候选指标 | 判断用途 |
|---|---|---|---|
| 边界条件、异常分支漏写 | 准确性：该发现的问题被发现 | 漏审率 | 判断AI是否补上了人工容易忽略的检查点 |
| AI意见质量参差、人工逐条核对成本高 | 人工负担：减少无效确认 | 人工修正量（采纳率、修改率、驳回率） | 判断AI意见可直接使用的比例 |
| 评审排队久、结论迟迟不出 | 时效：缩短从提交到结论的周期 | 评审耗时（中位数、P75） | 判断流程是否真正加快 |
| 问题在上线后才暴露 | 缺陷前置：评审阶段拦截更多缺陷 | 缺陷前置发现率 | 判断评审对下游质量的实际贡献 |
目标确定后，还要约定评估边界：评估对象是用例批次还是评审轮次，观察期是试点首月还是连续多个批次。边界不同，指标数值不可直接比较，这一点在后续口径设计中会反复用到。
指标与范围：四类核心指标及计算口径
四类指标都需要写清公式、分子、分母、单位、时间窗和数据来源。下表给出建议口径，团队可在此基础上按自身流程微调，但同一评估周期内应保持稳定。
| 指标 | 公式 | 分子 | 分母 | 单位 | 时间窗 | 数据来源 |
|---|---|---|---|---|---|---|
| 漏审率 | AI未识别问题数 ÷ 应发现问题总数 | 人工复核或上线后回溯确认、AI评审未提出的问题条数 | 人工复核确认的问题总数 + 上线后回溯发现的评审遗漏问题数 | 百分比 | 按用例批次，回溯窗口建议固定为上线后30天或一个迭代周期 | 人工复核记录、缺陷回溯记录 |
| 人工修正量 | 拆为采纳率、修改率、驳回率 | 分别对应直接采纳、改写后采纳、驳回的AI意见条数 | AI提出的有效意见总条数 | 百分比 | 按评审轮次汇总 | 评审意见记录与人工结论 |
| 评审耗时 | 单份用例从提交评审到给出结论的时长 | — | — | 小时或天，取中位数与P75 | 按周或按批次 | 评审流转时间戳、工时记录 |
| 缺陷前置发现率 | 评审阶段发现并确认的缺陷数 ÷ 该批次用例上线后关联缺陷总数 | 评审阶段确认的缺陷数 | 评审阶段缺陷数 + 上线后关联缺陷数 | 百分比 | 与用例批次绑定，缺陷统计窗口固定 | 缺陷记录与用例关联关系 |
漏审率的分母最容易失真。建议由人工复核给出“应发现问题”的基准清单，再叠加固定回溯窗口内上线后发现的、可归因于评审遗漏的问题。回溯窗口一旦确定，评估期内不再调整，否则分母会随观察期拉长而漂移。
人工修正量要拆开看。采纳率高说明AI意见可直接使用；修改率高说明方向对但表述或细节需要人工补充；驳回率高说明误报多。三个比例相加接近100%，单看采纳率会掩盖“大量意见被改写后才可用”的情况。
评审耗时统一起止时点：起点为用例提交评审，终点为给出评审结论。AI处理时间与人工确认时间分开记录，便于判断耗时变化来自哪一段。统计范围包括纳入评估的用例批次、评审轮次和排除规则，例如返工重审的用例单独标记，不混入首轮耗时。
数据口径与证据：从哪些记录取数
指标要可复算，每条数值都应能追溯到原始记录。建议先建立“指标—数据源—证据形式”映射，再开始采集，避免试点结束后补数据。
| 指标 | 数据源 | 证据形式 | 取数注意点 |
|---|---|---|---|
| 漏审率 | 人工复核结论、缺陷回溯记录 | 复核问题清单、缺陷单及关联用例编号 | 复核人需独立于AI意见，先自行判断再比对 |
| 人工修正量 | 评审意见记录 | AI意见原文、人工结论（采纳/修改/驳回）、修改痕迹 | 一条意见对应一个结论，合并意见需拆分计数 |
| 评审耗时 | 用例版本与评审轮次记录 | 提交时间、结论时间、轮次编号 | 返工重审单独统计，不与首轮混合 |
| 缺陷前置发现率 | 缺陷记录与用例关联关系 | 缺陷单、关联用例编号、发现阶段字段 | 无法关联的缺陷单列说明，不强行计入分母 |
人工工时若没有系统时间戳，可用评审会议记录或工时填报作为替代口径，但需在报告中注明口径差异，跨期比较时保持一致。口径发生变更时，保留变更前后的分段数据，并在报告中标注变更时点，不把新旧口径数据直接相连。
在评审意见、用例版本和缺陷关联的记录与流转上，ONES 可作为承载载体：ONES Assistant 连接 ONES Project、ONES Wiki 与 ONES TestCase，基于项目数据与团队知识回答问题并执行后续操作，输出过程可追踪、结果可审计。具体到评审意见字段、评审轮次和用例与缺陷的关联配置，需以产品文档和实际配置为准；若系统字段不足以支撑某项指标，可用导出记录或外部台账补充，并在口径说明中写清补充方式。
计算与评估步骤：从基线到对照
评估按“基线—试点—对照—复核”四步推进，每步产出一份可核对的数据表。
- 采集基线。选取试点前若干批次纯人工评审的用例，按同一口径计算四类指标，形成基线值。基线期长度以覆盖至少3个批次或4周为宜，样本过少时标注置信度有限。
- 试点采集。试点期启用AI辅助评审，保持用例拆分方式、评审人分工和统计口径不变，逐批次记录AI意见、人工结论和时间戳。
- 设置对照。优先将同一批次用例拆分为AI辅助组与纯人工组，或采用试点前后可比批次对比。记录用例复杂度、评审人经验等混杂因素，复杂度差异明显时按复杂度分层比较。
- 汇总趋势。按周或按批次汇总，观察多期趋势，不以单批次数值下结论。趋势稳定后再判断改善是否成立。
- 抽样复核。每期抽取一定比例用例，由未参与AI评审的人员回看AI意见与漏审判定，核对分子分母取值是否准确，复核结果记入评估报告。
对照设计的关键是控制变量。若试点期同时更换了评审模板或调整了评审人，指标变化无法单独归因于AI，此时应缩小结论范围，或延长观察期等待条件稳定。
算例：一批用例的指标计算演示
以下数字均为假设情景，仅用于说明计算过程。假设某批次共120条用例，AI提出评审意见200条，人工结论为直接采纳120条、修改后采纳50条、驳回30条。人工复核确认该批次应发现问题40个，其中AI评审提出并确认30个；上线后回溯窗口内发现关联缺陷20个，其中评审阶段已确认10个。
| 指标 | 计算过程 | 结果 | 读法 |
|---|---|---|---|
| 漏审率 | （40 − 30）÷ 40 | 25% | AI未识别的问题占应发现问题的四分之一，需结合基线判断是否改善 |
| 采纳率 | 120 ÷ 200 | 60% | 六成意见可直接使用 |
| 修改率 | 50 ÷ 200 | 25% | 四分之一意见需人工改写后采用 |
| 驳回率 | 30 ÷ 200 | 15% | 误报比例，需抽查驳回原因 |
| 评审耗时 | 假设中位数6小时、P75为11小时 | 6小时 / 11小时 | 与基线中位数比较，同时看P75是否同步下降 |
| 缺陷前置发现率 | 10 ÷ 20 | 50% | 该批次关联缺陷中一半在评审阶段被拦截 |
解读时先看方向再看幅度。若基线漏审率为35%、试点为25%，方向改善，但需确认复核标准未放宽；若采纳率60%但驳回率同时上升，说明AI意见覆盖面扩大、精度下降，需结合人工耗时综合判断。缺陷前置发现率受关联完整性影响，关联缺失的缺陷应单列，不计入分母。
解读与限制：避免把指标当因果保证
指标反映的是观察期内的结果，归因需要额外证据。漏审率下降可能来自评审标准调整或复核人判断变化，而非AI能力提升；人工修正量低不等于AI准确，也可能是人工未逐条细看；评审耗时缩短可能以漏审增加为代价。出现这类组合时，应回到抽样复核记录，确认分子分母的判定是否一致。
异常情况按以下规则处理：分母为零时标注“不计算”，不记为零；样本量过小时给出样本数并注明结论仅供参考；批次之间用例复杂度或评审人明显不可比时，分层报告或暂停合并比较。评估不设通用达标线，以自身基线期与试点期的差值作为判断依据，并结合多期趋势和复核结果形成结论。
常见问题
试点刚开始，历史基线数据不完整，还能做AI辅助评审的效果评估吗？
可以，但需要调整结论的适用范围。基线不完整时，先补齐能追溯的部分，例如从评审记录和缺陷单中回补最近几个批次的漏审情况和评审时长；确实无法回补的指标，在报告中标注为“无基线”，只报告试点期数值和后续多期趋势，不做前后差值判断。另一种做法是采用同批次拆分对照：同一批用例一部分走AI辅助、一部分走纯人工，用组间比较替代前后比较。这种设计对基线依赖较小，但要求两组用例的复杂度和评审人经验大致可比，否则需按复杂度分层报告。
AI提出的意见被人工修改后采纳，这条意见在漏审率里怎么算？
漏审率统计的是“该发现而AI未提出”的问题，修改后采纳说明AI已经提出了对应问题，只是表述或细节需要人工补充，因此这条意见在漏审率中计为已识别，不计入漏审。它计入人工修正量中的修改率。需要留意的是，如果人工修改实际上把AI意见指向的问题换成了另一个问题，应在评审意见记录中拆分标注，避免把“改写后指向新问题”误计为已识别。复核抽样时重点核对这类边界情况，保证漏审率与修改率的判定口径一致。
评审耗时缩短了，但漏审率同时上升，这种情况怎么判断AI辅助是否有效？
这组组合说明时效改善可能以准确性为代价，不能直接判定有效。处理方式是回到抽样复核记录，确认漏审率上升是AI确实漏掉了问题，还是复核标准在试点期发生了变化。若确认是漏审增加，应把评审耗时拆成AI处理时间与人工确认时间分别观察，判断人工确认环节是否被压缩。评估结论可以写成“时效改善、准确性待观察”，并延长观察期或调整人工确认流程后重新采集。单一指标的方向不足以支撑整体结论，四类指标需要组合解读。
缺陷前置发现率的分母里，关联不到用例的缺陷怎么处理？
关联不到用例的缺陷单列说明，不强行计入分母。强行计入会稀释比率，让评审阶段的拦截贡献看起来偏低；直接剔除又可能高估效果。建议在报告中同时给出两个数值：仅统计可关联缺陷的比率，以及关联缺失缺陷的数量和占比。若关联缺失比例较高，应先改善缺陷单与用例的关联填写规范，再重新计算该指标。缺陷前置发现率的可信度取决于关联完整性，这一点在解读时需要与漏审率、人工修正量一起看。
四类指标需要全部上线才能开始评估吗？
不需要。可以先从取数成本最低的指标开始，例如人工修正量依赖评审意见记录，评审耗时依赖时间戳，这两类通常较容易采集；漏审率和缺陷前置发现率需要人工复核和缺陷回溯，投入更大，可在试点稳定后补充。分步上线时，每一期报告都要写明本期覆盖了哪些指标、哪些尚未采集，避免读者把部分指标的结果当成整体效果。随着指标逐步补齐，再形成完整的四类指标对照。
