AI缺陷分类结果和人工判断不一致时，先别急着改规则。把错误拆成可观察的形态——整体偏向某一类、少数易混类别互错、同一缺陷反复改错、低置信度仍被自动采纳，再抽样确认影响集中在哪些模块和缺陷类型。原因排查按输入信息、标签体系、规则覆盖、人工复核四条线索逐项找证据，处置时先补信息再改规则，最后用已人工定类的历史缺陷回放验证是否恢复。
要点总览（TL;DR）
- 先抽样比对AI分类结果与人工结论，把错误归入整体偏向、易混类别互错、同一缺陷反复改错、低置信度被采纳四类，并统计涉及模块与缺陷类型，判断是否属于系统性偏移。
- 原因排查按输入信息、标签体系、规则覆盖、人工复核四条线索逐项找证据：字段完整率差异、边界案例人工分歧率、规则对照结果、复核记录，找不到证据的原因先挂起。
- 处置顺序是先补全缺陷模板必填字段，再收敛易混类别的判定标准与正反例，然后小范围调整规则或提示词试运行，全程保留人工复核与改类记录。
- 批量重分类或修改历史数据前先备份、限定范围并设定停止点，试运行后错误率没有下降就停止扩大范围，回到原因排查。
- 用已人工定类的历史缺陷回放验证，重点看原先易混类别的混淆是否下降；恢复后通过改类记录回流、固定抽检比例和分类别错误率预警防止复发。
先分清是哪一类分类错误
“分类错了”是一句笼统的判断，不同错误形态的排查方向差别很大。先把最近一批AI分类结果与人工复核结论逐条比对，把错误归入下面几类，再统计各自占比。
| 错误形态 | 可观察表现 | 初步判断方向 |
|---|---|---|
| 整体偏向某一类别 | 大量缺陷被分到同一个标签，其他类别几乎不出现 | 标签定义或提示词权重失衡，属于系统性偏移 |
| 少数易混类别互错 | 错误集中在两三个语义相近的类别之间来回错分 | 标签边界不清，需要补判定示例与反例 |
| 同一缺陷反复改错 | 人工改类后，再次分类又回到错误标签 | 输入信息未补充，模型每次只能按同样的残缺信息判断 |
| 低置信度仍被自动采纳 | 分类结果置信度偏低，但没有经过人工确认就写入 | 复核环节缺位，需要调整采纳门槛 |
归类之后要界定影响范围。按模块、缺陷类型、提交人三个维度抽样统计错误分布：如果错误集中在某个新业务模块，更可能是该模块的缺陷描述习惯或类型未纳入判定口径；如果分散在所有模块，则更可能是标签体系或整体规则的问题。同时区分单条偶发错误与系统性偏移——偶发错误记录后继续观察即可，系统性偏移则需要考虑暂停自动分类，改为人工确认后再写入，避免错误结果持续污染缺陷库和统计报表。
这一步的交付物是一张自查表：错误形态、涉及模块、涉及缺陷类型、错误条数、占该范围的比例、是否属于系统性偏移、是否需要暂停自动分类。表填完，排查方向基本就清楚了。
逐项验证可能原因并排除
原因排查最容易犯的错是把猜测当结论。下面四类原因各自对应可观察的证据，找到证据再决定保留还是排除，找不到证据的原因先挂起，不要据此改动规则。
| 原因假设 | 验证证据 | 排除或确认方法 |
|---|---|---|
| 输入信息不足 | 被错分缺陷中，缺复现步骤、环境信息、日志的比例明显高于分对的缺陷 | 抽取错分与分对样本各若干条，统计关键字段完整率；完整率差异明显则确认该原因 |
| 标签体系歧义 | 存在两个类别定义文字重叠，或边界案例在团队内人工判断也不一致 | 让两名以上测试人员独立对同一批边界缺陷定类，分歧率高说明标签本身有歧义 |
| 规则与提示词覆盖不全 | 错误集中在新业务模块、新缺陷类型，判定口径中找不到对应描述 | 对照当前规则或提示词逐条检查错分样本，看是否有类别未被覆盖或描述过时 |
| 人工复核缺位或标准不一 | 低置信度结果被直接采纳；不同复核人对同类缺陷改法不同 | 检查复核记录，统计未经复核直接入库的比例，以及复核人之间的改类分歧 |
四类原因可能同时存在，排查顺序建议从输入信息开始。输入残缺时，标签和规则再准确也无法得到稳定结果，先补信息能排除掉相当一部分错误。输入完整率达标后，再验证标签歧义：边界案例的人工分歧率是最直接的证据，分歧率高说明问题在标签定义，改规则解决不了。规则覆盖检查适合放在第三步，重点看新模块和新类型是否被纳入。人工复核问题往往贯穿始终，检查复核记录时顺带确认复核标准是否统一，比如同一类缺陷是否都按同一口径改类。
验证过程中保留原始记录：抽样清单、字段完整率统计、人工分歧案例、规则对照结果。这些记录既是排除依据，也是后续调整规则时的输入。
按顺序处置：从补信息到改规则
处置按“先补输入、再收敛标签、然后小范围改规则、全程保留人工复核”的顺序推进。顺序颠倒的代价是：标签没收敛就改规则，规则会围绕歧义反复调整；人工复核撤掉太早，错误结果会直接进入缺陷库。
- 补全缺陷模板必填字段。把复现步骤、环境信息、日志或截图设为提交时的必填项，保证分类输入完整。对存量缺陷，优先补近期活跃的、影响统计口径的部分，不必一次性全量回填。
- 收敛标签定义。为每个易混类别写一句判定标准，配一个正例和一个反例。边界案例明确归属约定，比如“介于功能缺陷与性能缺陷之间的，按主要影响面归类”。定义收敛后组织复核人对照同一批样本试判，分歧明显下降再进入下一步。
- 调整分类规则或提示词，小范围试运行。只针对已验证的原因改动，一次改一类，改完在单个模块或单类缺陷上试运行，对比改动前后的分类结果。试运行期间自动分类结果标记为待确认，不直接作为最终分类。
- 保留人工复核与改类入口。低置信度结果强制人工确认；人工每次改类都记录原标签、新标签和改类理由，这些记录是后续补充规则和示例的来源。
涉及批量重分类或修改历史缺陷数据时，先备份当前分类结果，限定操作范围（按模块、时间区间或缺陷类型圈定），并设定停止点：比如试运行一个模块后错误率没有下降，就停止扩大范围，回到原因排查。批量操作前明确回退方式，确保出现意外时能恢复到操作前状态。
缺陷分类结果、人工复核结论和改类记录需要在缺陷工作项中留痕，才能支撑上面的比对和回放。ONES 的缺陷管理与状态流转可以承载这一过程：分类结果作为工作项字段记录，人工改类通过状态或字段变更留下痕迹，ONES Assistant 可基于项目内工作项数据执行创建缺陷、更新缺陷状态等操作，输出过程可追踪、结果可审计，便于后续按模块和类型统计错误分布。
验证恢复并防止再次跑偏
改完之后不能只看“感觉对了”，要用数据确认。取一批已人工定类的历史缺陷做回放，让调整后的分类逻辑重新跑一遍，比较修正前后的分类一致率。样本要覆盖原先出错的模块和易混类别，数量以能看出趋势为准。
看指标时重点观察原先易混类别的混淆是否下降，比如“功能缺陷”与“界面缺陷”之间的互错条数是否减少。总体准确率可能被占比大的简单类别拉高，掩盖易混类别的持续错误，所以总体指标和分类别指标要一起看。如果总体上升但某个易混类别没有改善，说明该类别的标签定义或示例还需要补充。
恢复之后建立三项日常机制防止复发：
- 改类记录回流。定期整理人工改类记录，把反复出现的错分案例补充为规则说明或判定示例，让规则随业务变化更新。
- 抽检比例。按固定比例抽检自动分类结果，新模块和新缺陷类型上线初期提高抽检比例，稳定后逐步降低。
- 异常预警。按类别监控错误率，某个类别的错误集中上升时触发复核，而不是等到季度统计才发现偏移。
验证通过后再决定是否扩大自动分类范围。扩大时按模块逐步放开，每放开一批都保留一段观察期，确认错误率稳定后再进入下一批。
常见问题
AI分类结果置信度低，能不能直接采纳？
不建议直接采纳。低置信度结果被自动写入，是分类错误扩散的常见入口，错误标签会进入缺陷库并影响统计报表。处置时把低置信度结果标记为待确认，强制经过人工复核再作为最终分类；复核后统计这类结果的实际正确率，据此调整采纳门槛。门槛调整后仍需保留抽检，观察一段时间再决定是否放宽。
标签定义已经写得很细，边界缺陷还是判不准，怎么办？
定义文字再细，也可能在具体案例上产生分歧。更有效的做法是为每个易混类别配一个正例和一个反例，并约定边界案例的归属规则，例如按主要影响面归类。写完后让两名以上测试人员对同一批边界缺陷独立定类，分歧率明显下降再用于自动分类。分歧仍然集中的类别，说明需要拆分类别或调整归类口径，继续加长定义文字收效有限。
批量重分类历史缺陷前要做哪些准备？
先备份当前分类结果，再按模块、时间区间或缺陷类型圈定操作范围，避免全量覆盖。设定停止点，例如先处理一个模块，对比修正前后的分类一致率，没有改善就停止扩大范围。同时明确回退方式，确保出现意外时能恢复到操作前状态。历史数据中近期活跃、影响统计口径的部分优先处理，不必一次性全量回填。
总体准确率上升了，是否说明分类问题已经解决？
不一定。总体准确率可能被占比大的简单类别拉高，掩盖少数易混类别的持续错误。验证时要同时看总体指标和分类别指标，重点确认原先互错的两个类别之间错误条数是否减少。如果总体上升但某个易混类别没有改善，说明该类别的标签定义或判定示例还需要补充，继续按原因排查的思路处理。
人工改类记录除了留痕，还能用来做什么？
改类记录是规则更新的直接输入。定期整理人工改类记录，把反复出现的错分案例补充为规则说明或判定示例，能让分类口径跟上业务变化。记录中保留原标签、新标签和改类理由，便于按类别统计错误分布，发现某个类别错误集中上升时及时触发复核。在 ONES 中，分类结果作为缺陷工作项字段记录，人工改类通过字段或状态变更留下痕迹，ONES Assistant 可基于项目内工作项数据执行创建缺陷、更新缺陷状态等操作，输出过程可追踪、结果可审计。
