AI答案核验要回答三个问题：答案是否正确、是否有据、是否可用。本文给出一套可复算的评估方法，从评估目标与样本范围出发，定义答案正确率、引用支撑率、来源可追溯率等指标的分子分母与统计时间窗，用统一评分表和双人复核留存证据，最后按时间窗计算并解释结果。文中的算例为演示数据，用于说明计算过程。
要点总览（TL;DR）
- AI答案核验分三个层面判定：事实正确、来源可追溯、业务可用，三者分开记录才能定位问题出在检索、知识维护还是生成环节。
- 核心指标为答案正确率、引用支撑率、来源可追溯率、拒答或转人工率，每个指标都要写明分子、分母、统计时间窗和单位，保证结果可复算。
- 评分表固定问题、答案、引用来源、判定结论、判定理由、评估人六个字段，采用正确、部分正确、错误、无法判定四档，双人独立评分后由第三人裁定分歧。
- 核验按确定样本、逐条评分、复核分歧、汇总计算、归因分类五步推进，分母为零记为不适用，无响应条数单独报告并从已评估答案中剔除。
- 单批次小样本结果只反映特定时间窗和抽样范围的表现，跨知识库版本不可直接比较，用于验收或对外承诺需扩大样本并给出置信区间。
核验要回答什么问题：目标与判定边界
核验对象是问答系统针对具体问题给出的答案，以及答案附带的引用来源。核验不评价系统架构是否先进，只判断这一次输出在事实、来源和业务使用三个层面是否站得住。评估开始前先把判定目标写清楚，后续的指标、评分表和复核规则都围绕这三个层面展开。
三个判定层面
| 层面 | 判定问题 | 典型判定依据 |
|---|---|---|
| 事实正确 | 答案中的关键陈述与权威资料一致吗 | 知识库原文、制度文件、产品文档中的对应段落 |
| 来源可追溯 | 答案给出的引用能否定位到具体原文，引用内容是否支撑该结论 | 引用链接或页面标题、段落位置、知识库版本号 |
| 业务可用 | 答案的完整度、时效性和表述方式能否直接支撑提问者的下一步动作 | 提问场景、业务规则、答案是否覆盖必要前提与例外 |
三个层面分开判定，是因为它们会独立出问题。答案事实正确但引用指向了无关页面，属于引用错误；引用准确但内容已随制度更新而过期，属于知识过期；两者都过关但答案缺少关键前提，业务上仍不可用。合并成一个“好/不好”的判断，后续归因就无从下手。
边界说明
核验聚焦答案输出层，不评估RAG底层工程实现，包括向量检索参数、分块策略和模型训练方法；这些属于系统建设范畴，其效果最终会体现在答案质量上，但核验环节不直接下结论。核验也区别于传统关键词检索评估：检索评估看召回与排序，答案核验看的是经过生成之后的完整回答，两者指标口径不同，不能互相替代。若团队同时在做检索评估，应分开建表、分开出数。
指标与范围：核验哪些答案、算哪些数
指标体系控制在四个核心指标，每个指标都写明分子、分母、统计时间窗和单位，保证任何人拿到原始评分记录都能复算。指标之外先定抽样范围，否则分母口径无法稳定。
指标定义表
| 指标 | 分子 | 分母 | 时间窗与单位 |
|---|---|---|---|
| 答案正确率 | 判定为“正确”的答案条数 | 已评估且判定结论为正确、部分正确、错误的答案条数（不含无法判定） | 按评估批次统计，单位：条，结果以百分比表示 |
| 引用支撑率 | 引用内容能够支撑答案关键结论的条数 | 附有引用的已评估答案条数 | 同上批次，单位：条 |
| 来源可追溯率 | 引用可定位到具体原文位置（页面、段落或附件页码）的条数 | 附有引用的已评估答案条数 | 同上批次，单位：条 |
| 拒答或转人工率 | 系统明确拒答或建议转人工的提问条数 | 本批次全部抽样提问条数 | 同上批次，单位：条 |
引用支撑率与来源可追溯率的分母都是“附有引用的答案”，没有引用的答案不进入这两个指标的分母，单独计入“无引用条数”作为观察项。这样处理可以避免把“没给引用”和“引用错误”混为一谈。拒答或转人工率的分母是全部抽样提问，因为拒答本身也是对提问的一种响应，需要单独观察其比例是否合理。
抽样范围
样本按三个维度分层：业务域（如研发流程、测试规范、产品文档）、问题类型（事实查询、流程步骤、对比判断、开放建议）、知识库版本（更新前与更新后）。每层设定最低抽样条数，层内随机抽取，避免评估人只挑容易判断的问题。若某业务域提问量占比高，可按比例增加样本，但需在报告中注明加权方式，保证汇总数与分层数可对应。
数据口径与证据：评分表、引用与复核记录
评分口径的作用是让不同评估人对同一条答案得出相同结论。做法是固定评分表字段、固定判定档位、固定证据留存方式，再用双人复核处理分歧。
评分表字段
| 字段 | 填写要求 |
|---|---|
| 问题 | 原始提问文本，保留提问时间与提问人所属业务域 |
| 答案 | 系统完整输出，含引用部分，原样记录不做删改 |
| 引用来源 | 引用指向的页面标题、段落位置或附件页码，附知识库版本号 |
| 判定结论 | 正确、部分正确、错误、无法判定，四档之一 |
| 判定理由 | 指出答案中哪一句正确或错误，对应哪份原文，一段话内说清 |
| 评估人 | 姓名与评估日期，便于追溯和复核分派 |
判定档位需要给出通过标准。“正确”指关键结论与原文一致且引用支撑到位；“部分正确”指主要结论成立但存在遗漏前提、表述不完整或引用部分相关；“错误”指关键结论与原文矛盾或引用内容不支持结论；“无法判定”指现有资料不足以判断，需记录缺哪份资料。四档标准在评估启动会上对齐一次，之后写入评分表说明，避免中途改口径。
证据类型与复核规则
每条判定至少留存一类证据：原文出处（页面标题加段落摘录）、知识库版本号、截图或链接记录。证据与判定理由放在同一行记录中，便于复核人直接比对。复核采用双人独立评分：两名评估人先各自判定，结论不一致时由第三人或评估负责人依据原文裁定，裁定结论与分歧原因一并记录。分歧率本身可以作为口径是否清晰的观察项，若某类问题分歧频繁，应回头细化该类问题的判定标准，而不是简单取平均。
计算与评估步骤：从抽样到出数
整个核验按五步推进，每步有明确输入和产出，产出直接进入下一步，最终形成可复算的指标结果和归因清单。
- 确定样本。输入为提问日志和分层规则，动作是按业务域、问题类型、知识库版本分层随机抽取，产出为带编号的样本清单，记录抽样时间窗和总条数。
- 逐条评分。输入为样本清单和评分表，动作是评估人逐条填写判定结论、理由和证据，产出为初评记录。
- 复核分歧。输入为初评记录，动作是第二评估人独立判定，不一致条目进入裁定，产出为终评记录和分歧清单。
- 汇总计算。输入为终评记录，动作是按指标定义统计分子分母并计算百分比，产出为指标结果表。
- 归因分类。输入为判定为部分正确和错误的条目，动作是按检索缺失、知识过期、生成偏差、引用错误四类归因，产出为归因分布和改进建议。
计算公式统一写成：答案正确率 = 判定正确的答案数 ÷ 已评估答案数 × 100%。其中已评估答案数不含“无法判定”条目，无法判定条数单独报告。引用支撑率 = 引用能支撑结论的条数 ÷ 附有引用的已评估答案数 × 100%。来源可追溯率同理，分子替换为可定位到具体原文位置的条数。
分母为零和缺失值需要事先约定处理方式。某批次若没有附引用的答案，引用支撑率记为“不适用”，不记为0%，并在报告中说明原因；单条记录缺少判定理由的，退回评估人补填，不进入汇总；样本中因系统故障未返回答案的提问，单独计入“无响应条数”，从已评估答案数中剔除，同时报告其占比。所有剔除和不适用的处理都要在结果表下方注明，保证读者能还原分母。
一个算例：30条答案的核验结果
以下为演示情景，数字用于说明计算过程，不代表任何真实系统的表现。某批次抽取30条提问，其中2条系统未返回答案，计入无响应条数并从已评估答案中剔除；1条因现有资料不足判定为无法判定。剩余27条进入正确率计算：正确18条，部分正确5条，错误4条。
答案正确率 = 18 ÷ 27 × 100% ≈ 66.7%。若把部分正确按0.5折算，加权正确率为（18 + 5×0.5）÷ 27 × 100% ≈ 75.9%。两种口径都要报告，前者用于严格判断，后者用于观察趋势，报告中注明所用口径，不同批次之间不混用。
27条已评估答案中，22条附有引用。引用支撑率 = 引用能支撑结论的17条 ÷ 22 × 100% ≈ 77.3%；来源可追溯率 = 可定位到具体原文的19条 ÷ 22 × 100% ≈ 86.4%。拒答或转人工率 = 拒答或建议转人工的3条 ÷ 30 × 100% = 10%。
对5条部分正确和4条错误共9条进行归因：检索缺失3条（相关知识存在但未被检索到）、知识过期2条（引用的是旧版制度）、生成偏差2条（答案加入了原文没有的推断）、引用错误2条（引用页面与结论无关）。据此，改进方向分别对应补充检索覆盖、建立知识更新与版本标注、在提示与评审中约束推断表述、检查引用匹配逻辑。归因分布比单一正确率更能指导下一步动作。
解读与限制：指标能说明什么、不能说明什么
核验结果描述的是特定时间窗内、特定抽样范围内答案的表现，不能直接外推为系统的长期质量水平。样本量小时，单条判定的变化就会引起百分比明显波动，30条样本中一条答案的差异约为3.7个百分点，报告应同时给出条数而非只给百分比。分层抽样若偏向易判断的问题类型，正确率会被高估，因此抽样规则和分层占比需要随结果一起披露。
知识库更新会直接改变答案的事实基础。同一批问题在制度更新前后核验，结果不可直接比较，应分别标注知识库版本，跨版本对比时说明变更内容。指标之间也不能互相替代：正确率高但引用支撑率低，说明答案可能依赖模型自身知识而非企业资料，可追溯性不足；引用支撑率高但业务可用性差，说明引用准确而答案没有覆盖必要前提。四个指标要一起看，并结合归因分布判断问题出在检索、知识维护还是生成环节。
核验结论的适用范围限于被评估的业务域和问题类型，用于判断当前答案质量、定位改进方向、验证知识更新或检索调整的效果。建议按固定周期复评，例如知识库有较大更新后、问答系统配置调整后各复评一次，日常按季度抽检；每次复评沿用同一评分表和指标口径，保证结果可比。若要把核验结果用于验收或对外承诺，应扩大样本量并明确置信区间，单批次小样本结果不足以支撑这类用途。
在核验流程落地时，问题记录、评分任务分派和复核流转需要有承载的地方。ONES Assistant 可基于指定的 Wiki 页面组回答问题并附上引用来源，其输出过程可追踪、结果可审计，便于把待核验的问答记录与知识原文对应起来；核验中发现的问题条目、归因结论和复评任务可以在 ONES 中建立为可追踪的工作项，分派给知识维护人或系统负责人，复核结论与证据随工作项留存，形成从发现问题到关闭问题的闭环。
常见问题
答案“部分正确”在计算正确率时算不算正确？
建议同时报告两种口径。严格口径下，正确率只统计判定为“正确”的条数，部分正确不计入分子；加权口径下，部分正确按0.5折算后计入分子，用于观察趋势。两种口径都要在报告中注明，同一批次内不混用，跨批次对比时保持口径一致。若团队需要对外汇报，优先使用严格口径，并附上部分正确的条数，避免读者只看到百分比而忽略分布。
抽样时应该按提问量比例抽，还是每个业务域平均抽？
取决于核验目的。想反映系统整体表现，按提问量比例分层抽样，并在报告中说明加权方式；想比较各业务域的薄弱环节，每个业务域设最低抽样条数，保证小业务域也有足够样本支撑判断。两种方式可以并行：主样本按比例抽取用于汇总指标，补充样本按业务域补齐用于分层分析，但两套样本要分开建表，不能混在一起算同一个分母。
两名评估人判定不一致时，直接取多数意见可以吗？
不建议简单取多数。分歧条目应交由第三人或评估负责人依据原文裁定，裁定结论和分歧原因一并记录。分歧率本身是有用的观察项：某一类问题反复出现分歧，通常说明该类问题的判定标准写得不够具体，应回头细化标准，例如明确“答案缺少前提条件”在什么情况下判为部分正确。把分歧当作口径校准的输入，比强行统一结论更有价值。
知识库更新后，之前的核验结果还能继续用吗？
可以用于历史对比，但不能直接与更新后的结果比较。知识库更新会改变答案的事实基础，同一批问题在更新前后核验，结果应分别标注知识库版本，跨版本对比时说明变更了哪些内容。建议在知识库有较大更新后复评一次，沿用同一评分表和指标口径，这样新旧结果才具备可比性。日常可按季度抽检，保持对答案质量的持续观察。
核验中发现的问题怎么跟进到关闭？
把判定为部分正确和错误的条目按检索缺失、知识过期、生成偏差、引用错误四类归因后，逐条建立可追踪的工作项，分派给知识维护人或系统负责人，附上原文证据和判定理由。复核结论随工作项留存，关闭时记录处理方式，例如补充知识页面、标注版本或调整引用匹配。ONES Assistant 可基于指定的 Wiki 页面组回答问题并附上引用来源，其输出过程可追踪、结果可审计，便于把待核验的问答记录与知识原文对应起来；问题条目与复评任务也可以在 ONES 中作为工作项流转，形成从发现问题到关闭问题的闭环。
