知识问答准确率的统计口径，核心是把“准确”拆成可判定的层级：答案是否正确、是否覆盖关键要点、引用来源是否支持结论，再固定评测集、判定单位、判定人和时间窗。本文给出一套可复算的口径设计方法，包含指标定义、评测集字段、计算公式与完整算例，并说明数字的解读边界。
要点总览（TL;DR）
- 准确率统计先拆层级：答案正确率、要点覆盖率、引用支持率分别统计、分别给分母，避免一个数字承担全部判断。
- 口径要落到可复算字段：评测集固定问题、标准答案、要点列表、来源文档、知识版本、判定结果与判定人，判定单位事先选定。
- 整题准确率 = 正确题数 ÷ 有效判定题数 × 100%；无法判定项单列，分母为零时报告“不适用”而非 0%。
- 判定采用单人初判加双人独立复核，分歧仲裁，一致率作为口径可信度参考；口径变更后需重新建立基线再比较。
- 准确率是带样本误差的估计值，需与样本量、分组结果、覆盖率与满意度并列解读，不单独作为绩效结论。
评估目标：准确率要回答哪个问题
在动手统计之前，先明确这个数字要支撑什么决策。知识库上线验收关心“能不能用”，问答质量巡检关心“有没有退化”，版本对比关心“新版本是否更好”。三类决策对样本、判定粒度和时间窗的要求不同，口径也应随之调整。如果目标没有说清，统计结果很容易被各方按自己的理解引用。
准确率只回答“答案对不对”这一件事。引用准确率回答“给出的来源是否真的支持结论”，覆盖率回答“用户的问题中有多少能被知识库接住”，满意度回答“用户是否认可回答”。四类指标各自有分母，混在一起算会掩盖问题：答案正确但引用错配，说明检索与生成之间的衔接有缺陷；答案错误但引用正确，说明知识本身缺失或表述不清。建议在评估方案中把指标分工写成一张表，明确每个指标服务哪个决策、由谁解读。
| 指标 | 回答的问题 | 典型使用场景 | 不承担的判断 |
|---|---|---|---|
| 答案正确率 | 回答内容与标准答案是否一致 | 上线验收、版本对比 | 知识覆盖是否充分 |
| 要点覆盖率 | 关键要点是否被完整回答 | 复杂问题质量巡检 | 表述是否简洁 |
| 引用支持率 | 引用来源是否支持结论 | 可信度评估、审计 | 答案本身是否正确 |
| 覆盖率 | 提问中有多少能被知识库接住 | 知识库建设规划 | 接住之后答得对不对 |
| 满意度 | 用户是否认可回答 | 运营监测 | 客观正确性 |
单一准确率不应作为团队绩效的全部依据。它受评测集构成影响很大，换一批题就可能明显波动；它也无法反映响应速度、使用频率和业务收益。把准确率放在指标组中解读，并注明样本与口径，才能避免数字被过度引申。
指标与范围：准确率包含哪些判定层级
准确率至少可以拆成三层，每层单独统计、单独给分母。第一层是答案正确率，判定整条回答的结论是否与标准答案一致，适合结论明确的事实型问题。第二层是要点覆盖率，把标准答案拆成若干必答要点，统计回答命中了多少，适合流程、方案、对比类问题。第三层是引用支持率，检查回答中标注的来源是否真的包含支撑该结论的内容，适合对可信度要求高的场景。三层可以同时报告，也可以按问题类型选用，但同一份报告内应说明用了哪一层。
范围边界要写清楚三件事。题目范围：评测集来自高频问题、业务关键问题还是长尾问题，各自占比多少；不同来源的题目难度差异明显，混合统计时必须分组出数。知识范围：问答系统被允许使用哪些文档、哪个知识库版本，超出范围的问题应标记为“范围外”而非判错。时间范围：统计覆盖哪个时间段内的提问与哪个版本的知识库，知识库更新后旧结果不能直接与新结果比较。
本文讨论的是知识问答效果的统计方法，RAG 底层工程实现、向量检索调优和模型训练方法不在范围内。这些环节的改动会影响准确率，但评估它们需要另一套工程指标。
数据口径：评测集、判定单位与判定规则
口径要落到可复算的字段上。评测集建议固定以下字段，缺字段的记录不进入统计：
| 字段 | 说明 | 示例 |
|---|---|---|
| 题目编号 | 唯一标识，便于复核 | Q-001 |
| 问题原文 | 用户实际提问或等价改写 | 发布流程需要哪些审批节点？ |
| 题目来源 | 高频、关键、长尾 | 高频 |
| 标准答案 | 经业务确认的参考答案 | …… |
| 要点列表 | 必答要点，逐条编号 | P1 提测审批；P2 发布审批…… |
| 来源文档 | 支撑标准答案的文档及版本 | Wiki-发布规范 v3 |
| 知识版本 | 问答系统使用的知识库版本 | KB-2026-06 |
| 判定结果 | 正确、部分正确、错误、无法判定 | 部分正确 |
| 判定人 / 判定时间 | 记录判定责任与时效 | 张某 / 2026-06-12 |
判定单位决定分母，必须在统计前选定并在报告中注明。整题判定以“有效判定题数”为分母，适合快速巡检；要点判定以“应答要点总数”为分母，能反映回答的完整程度；答案片段判定以“被判定片段数”为分母，适合长回答的细粒度评估。三种单位不能在同一张准确率表里混用，否则分子分母对不上。
判定人安排建议采用单人初判加抽样双人独立复核。全部题目双人判定成本高，可以对关键题目和高分歧题型做全量双判，其余按比例抽样。两人结论不一致时进入仲裁，由第三人结合标准答案和来源文档裁定，仲裁结论回写评测集。缺失值和无法判定项单独计数：题目本身有歧义、来源文档缺失、系统超时未返回，都归入“无法判定”，不并入正确或错误。判定规则要写成文档并版本化，规则修订后旧判定结果需标注适用版本，避免跨版本直接比较。
计算步骤：准确率怎么算、分母怎么定
三个指标的计算公式如下，分子分母均以同一时间窗、同一知识版本内的有效判定记录为限。
- 整题准确率 = 判定为正确的题数 ÷ 有效判定题数 × 100%。有效判定题数 = 总题数 − 无法判定题数。
- 要点准确率 = 命中要点数 ÷ 应答要点总数 × 100%。应答要点总数指评测集中所有有效题目的要点数之和。
- 引用支持率 = 引用可支持结论的答案数 ÷ 有引用的答案数 × 100%。没有给出引用的答案不计入分母，单独报告“无引用答案数”。
分母为零时报告“不适用”，不写 0%。全部题目都无法判定时，准确率同样标记为不适用，并说明原因分布。部分正确如何计入整题准确率，需要在规则中事先约定：常见做法是整题准确率只计“完全正确”，部分正确单列比例；要点准确率则天然容纳部分命中。
汇总时按知识域、问题类型、题目来源分组出数，每组附样本量。样本量过少的分组只作观察，不据此下结论。双人判定的一致性用一致率表示：一致题数 ÷ 双判题数 × 100%，它衡量口径的可信度，本身不是准确率。一致率偏低时，应先修订判定规则再扩大评测，而不是直接采用分歧前的数字。
例子：一次准确率统计的完整算例
以下为演示情景，数字为便于复算的假设值。某团队对知识问答系统做上线前验收，评测集共 40 题：高频问题 20 题、业务关键问题 12 题、长尾问题 8 题。知识库版本固定为 KB-2026-06，统计时间窗为 6 月 10 日至 6 月 12 日。
判定结果：32 题完全正确，4 题部分正确，2 题错误，2 题无法判定（1 题来源文档缺失，1 题问题本身有歧义）。其中 10 题做了双人独立判定，8 题一致，2 题分歧经仲裁后 1 题改判为部分正确、1 题维持正确。
整题准确率 = 32 ÷ (40 − 2) × 100% = 32 ÷ 38 × 100% ≈ 84.2%。部分正确比例 = 4 ÷ 38 × 100% ≈ 10.5%。
要点统计：38 道有效题目共设 120 个应答要点，回答命中 96 个。要点准确率 = 96 ÷ 120 × 100% = 80.0%。
引用统计：38 道有效题目中 30 道给出了引用，其中 27 道的引用可支持结论。引用支持率 = 27 ÷ 30 × 100% = 90.0%，另有 8 道无引用答案单列。
双人判定一致率 = 8 ÷ 10 × 100% = 80.0%。分组看，高频问题整题准确率 90.0%（18/20），业务关键问题 75.0%（9/12），长尾问题 62.5%（5/8），长尾组样本少，仅作观察。
| 指标 | 分子 | 分母 | 结果 |
|---|---|---|---|
| 整题准确率 | 32 | 38 | 84.2% |
| 部分正确比例 | 4 | 38 | 10.5% |
| 要点准确率 | 96 | 120 | 80.0% |
| 引用支持率 | 27 | 30 | 90.0% |
| 双人判定一致率 | 8 | 10 | 80.0% |
结果呈现时需附带：评测集版本、知识库版本、时间窗、判定规则版本、无法判定题数与原因、双判比例与一致率。缺少这些说明，84.2% 这个数字无法被复核，也无法与下一轮结果比较。
在评估流程的承载上，评测题目、判定记录和知识版本需要有统一的存放位置，才能保证每轮统计可追溯。ONES Assistant 可基于指定的 Wiki 页面组回答问题并附上引用来源，问答过程可追踪、结果可审计；团队可以把评测题目与判定记录作为工作项管理，把标准答案与来源文档放在 Wiki 中并保留版本，使准确率统计的输入与判定过程对应到同一套知识版本上。是否具备内置的评测集管理与统计功能，需在选型时向厂商确认。
解读与限制：数字能说明什么、不能说明什么
准确率是一个带样本误差的估计值。38 道有效题目的样本下，84.2% 的置信区间较宽，与 80% 或 88% 的差异可能只是抽样波动。样本量越小、分组越细，结论越不稳定。报告数字时应同时给出样本量和区间，避免把小数点后的差异当作真实改进。
评测集与真实提问分布之间常有偏差。评测题多来自业务专家整理，表述规范、指向明确；真实用户提问更短、更口语、更依赖上下文。评测集偏难或偏易，都会让准确率偏离实际体验。定期从真实提问中抽样补充评测集，并保留原题不随意替换，是维持可比性的常用做法。
判定人的主观差异和规则漂移会持续影响结果。同一道题在不同判定人手里可能得到不同结论，规则修订后历史判定也需要重新审视。一致率是观察这一风险的工具，一致率下降往往先于准确率异常出现。
准确率提升与业务效果之间没有直接的因果关系。回答更准确可能带来更多使用，也可能因为回答变长而降低阅读效率；准确率不变而覆盖率提升，同样可能改善整体体验。把准确率与覆盖率、引用支持率、满意度并列观察，才能判断改动是否真正有用。
口径一旦变更——评测集替换、判定单位调整、知识版本升级、时间窗改变——旧数字与新数字不再可比，应重新建立基线，并在报告中注明基线日期。跨版本对比只在口径一致的前提下成立。
常见问题
评测集里的题目可以随时替换吗？替换后准确率还能和上一轮比较吗？
评测集题目替换会改变分母和难度构成，替换后的准确率与上一轮不再可比。常见做法是保留原题不动，新增题目单独标注加入批次，报告时区分“固定题集结果”和“含新增题结果”。如果确需整体换题，应重新建立基线，并在报告中注明基线日期和评测集版本，跨版本对比只在口径一致的前提下成立。
部分正确的题目在整题准确率里怎么算？
需要在判定规则中事先约定。常见做法是整题准确率只计“完全正确”，部分正确单独报告比例，避免部分正确被重复计入分子。要点准确率则天然容纳部分命中，按命中要点数除以应答要点总数计算。两种口径可以同时报告，但同一张表内应说明部分正确的处理方式，否则分子分母对不上。
双人判定分歧较多时，应该先扩大评测还是先修规则？
先修规则。一致率偏低说明判定标准本身存在模糊地带，此时扩大评测只会放大分歧。建议抽取分歧题目逐条复盘，明确标准答案的边界、要点是否必答、引用支持到什么程度算支持，把结论写进判定规则文档并版本化，再重新抽样验证一致率。规则稳定后再扩大评测规模，得到的数字才具备可比性。
引用支持率的分母为什么只算有引用的答案？
引用支持率衡量的是“给出的引用是否真的支持结论”，没有引用的答案不存在可判定的引用，放进分母会稀释结果。因此分母取有引用的答案数，无引用答案单独计数并报告。如果团队关心“回答是否应当附引用”，可以另设一个引用覆盖率指标，用有引用的答案数除以有效答案数，与引用支持率分开呈现。
在 ONES 中做准确率统计，评测题目和判定记录放在哪里比较合适？
可以把评测题目与判定记录作为工作项管理，把标准答案与来源文档放在 Wiki 中并保留版本，使统计输入与判定过程对应到同一知识版本。ONES Assistant 支持基于指定的 Wiki 页面组回答问题并附上引用来源，问答过程可追踪、结果可审计，便于复核引用是否支持结论。是否具备内置的评测集管理与统计功能，需在选型时向厂商确认。
