知识问答准确率的核心计算方式是：判定为正确的回答数 ÷ 有效回答总数 × 100%。要让这个数字可复算、可比较，关键在于先定义“答对”的判定口径，再固定问题集、分母规则和缺失值处理方式。本文给出一套从评估目标、判定标准到公式口径、计算步骤和完整示例的方法，并说明结果如何解读。
要点总览（TL;DR）
- 知识问答准确率 = 判定为正确的回答数 ÷ 有效回答总数 × 100%，分母需剔除空回答、超时、拒答和无法判定样本并单独统计。
- “答对”要事先定义：答案要点覆盖、来源引用可追溯、时效符合三项标准全部通过，才计入分子。
- 问题集按真实提问分层抽样并冻结版本，分事实型、流程型、多跳型、时效型报告结果，避免单一总分掩盖差异。
- 报告时同时给出有效样本量、置信区间和分题型结果；样本过少时只报题数与正确题数，不用百分比下结论。
- 准确率是描述性指标，需与来源引用率、时效达标率、满意度结合解读，不设通用达标线，按业务容忍度约定验收区间。
评估目标：准确率要回答哪个问题
准确率评估开始前，先要明确它服务哪个决策。常见用途有三类：上线验收时判断问答能力是否达到约定水平；版本对比时判断新版本相对旧版本是否改进；问题定位时找出哪类问题、哪类来源的回答容易出错。用途不同，问题集构成和判定严格程度也会不同，因此评估目标应在问题集设计之前写清楚。
评估对象建议限定在答案内容层面，拆成三项可分别判定的标准：答案要点是否正确覆盖了问题所需的关键信息；来源引用是否可追溯，即回答给出的依据能否对应到具体文档或段落；时效性是否符合要求，即回答引用的信息在评估时点是否仍然有效。三项标准可以合并为单题“是否答对”的判定，也可以分别统计，但合并规则必须事先固定。
需要明确排除在准确率之外的内容：检索召回率、排序质量、响应时延、Token 消耗等 RAG 底层工程指标，以及模型训练阶段的损失、微调效果等训练指标。这些指标与准确率相关，但回答的是不同问题，混入同一个分子分母会让结果无法解释。端到端可用性如果包含界面交互、权限控制等因素，也应单独评估，不并入答案准确率。
指标与范围：问题集、题型与判定标准
准确率的分母来自问题集，问题集的质量直接决定结果的可信度。问题集应来自真实使用场景中的提问记录，按业务模块、文档来源或用户角色分层抽样，并保留抽样比例和抽样时间。问题集一经确定，在同一轮评估内不再增删；跨版本对比时使用同一份问题集，或使用按相同规则重新抽样的等价问题集，并在报告中说明差异。
题型分层能让结果更有解释力。建议至少区分四类：事实型问题，答案指向单一明确事实；流程型问题，答案需要按步骤组织；多跳型问题，答案需要综合多处信息；时效型问题，答案对信息更新时间敏感。每类题型在问题集中的占比应记录，分题型准确率与整体准确率一起报告。
单题判定标准建议做成可对照的表格，判定人按表逐项核对，减少主观差异。
| 判定维度 | 判定为正确 | 判定为错误 | 记录要求 |
|---|---|---|---|
| 要点覆盖 | 回答包含参考答案列出的全部关键要点，表述可以有差异 | 缺少任一关键要点，或要点表述与事实不符 | 记录缺失或错误的要点编号 |
| 来源引用 | 引用来源可定位到具体文档或段落，且内容支持回答 | 无引用、引用无法定位，或引用内容不支持回答 | 记录引用是否可追溯 |
| 时效符合 | 引用的信息在评估时点仍有效 | 引用了已失效或被替代的信息 | 记录信息有效期判断依据 |
标注人数与分歧处理需要事先约定。常见做法是每题由两名标注人独立判定，两人结论一致则直接采用；结论不一致时由第三人复核或小组讨论定论，并记录分歧原因。分歧率本身也是评估质量的信号，分歧率过高说明判定标准不够清晰，应先修订标准再继续标注。
数据口径：分子、分母与缺失值处理
准确率的计算公式为：准确率 = 判定为正确的回答数 ÷ 有效回答总数 × 100%。分子是三项判定标准全部通过的回答数；分母是有效回答总数，即剔除空回答、超时、拒答和无法判定样本后的回答数。统计单位建议按“题”计，即每个问题取一次回答参与判定；如果同一问题多轮提问，需在报告中注明按轮次统计，并保持跨版本口径一致。
时间窗要写清楚：问题集抽样时间、回答生成时间、判定完成时间，以及时效性判断所依据的信息截止时间。跨版本对比时，两个版本应使用相同的时间窗长度和相同的时效判断基准，否则差异可能来自信息更新而非问答能力变化。
缺失值处理规则建议如下：
- 空回答：不计入分母，单独统计空回答率，并记录发生的问题类型。
- 超时：不计入分母，单独统计超时率，注明超时阈值。
- 拒答：区分合理拒答与不合理拒答。合理拒答（如问题超出知识范围）不计入分母；不合理拒答计入分母并判为错误。
- 无法判定：标注人依据现有资料无法判断对错时，不计入分母，单独统计无法判定率，并说明原因。
分母为零时准确率无定义，应报告“样本不足，未计算”，不用 0% 或 100% 代替。有效样本过少时，例如少于 30 题，建议只报告题数和正确题数，或同时给出置信区间，避免用一个小样本的百分比下结论。
计算与评估步骤：从标注到出数
执行阶段建议按固定顺序推进，保证结果可复算。
- 冻结问题集：确定题目、参考答案要点、题型标签和来源范围，形成版本号。
- 采集回答：在约定环境下对每个问题生成回答，记录生成时间、引用来源和原始输出。
- 首轮标注：两名标注人按判定标准表独立逐题判定，填写要点覆盖、来源引用、时效符合三项结果。
- 复核分歧：汇总不一致题目，由第三人复核或讨论定论，记录最终判定和分歧原因。
- 汇总计算：按公式计算整体准确率，同时计算分题型、分来源的准确率。
- 报告区间：给出有效样本量和置信区间，跨版本对比时报告差值与区间是否重叠。
置信区间可用比例的近似区间估算，样本量较小时优先使用精确方法。版本对比时，除了比较两个准确率数值，还应看差值区间是否覆盖零；如果区间重叠明显，差异可能来自抽样波动，不宜直接宣布改进。
评估过程会产生大量需要留痕的材料：问题集版本、参考答案、逐题判定记录、分歧处理结论和每次出数结果。这些材料需要统一存放并保持版本对应，否则跨版本对比时难以确认两次评估是否用了同一口径。ONES 的文档与工作项能力可以承载这类评估管理：问题集和判定标准作为文档版本管理，逐题标注结果作为工作项记录状态与责任人，复核结论和出数结果关联到同一评估任务，便于后续追溯和复用。
例子：一组问题集的准确率计算
以下为演示情景，数字用于说明计算过程，不代表任何产品的实际表现。假设某轮评估抽取 100 道问题，题型分布为事实型 40 题、流程型 25 题、多跳型 20 题、时效型 15 题。采集回答后，出现空回答 4 题、超时 3 题、无法判定 3 题，这 10 题不计入分母，有效回答总数为 90 题。
对 90 题逐题判定后，三项标准全部通过的有 68 题，即分子为 68。整体准确率 = 68 ÷ 90 × 100% ≈ 75.6%。分题型结果如下表。
| 题型 | 题数 | 剔除样本 | 有效题数 | 判定正确 | 准确率 |
|---|---|---|---|---|---|
| 事实型 | 40 | 2 | 38 | 33 | 86.8% |
| 流程型 | 25 | 3 | 22 | 17 | 77.3% |
| 多跳型 | 20 | 3 | 17 | 10 | 58.8% |
| 时效型 | 15 | 2 | 13 | 8 | 61.5% |
| 合计 | 100 | 10 | 90 | 68 | 75.6% |
这个例子说明两点。第一，整体准确率掩盖了题型差异：事实型接近 87%，多跳型和时效型在 60% 左右，改进重点应放在后两类。第二，剔除的 10 题需要单独报告，空回答率 4%、超时率 3%、无法判定率 3%，这些数字反映的是可用性问题，与答案对错是不同维度。若下一版本整体准确率升到 80%，但多跳型仍停留在 60% 附近，就不能简单认为能力全面提升。
解读与限制：准确率能说明什么
准确率回答的是“在给定问题集和判定标准下，回答正确的比例”，它不直接等于用户满意度。用户可能因为回答冗长、表述难懂或引用位置不便而给出低评价，这些因素不在准确率的分子里。把准确率与满意度调查结果并列观察，才能判断内容正确是否转化成了可用体验。
样本代表性决定结论能推广多远。如果问题集集中在某几个文档来源或某类用户提问，准确率只对相近场景有参考意义。报告时应写明问题集来源、抽样方式和覆盖范围，跨团队或跨业务线引用时谨慎外推。
准确率是描述性指标，不能证明因果。准确率上升可能来自文档更新、问题集变化或标注标准调整，不必然是问答能力改进。要判断改进来源，需要控制问题集和判定标准不变，并结合来源引用率、时效达标率等指标一起看：来源引用率反映回答是否可追溯，时效达标率反映信息是否新鲜，三者结合才能定位问题出在内容、引用还是更新机制上。
最后，不建议设定一个通用的准确率达标线。合理做法是根据业务对错误答案的容忍度、问题类型分布和使用场景，与相关方约定验收区间，并在每次评估中同时报告样本量、置信区间和分题型结果，让数字在明确条件下被使用。
常见问题
同一道题多次提问，准确率按题还是按轮次统计？
两种口径都可以，关键是跨版本保持一致并在报告中写明。按题统计时，每个问题只取一次回答参与判定，适合评估知识覆盖水平；按轮次统计时，每次提问都计入分母，能反映多轮交互中的稳定性，但同一问题会重复出现。若采用按轮次统计，建议同时说明每题的提问次数和取答规则，例如取首次回答或取最后一次回答，避免不同版本因取答方式不同产生不可比的结果。
标注人之间分歧较多时，应该先修订标准还是先完成标注？
建议先暂停标注、修订判定标准。分歧率高通常说明标准中某些表述不够可操作，例如“要点覆盖”没有列出关键要点清单，或“时效符合”没有明确信息截止时间。处理方式是抽取分歧集中的题目做小组讨论，把讨论结论补充为标准中的示例和边界说明，再重新校准标注人。修订后的标准要记录版本，已标注的题目按新标准复核，避免同一轮评估混用两套口径。
合理拒答与不合理拒答怎么区分，对准确率有什么影响？
区分依据是问题是否落在知识库覆盖范围内。问题明确超出知识范围、或涉及无权限内容时，回答说明无法作答属于合理拒答，不计入分母；问题在知识范围内、资料也存在，回答却拒绝作答，属于不合理拒答，应计入分母并判为错误。这条规则需要在评估前写进判定标准，并给出知识范围的界定方式，否则不同标注人会对同一拒答给出不同归类，影响分子分母的稳定性。
跨版本对比时，两个版本的准确率差多少才算真正改进？
不能只看差值大小，要看差值区间是否覆盖零。两个版本各自有抽样波动，如果准确率差值的置信区间包含零，差异可能来自样本波动，不宜直接宣布改进。实践做法是保持问题集和判定标准不变，报告两个版本的准确率、有效样本量和区间，再结合分题型结果判断改进集中在哪些题型。若同时调整了问题集或标准，应视为两次不同口径的评估，先说明口径差异再比较。
准确率评估的材料如何留存，才能支持后续复算？
需要留存五类材料并保持版本对应：冻结后的问题集与参考答案要点、判定标准表及其版本、逐题判定记录（含三项标准的判定结果与缺失原因）、分歧处理结论、每次出数的汇总结果。材料之间用同一评估任务编号关联，跨版本对比时能确认两次评估是否使用同一问题集和同一标准。ONES 的文档与工作项能力可以承载这类管理：问题集和判定标准按文档版本管理，逐题标注结果作为工作项记录状态与责任人，复核结论与出数结果关联到同一评估任务，便于追溯和复用。
