知识问答准确率要先把“答对”定义清楚，再确定样本和分母，最后按可复算的公式统计。常用口径是：准确率＝判定为正确的题数÷有效参评题数×100%。计算时还要区分答案正确、引用来源正确、拒答得当三类结果，单独记录分母为零、无法判定和超出知识范围的情况，避免一个总数掩盖具体问题。
要点总览（TL;DR）
- 准确率＝判定为正确的题数÷有效参评题数×100%，分子分母必须来自同一题库、同一知识库版本和同一判定规则。
- 分母要先剔除重复题、无效题、超出知识范围题和环境异常题，排除规则在统计前确定并逐条记录原因。
- 判定“答对”需要标准答案、答案要点、引用来源和原文片段作证据，多人判定先独立打分再统一细则。
- 部分正确按0分还是0.5分折算、拒答是否单列，会明显改变结果，汇报时必须写明计分口径。
- 准确率只反映给定题库下的答对比例，汇报应同时给出有效题数、时间窗、知识库版本和判定细则版本。
评估目标：准确率要回答什么问题
准确率回答的是一个有限问题：在给定题库和判定规则下，回答正确的题目占多大比例。它适合用来比较同一知识库、同一题库在不同版本之间的变化，也适合定位哪些知识域或问题类型容易出错。它无法单独回答“这个问答系统是否好用”“答案是否可信”“员工是否愿意使用”，这些判断需要结合来源引用质量、拒答表现、人工复核结论和使用反馈。
评估开始前，先把结论用途写清楚，再决定统计口径。用途不同，样本构成和判定重点也不同。
| 评估目标 | 判定对象 | 结论用途 | 不宜单独承担的判断 |
|---|---|---|---|
| 答案正确性 | 回答要点是否与标准答案一致 | 衡量知识覆盖与回答质量，定位薄弱知识域 | 答案是否易读、是否解决实际问题 |
| 来源可追溯性 | 引用文档是否存在、是否支撑答案要点 | 检查答案能否被复核，评估引用可靠性 | 引用存在不等于答案正确 |
| 拒答合理性 | 知识范围外或证据不足时是否恰当拒答 | 评估系统在边界问题上的表现 | 拒答率高不直接等于质量差 |
三类目标可以放在同一批题目中评估，但应分项统计。把拒答题直接计入错误，会让一个谨慎的系统得分偏低；把拒答题全部剔除，又会掩盖该答未答的问题。比较稳妥的做法是：总体准确率只统计应当作答且可判定的题目，拒答情况单独列出比例和明细。
指标与范围：分子、分母和参评样本怎么定
准确率的基本公式为：
准确率＝判定为正确的题数÷有效参评题数×100%
分子是判定为“正确”的题目数量，单位是题。分母是有效参评题数，即进入统计的题目总数减去被排除的题目。分子和分母必须来自同一批题目、同一知识库版本和同一判定规则，否则结果不可比。
哪些题应排除在分母之外
- 重复题：同一知识点、同一问法的重复条目，保留一条，其余剔除并记录剔除数量。
- 无效题：题干歧义、标准答案本身有争议、题目指向已下线业务，无法形成稳定判定。
- 超出知识范围题：知识库本就不覆盖的问题，不应计入正确性分母，转入拒答合理性评估。
- 环境异常题：因检索服务故障、权限配置错误导致无法正常作答的题目，修复后重测或单独记录。
排除规则要在统计前确定并写入评估方案，不能看到结果后再剔除低分题。每道被排除的题都要有排除原因，便于他人核对分母。
样本分层与版本口径
题目按知识域（如产品文档、制度流程、技术规范）、问题类型（事实查询、多条件组合、流程步骤、比较判断）和难度分层抽样，各层题量按评估目的分配。需要看总体水平时按业务实际提问分布配比；需要定位薄弱环节时对重点知识域适当加题，并在汇报时说明加权方式。
同一批题必须对应同一知识库版本和同一时间窗。知识条目在评估期间更新，应冻结版本或记录变更时间点，否则前后结果无法复算。
| 指标项 | 定义 | 单位 | 分母口径 |
|---|---|---|---|
| 总体准确率 | 正确题数÷有效参评题数 | % | 剔除重复、无效、超范围、环境异常题 |
| 分域准确率 | 该知识域正确题数÷该域有效题数 | % | 仅统计该域有效题 |
| 拒答合理率 | 恰当拒答题数÷应拒答或超范围题数 | % | 仅统计应拒答与超范围题 |
| 引用支撑率 | 引用能支撑答案要点的题数÷有引用题数 | % | 仅统计给出引用的题 |
数据口径与证据：标准答案和判定依据从哪来
判定“答对”需要可查证的依据，否则不同评审人会对同一答案给出不同结论。标准答案优先取自权威文档、业务负责人确认的口径或版本化的知识条目，并记录来源文档名称、条目版本和确认人。涉及制度、价格、流程节点等易变内容时，标准答案要标注生效时间。
每道题建立判定记录，至少包含以下字段：
- 答案要点：把标准答案拆成若干必须覆盖的要点，逐条勾选是否命中。
- 引用来源：回答给出的文档或条目是否真实存在，是否支撑对应要点。
- 原文片段：关键结论附上标准答案中的原文位置，便于复核。
- 判定结果：正确、部分正确、错误、拒答、无法判定，五类互斥。
- 判定人与判定时间：保留责任人，便于分歧回溯。
多人判定时，先各自独立判定，再比对结果。分歧集中在“部分正确”与“正确”的边界、“答案要点命中几条算正确”这类规则问题上，应回到判定细则统一口径，而不是逐题协商。可定期抽取一部分题目做双人复核，统计两人判定一致的比例，一致性偏低说明判定细则需要细化。
无法判定的题目要单独记录原因，例如标准答案缺失、知识条目正在修订、问题涉及未上线业务。这类题目不计入分子，也不计入有效分母，但在报告中列出数量，防止通过“无法判定”消化低分题。
当评估需要长期运行，判定记录、标准答案和知识条目版本需要放在同一处管理。ONES 的文档与知识条目支持版本记录，工作项可以承载每道题的判定状态、责任人和复核结论，让标准答案变更与评估批次对应起来，复算时能追溯到当时的依据。
计算与评估步骤：从抽样到出数的完整流程
下面是一套可以重复执行的流程，每一步都留下可核对的产物。
- 确定评估目标与范围。写明本次评估覆盖哪些知识域、服务哪类使用场景、结论给谁用。产物是一页评估说明，包含目标、范围和不评估的内容。
- 抽样建题。按知识域、问题类型、难度确定题量和比例，形成题目清单，标注题目版本和对应的知识库版本。产物是带分层标记的题库表。
- 编写标准答案与判定细则。为每题拆出答案要点，明确“全部要点命中为正确、命中主要要点为部分正确、关键要点错误为错误”的规则。产物是标准答案表和判定细则。
- 逐题作答与判定。在冻结的知识库版本上运行问答，按细则给出五类判定之一，并填写引用与证据字段。产物是逐题判定记录。
- 汇总计算。先算有效参评题数，再算总体准确率和分域、分类型准确率，同时统计部分正确率、拒答率和无法判定数量。产物是汇总表。
- 复核。抽取一定比例题目由第二人重判，核对分母剔除清单，检查是否存在漏记的排除项。产物是复核记录和修订后的汇总表。
汇总表建议按“知识域×问题类型”交叉呈现，每格给出正确题数、有效题数和准确率，避免只看总数。分母为零的格子标注“无有效题目”，不写 0%，也不参与总体加权。
例子：一批题目的准确率怎么算出来
假设某次评估建立题库 120 题，对应同一知识库版本，评估时间窗为一周。按规则剔除重复题 6 题、无效题 4 题、超出知识范围题 8 题、环境异常题 2 题，有效参评题数为 120−6−4−8−2＝100 题。逐题判定后，正确 72 题、部分正确 12 题、错误 9 题、拒答 5 题、无法判定 2 题。
按“仅正确计入分子”的口径：总体准确率＝72÷100×100%＝72.0%。如果把部分正确按 0.5 折算，加权准确率＝(72＋12×0.5)÷100×100%＝78.0%。两种口径都成立，但必须写明采用哪一种，且同一批对比中保持一致。
| 知识域 | 有效题数 | 正确题数 | 准确率 |
|---|---|---|---|
| 产品文档 | 40 | 32 | 80.0% |
| 制度流程 | 35 | 24 | 68.6% |
| 技术规范 | 25 | 16 | 64.0% |
分域结果说明技术规范类问题失分较多，应优先检查该域知识条目是否完整、表述是否便于检索。总体 72.0% 与分域数字同时汇报，读者才能判断问题集中在哪里。
几个边界情形这样处理：某知识域有效题数为零时，该域准确率记为“无有效题目”，不进入总体分母；部分正确题不计入正确分子，但单独列出数量；无法判定题不计入分母，在报告中注明原因；应拒答而正确拒答的题，计入拒答合理率，不计入正确性准确率。若某题标准答案在评估期间发生变更，应作废该题并重测，不能沿用旧判定。
解读与限制：准确率数字能说明什么
准确率与题库构成强相关。题目偏重事实查询，得分通常高于多条件组合和流程推理题；题目难度上调，准确率会下降。因此不同题库、不同抽样比例下的准确率不能直接横向比较，跨版本比较也要确认题库和判定规则未变。
计分方式会明显改变结果。部分正确按 0 分、0.5 分还是 1 分计入，拒答题计入错误还是单列，都会让同一个系统得出不同数字。汇报时应把计分规则与结果放在一起，读者才能判断数字的含义。
准确率是相关性指标，不构成因果保证。准确率提升可能来自题目变简单或知识库版本更新，不能直接推断问答系统本身变强；准确率高也不代表答案引用可靠、边界问题处理得当。解读时应结合引用支撑率、拒答合理率和人工复核记录一起看。
结果汇报至少包含以下字段：总体准确率及计算公式、有效参评题数与剔除明细、题库版本与知识库版本、评估时间窗、判定细则版本、部分正确与拒答的计分方式、无法判定题数量及原因、分域和分类型结果。缺少这些字段的单一百分比，无法被他人复算，也难以支撑后续改进决策。
常见问题
题库里有题目在评估期间标准答案变了，应该怎么处理？
这类题目应作废并重新建题或重测，不能沿用旧判定。做法是把该题从本批次有效参评题数中剔除，记录剔除原因和变更时间点，再用新版本标准答案重新判定。如果变更涉及多个题目，建议冻结知识库版本后整体重跑，保证同一批结果对应同一套依据。
部分正确的题目按0.5分折算，会不会让准确率虚高？
折算方式本身不改变事实，改变的是数字的含义。按0.5分折算得到的是加权准确率，反映“答对一半也算部分贡献”；只把完全正确计入分子得到的是严格准确率，反映“完整答对的比例”。两种口径都可以用，关键是同一批对比中保持一致，并在汇报中写明采用哪一种，同时单独列出部分正确的题数，让读者能还原严格口径的结果。
两个人判定结果不一致时，以谁为准？
先看分歧属于规则问题还是事实问题。属于“命中几条要点算正确”这类规则问题，应回到判定细则统一口径，修订细则后两人按新细则重判；属于标准答案本身有争议的事实问题，应交由业务负责人确认标准答案，再更新题目。逐题协商容易让判定标准随题漂移，建议定期统计双人判定一致比例，一致性偏低时优先细化细则。
拒答率很高，是不是说明问答质量差？
不能直接这样判断。知识范围外的问题、证据不足的问题，恰当拒答是合理表现，应计入拒答合理率而不是错误。需要关注的是“该答未答”：知识库里有明确答案、题目也在范围内，系统却拒答。评估时把应拒答题和应答题分开统计，拒答率高但拒答合理率也高，说明系统在边界上比较谨慎；应答题被拒答的比例高，才指向知识覆盖或检索环节的问题。
不同批次评估的准确率可以直接比较吗？
只有在题库、抽样比例、判定细则和计分方式都一致时，跨批次比较才有意义。如果题目难度调整、知识域配比变化或部分正确的折算规则改了，数字变化可能来自评估设计而非问答效果。建议保留题库版本号和判定细则版本号，比较时先确认这两项未变，再结合有效参评题数和分域结果一起看。
