知识问答准确率要拆成可复算的指标：先明确评估目标与问题集范围，再定义答案正确性的判定口径（完全正确、部分正确、错误、应拒答），用“判定为正确的题数 ÷ 有效参评题数”计算，并同时报告分母、时间窗、缺失题处理和置信区间。单看一个准确率数字无法说明系统可用性，需要配合来源引用正确率、拒答准确率与分场景结果一起解读。本文给出从建题集到解读结果的完整方法，并以一个可复算的算例演示计算过程。
要点总览（TL;DR）
- 准确率的主公式是“判定为完全正确的题数 ÷ 有效参评题数 × 100%”，报告时必须同时给出分母、时间窗、判定口径和置信区间。
- 评估前先定用途（验收、选型或持续监控），据此确定问题集范围与判定严格度；部分正确是否折算需二选一并在报告中写明。
- 答案正确率之外，同时报告来源引用正确率、应拒答识别率和答案完整率，并按知识域、问题类型、难度分层看分场景结果。
- 算例演示：120 题题集、作废 2 题、未响应 3 题，有效参评 115 题，完全正确 86 题，严格口径准确率约 74.8%，95% 置信区间约 66.9% 至 82.7%。
- 准确率只说明特定题集与时间窗下的表现，题集偏差、知识更新和调优过拟合都会让数字失真，需配合复评节奏与多指标解读。
评估目标：准确率要回答哪个业务问题
准确率数字本身没有意义，有意义的是它支撑哪个决策。评估开始前，先把用途写清楚，因为它直接决定问题集的规模、难度分布和判定严格度。常见的三种用途对应不同的评估设计：
- 验收：对照事先约定的验收标准，判断系统是否达到上线条件。问题集应覆盖合同或需求文档中约定的知识范围，判定标准从严，部分正确通常不计入分子。
- 选型：在多个候选方案之间比较。问题集需要统一，同一套题、同一判定标准、同一时间窗，否则结果不可比；同时要记录各方案的拒答表现，避免“什么都答”的方案在准确率上占便宜。
- 持续监控：上线后按固定周期复评，观察指标漂移。问题集可以较小但需稳定，并定期补充新知识域的新题，防止题集老化。
评估对象也要写具体：覆盖哪个知识库或 Wiki 空间、通过哪个问答入口提问、由哪类角色使用。例如“面向研发团队、覆盖产品需求与测试规范两个 Wiki 空间、通过助手对话入口提问”，这样的描述才能让评估结果有明确适用范围。
同时明确本次不评估的内容。RAG 底层工程实现、向量检索调优、模型训练与微调、传统关键词检索的召回排序算法，属于工程侧问题，不应混入业务准确率的分子分母。把边界写进评估目标说明，可以避免后续争议时口径被临时扩大。
指标与范围：准确率由哪几个指标组成
把所有质量问题压进一个准确率，会导致数字无法指导改进。建议以答案正确率为主指标，同时报告三个辅助指标，各自回答不同问题。
| 指标名 | 含义 | 用途 | 是否主指标 |
|---|---|---|---|
| 答案正确率 | 判定为正确的题数 ÷ 有效参评题数 | 总体质量结论 | 是 |
| 来源引用正确率 | 引用来源确实支持答案的题数 ÷ 有引用的题数 | 判断答案是否可核验、可信 | 否 |
| 应拒答识别率 | 正确拒答的题数 ÷ 应拒答题数 | 判断系统是否在知识不足时克制作答 | 否 |
| 答案完整率 | 覆盖问题全部要点的题数 ÷ 有效参评题数 | 区分“答对但答不全”的情况 | 否 |
问题集需要分层设计，否则总体准确率会被题目构成掩盖。建议至少按三个维度分层：知识域（如需求管理、测试规范、发布流程）、问题类型（事实查询、多文档综合、流程解释、边界条件判断）、难度（直接可查、需跨文档、需理解上下文）。分层后，每层保留足够题量，才能算出有意义的分场景准确率。
样本量与抽样方式要事先确定。全量人工评估成本高，通常采用分层抽样：每个知识域、每种问题类型各抽若干题，保证小类不被大类淹没。题量过小时，准确率的波动区间很宽，结论要相应保守。抽样规则、抽样时间和题目来源都应记录在评估方案中。
数据口径：分母、判定标准与缺失值怎么定
可复算的前提是口径固定。以下四项规则应在评估开始前书面确定，评估过程中不随意调整。
有效参评题数
有效参评题数 = 题集总题数 − 作废题数 − 因系统原因未产生回答的题数。作废题包括：题目本身有歧义、标准答案在评估期间发生变更、题目超出约定知识范围。作废必须有理由记录，不能因为答错就作废。因超时、服务异常导致无回答的题，单独统计为“未响应”，不计入分母，但要在报告中披露数量；如果未响应比例过高，准确率数字本身失去代表性。
四级判定标准
| 判定 | 标准 | 是否计入分子 |
|---|---|---|
| 完全正确 | 答案要点齐全、表述与知识库一致、无错误信息 | 计入 |
| 部分正确 | 主要要点正确，但遗漏次要要点或存在不影响结论的表述偏差 | 按约定折算或不计入，需事先声明 |
| 错误 | 关键结论错误、张冠李戴、给出知识库中不存在的信息 | 不计入 |
| 应拒答 | 知识库无相关内容或问题超出范围，系统正确表示无法回答 | 单独统计，不计入正确率分子 |
部分正确的处理必须二选一并在报告中写明：严格口径下不计入分子，宽松口径下按 0.5 折算。两种口径不能混用，也不能在结果不理想时临时切换。应拒答题单独成组，其表现用应拒答识别率衡量，不混入答案正确率。
标注一致性与复核
判定由人工完成时，建议双人独立标注，分歧题由第三人仲裁或讨论定案。正式评估前先做一轮小样本试标，统一对“部分正确”和“错误”边界的理解。记录标注人、标注时间和仲裁结论，保证结果可追溯。若分歧率过高，说明判定标准本身需要细化，应先修订标准再继续。
计算步骤：从问题集到准确率数字
按以下顺序执行，每一步都留下记录，最终数字才能被复算。
- 建题集：按分层规则抽取题目，为每题写明标准答案要点、所属知识域、问题类型和难度，并标注该题是否属于应拒答题。
- 固定时间窗：记录问答执行的时间段和知识库版本。知识库在此期间更新，需在报告中说明。
- 执行问答：用统一入口逐题提问，保存原始回答和引用来源，不人工修饰回答内容。
- 判定：按四级标准逐题判定，双人复核，记录分歧与仲裁结果。
- 汇总：按公式计算总体与分场景指标，附上分母和置信区间。
主指标公式为：
答案正确率 = 判定为完全正确的题数 ÷ 有效参评题数 × 100%
若采用部分正确折算口径，分子改为“完全正确题数 + 部分正确题数 × 0.5”。分场景准确率用同一公式，分母换成该场景的有效参评题数，例如测试规范类问题的正确率 = 该场景正确题数 ÷ 该场景有效参评题数。各场景分母之和应等于总体分母，便于核对。
样本量有限时，应给出置信区间。以 95% 置信水平下的正态近似为例，比例的标准误为 √(p(1−p)/n)，区间为 p ± 1.96 × 标准误。题量为 100 题、准确率 80% 时，区间约为 72% 至 88%；题量降到 30 题，同样 80% 的区间会扩大到约 66% 至 94%。这说明小题集只能支持方向性判断，不能支撑精细比较。分母为零时（例如某场景全部题目作废），该场景不计算准确率，标注“样本不足”，不写 0%。
算例：一份可复算的评估示例
以下为演示情景，数字为示例口径，用于说明计算过程，不代表任何产品的实测结果。
某团队评估内部知识问答助手，题集共 120 题，按知识域分为需求管理 40 题、测试规范 40 题、发布流程 40 题；其中应拒答题 10 题，分布在三个知识域中。评估执行一周，期间知识库无重大更新。评估结果：作废 2 题（题目歧义），未响应 3 题，有效参评题数为 120 − 2 − 3 = 115 题。
| 判定结果 | 题数 | 说明 |
|---|---|---|
| 完全正确 | 86 | 计入分子 |
| 部分正确 | 12 | 严格口径不计入 |
| 错误 | 9 | 不计入 |
| 应拒答且正确拒答 | 8 | 单独统计 |
严格口径下，答案正确率 = 86 ÷ 115 × 100% ≈ 74.8%。若采用部分正确折算口径，分子为 86 + 12 × 0.5 = 92，准确率约为 80.0%。两种口径都需在报告中注明。应拒答识别率 = 8 ÷ 10 × 100% = 80%，说明有 2 道应拒答题被错误作答。来源引用正确率按有引用的题目单独计算，示例中 98 道有引用的题里 91 道引用确实支持答案，约为 92.9%。
分场景看，需求管理类正确率约 82%，测试规范类约 76%，发布流程类约 66%。总体 74.8% 掩盖了发布流程类的明显短板，解读时应指出该场景需要优先补充知识条目或调整问答范围。结论表述建议写成：“在 115 道有效题、严格判定口径下，答案正确率为 74.8%（95% 置信区间约 66.9% 至 82.7%），发布流程类问题表现最弱，应拒答识别率为 80%。”
知识条目的维护质量直接影响这类评估结果。在 ONES 中，Wiki 页面承载团队知识，页面问答可基于指定 Wiki 页面组作答并附引用来源，问答范围与权限体系一致，输出过程可追踪。评估发现某知识域答错集中时，可以回到对应 Wiki 页面核对内容是否过期、表述是否有歧义，把修订作为工作项跟进，修订后再复评同一批题目，形成“评估—修订—复评”的闭环。
解读与限制：准确率能说明什么、不能说明什么
准确率是特定题集、特定口径、特定时间窗下的测量结果，它说明系统在这批题上的表现，不能直接等同于真实使用中的满意度。用户提问方式更随意、上下文更复杂，实际体验通常与题集结果存在差距。报告数字时应同时给出分母、判定口径、时间窗和置信区间，让读者知道这个数字的适用范围。
题集偏差是常见误读来源。题目若集中在容易回答的事实查询，准确率会偏高；若评估后针对题目反复调优，指标会虚高而泛化能力未必提升。控制方法是：题集在评估前冻结，调优使用另一批开发题，评估题只在复评时使用；定期补充新题，保持题集与真实提问分布接近。
知识更新会导致指标漂移。文档修订、流程变更、新系统上线都会让原有标准答案失效，同一题集在不同时间点的结果不可直接比较。持续监控时应记录知识库版本，知识大改后重新校准题集，并设定复评节奏，例如每季度一次全量复评、每月一次小样本抽检。
最后，准确率是质量指标之一，不能当作全部绩效结论。它不反映响应速度、使用频率、用户信任度，也不能单独证明系统带来了业务收益。把准确率与来源引用正确率、应拒答识别率、分场景结果放在一起看，再结合真实使用中的反馈，才能形成对系统可用性的完整判断。
常见问题
部分正确的题目到底算不算对？两种口径怎么选？
两种口径都可以用，关键是事先选定并全程一致。严格口径下部分正确不计入分子，适合验收场景，结论更保守；折算口径下按 0.5 计入，适合选型对比或观察改进趋势，能反映“答对但答不全”的进步。选定后写进评估方案，报告中注明所用口径，结果不理想时也不临时切换。若同时报告两种口径，需分别给出数字并说明差异来源。
题量只有三四十题，算出来的准确率能用于上线决策吗？
小题集适合做方向性判断，支撑精细比较要谨慎。以 95% 置信水平的正态近似估算，30 题、准确率 80% 时区间约 66% 至 94%，跨度接近 30 个百分点；100 题时区间收窄到约 72% 至 88%。如果上线决策依赖准确率阈值，建议扩大有效参评题数，或在报告中明确写出置信区间，让决策者看到不确定性范围。分层场景题量更少时，结论表述应更保守。
评估期间知识库更新了，题目标准答案变了怎么办？
先记录知识库版本和更新时间点。若某题的标准答案在评估期间发生实质变更，该题按作废处理并写明理由，不计入有效参评题数；若变更只影响表述不影响结论，可保留并在判定时以评估时点的知识库内容为准。知识大改后，原有题集需要重新校准，同一题集跨版本的结果不宜直接比较，复评时应使用校准后的题集并注明版本差异。
应拒答题被答错了，应该算进准确率的分母吗？
建议单独成组统计，不混入答案正确率。应拒答题衡量的是系统在知识不足时能否克制作答，用应拒答识别率（正确拒答题数 ÷ 应拒答题数）单独报告。若把应拒答题放进主指标分母，会混淆“答得对”和“知道不该答”两类能力，也不利于定位问题。报告中可同时给出两组数字，并说明应拒答题的分布与错误作答的具体表现。
评估发现某类问题答错集中，接下来怎么处理？
先回到知识源头核对：对应知识条目是否过期、表述是否有歧义、是否缺少关键信息。在 ONES 中，Wiki 页面承载团队知识，页面问答可基于指定 Wiki 页面组作答并附引用来源，问答范围与权限体系一致，输出过程可追踪。把修订作为工作项跟进，修订完成后用同一批题目复评，对比修订前后的分场景结果，形成“评估—修订—复评”的闭环。若知识条目本身无误，再考虑调整问答范围或补充题集覆盖。
