知识检索效果评估通常看三类指标：查找体验类（检索成功率、首次点击命中率、零结果率、结果排序质量）、导航发现类（入口到达率、目录与标签浏览深度、发现路径占比）、结果优化类（查询改写命中率、同义词覆盖、结果点击与后续使用）。评估范围限于用户查找信息的过程，不涉及AI问答质量与底层算法实现。每项指标都要写清分子、分母、时间窗和数据来源，才能跨时间段比较并复算。
要点总览（TL;DR）
- 知识检索效果评估分三类指标：查找体验看检索成功率、首次点击命中率、零结果率与结果排序质量；导航发现看入口到达率、目录与标签浏览深度、发现路径占比；结果优化看查询改写命中率、同义词覆盖与点击后的后续使用。
- 每项指标都要写清分子、分母、时间窗、单位和数据来源，并固定去重规则、会话切分与目标文档定义，否则不同时间段的数值无法比较。
- 分母为零时记为不适用，样本过小时延长统计时间窗或只报绝对数量；多指标综合按判断顺序定位问题环节，不加权成一个总分。
- 指标反映现象而非因果，点击率高不等于结果质量好；验证改进效果要用相同口径对照上线前后时间窗，并配合抽样人工核验。
- 检索成功率、命中率没有通用达标线，目标值由团队依据自身历史数据和业务要求确定，并在多次评估中校准。
评估目标：检索效果要回答哪几个问题
检索效果评估的对象是用户从提出查询到拿到可用信息的过程，包括输入关键词、浏览结果列表、点击进入文档、通过目录或标签找到目标这几类动作。评估结论用于定位问题环节和验证改进是否生效，不用于给个人或团队做绩效排名。把评估目标定在查找过程上，可以避免把AI问答的答案质量、搜索算法的实现细节混进同一套指标。
围绕查找过程，评估需要回答三个问题：
- 能不能找到：用户发出查询后，是否得到结果、是否点中所需内容、结果排序是否把有用内容放在前面。对应查找体验类指标。
- 能否被导航发现：不输入查询、通过目录或标签浏览时，用户能否到达目标页面，浏览路径是否有效。对应导航发现类指标。
- 结果是否被优化：查询改写、同义词扩展等优化手段是否让原本找不到的查询命中结果，点击之后用户是否继续使用该内容。对应结果优化类指标。
三类问题分开评估，原因是它们的数据来源和失败原因不同：查找失败可能来自索引缺失或排序不佳，导航失败可能来自目录结构或标签体系不合理，优化失效则要看改写规则和词表覆盖。混在一起算一个总分，出了问题无法定位到具体环节。
指标与范围：三类指标及各自口径
下表给出三类指标的推荐口径。表中“有效查询”指去除测试账号、机器请求和重复提交后的查询记录；时间窗默认按自然周或自然月统计，同一指标在不同报告中必须使用相同时间窗才可比较。
| 类别 | 指标 | 分子 | 分母 | 时间窗 | 单位 | 数据来源 |
|---|---|---|---|---|---|---|
| 查找体验 | 检索成功率 | 返回至少一条结果的有效查询数 | 有效查询总数 | 自然周/月 | 百分比 | 检索日志 |
| 查找体验 | 首次点击命中率 | 首次点击落在目标文档的有效查询数 | 发生点击的有效查询数 | 自然周/月 | 百分比 | 检索日志+点击日志 |
| 查找体验 | 零结果率 | 返回零条结果的有效查询数 | 有效查询总数 | 自然周/月 | 百分比 | 检索日志 |
| 查找体验 | 结果排序质量 | 前3条结果中包含目标文档的查询数 | 抽样核验的查询数 | 抽样批次 | 百分比 | 人工标注 |
| 导航发现 | 入口到达率 | 从目录或标签入口进入文档的会话数 | 全部浏览会话数 | 自然周/月 | 百分比 | 导航埋点 |
| 导航发现 | 目录/标签浏览深度 | 会话内目录或标签点击层级总数 | 使用导航的会话数 | 自然周/月 | 层/会话 | 导航埋点 |
| 导航发现 | 发现路径占比 | 经导航路径到达目标文档的次数 | 目标文档被访问总次数 | 自然周/月 | 百分比 | 导航埋点+访问日志 |
| 结果优化 | 查询改写命中率 | 经改写后返回结果的查询数 | 触发改写的查询数 | 自然周/月 | 百分比 | 检索日志 |
| 结果优化 | 同义词覆盖 | 被同义词表覆盖的高频查询词数 | 高频查询词总数 | 词表版本周期 | 百分比 | 词表+查询词统计 |
| 结果优化 | 结果点击与后续使用 | 点击后停留超过阈值或产生二次操作的次数 | 结果点击总次数 | 自然周/月 | 百分比 | 点击日志+行为日志 |
“目标文档”需要事先定义：可以由抽样人员根据查询意图判定，也可以由业务方为高频查询指定期望结果。没有目标文档定义，首次点击命中率和排序质量都无法计算。停留阈值、高频查询的判定标准属于口径参数，应在评估方案中固定下来并随报告一起说明，不同批次之间不要随意调整。
数据口径与证据：日志、抽样与人工核验
取数前先确定范围：检索日志按查询发生时间截取，点击日志按点击时间截取，导航埋点按会话截取，三者使用同一时间窗。去重规则要写明，例如同一用户在短时间内重复提交相同查询只计一次，测试账号和爬虫请求整体剔除。会话的切分方式（如30分钟无操作视为新会话）也要固定，否则浏览深度和入口到达率会随切分规则波动。
定量指标之外，还需要两类定性证据支撑解读：
- 典型查询案例：从高频查询、零结果查询、首次点击未命中的查询中各抽取若干条，记录查询词、返回结果、用户实际点击和目标文档，用于解释指标变化的原因。
- 失败查询清单：汇总零结果和点击后快速返回的查询，按原因归类（无对应文档、文档未被索引、词表未覆盖、排序靠后），作为改进项的输入。
抽样人工核验用于计算排序质量和校验点击数据。样本量根据查询总量和可投入的标注人力确定，并在报告中注明；标注口径要统一，例如“前3条结果中是否包含能回答该查询的文档”，由两人独立标注同一批样本，分歧样本经讨论定稿，并记录一致率。一致率偏低时，应先修订标注口径再扩大样本。
数据缺失和不可比情形要如实记录：某段时间埋点未上线、日志字段缺失、查询分布因业务变化大幅改变，都会让前后数值不可直接比较。记录方式可以是在指标表旁加备注列，写明缺失区间和影响范围，避免把不可比的数据当成趋势。
计算与评估步骤：从取数到结论
按以下顺序执行，可以得到可复算的评估结果：
- 取数与清洗：按时间窗导出检索、点击、导航三类日志，剔除测试与机器流量，按去重规则合并重复查询，得到有效查询分母，并记录清洗前后的记录数。
- 逐项计算：按第二节的公式计算每项指标，结果保留一位小数，同时在表中标注样本量（分母数值）。分母过小的指标单独标记，不与大样本指标并列解读。
- 处理异常值：分母为零时该指标记为“不适用”，不写0%；样本量低于预设下限（例如有效查询少于100条）时，延长统计时间窗合并计算，或只报告绝对数量不下比率结论。
- 交叉核对：用抽样人工核验的排序质量结果与日志计算的首次点击命中率对照，两者偏差过大时检查目标文档定义和点击日志是否完整。
- 综合判断：把三类指标放在一起看，先定位问题类别，再看具体指标。例如检索成功率正常而首次点击命中率偏低，问题更可能在排序或目标文档定义；零结果率上升则优先检查索引覆盖和词表。
多指标综合时不建议加权成一个总分，权重缺乏依据且会掩盖问题环节。更实用的做法是设定判断顺序：先看零结果率和检索成功率确认基础可用性，再看点击类指标判断结果相关性，最后用导航指标判断非查询路径是否正常。改进措施上线后，用相同口径计算上线前后两个时间窗的数值，并结合抽样复核确认变化是否来自改进本身。
评估过程中产生的失败查询清单、标注结果和改进项，需要有承载和跟踪的地方。ONES 的 Wiki 可用于沉淀评估口径、指标定义和典型查询案例，失败查询清单和改进项可以转为工作项分配负责人并跟踪状态；ONES Assistant 支持在 Wiki 页面、附件等范围内进行全局知识检索，评估时可用它核对某条查询在知识库中是否确实存在对应内容，帮助区分“文档缺失”和“检索未命中”。具体可用范围与权限边界以实际部署配置为准。
例子：一次检索效果评估的完整演算
以下为演示情景，数据为假设值，用于说明计算过程，不代表任何真实系统的水平。
场景设定：某研发团队的知识库在一个自然月内共记录查询12,000条，经剔除测试账号、机器请求和重复提交后，有效查询为10,000条。该月发生点击的查询为6,500条，其中首次点击落在目标文档的为4,550条。返回零条结果的查询为800条。抽样核验抽取200条查询，前3条结果包含目标文档的有130条。当月触发查询改写的查询为1,200条，改写后返回结果的有960条。
| 指标 | 计算过程 | 结果 |
|---|---|---|
| 检索成功率 | (10,000 − 800) ÷ 10,000 | 92.0% |
| 零结果率 | 800 ÷ 10,000 | 8.0% |
| 首次点击命中率 | 4,550 ÷ 6,500 | 70.0% |
| 结果排序质量 | 130 ÷ 200 | 65.0% |
| 查询改写命中率 | 960 ÷ 1,200 | 80.0% |
结果解读：检索成功率92%，说明大多数查询能返回结果，基础可用性尚可；零结果率8%，需要从失败查询清单中确认这800条查询是文档确实缺失，还是文档存在但未被索引。首次点击命中率70%与排序质量65%接近，说明点击行为与人工判断基本一致，约三成查询的首条点击不是目标文档，问题集中在结果排序或目标文档定义上。查询改写命中率80%，说明改写规则对两成触发改写的查询无效，可结合词表覆盖情况排查。
适用边界：该示例只覆盖一个时间窗、一个知识库范围，数值不能直接作为其他团队或系统的基准；目标文档由抽样人员判定，判定口径变化会改变命中率和排序质量的数值；若该月有埋点缺失或业务查询分布突变，前后对比需重新取数。
解读与限制：指标能说明什么、不能说明什么
指标反映的是查找过程中的现象，不能直接证明某项改进措施有效。零结果率下降，可能来自补充了文档，也可能来自查询分布变化或词表扩展，需要结合失败查询清单的前后对比才能归因。改进措施上线后，建议选取上线前后长度相同的时间窗，用相同口径计算，并对同一批典型查询做抽样复核，观察目标文档是否更靠前、是否被点击。
点击率高不等于结果质量好。用户可能因为结果列表中没有更好的选择而点击了次优文档，也可能点击后很快返回继续查找。因此首次点击命中率要配合点击后的后续使用行为一起看，排序质量要依靠人工核验而不是点击数据单独判断。反过来，点击率低也可能是用户已经通过结果摘要获得答案、无需点开，解读时需要结合查询类型区分。
样本偏差和查询分布变化是常见的误读来源。抽样核验若只抽高频查询，结论不能代表长尾查询；业务调整导致查询主题结构变化时，同一指标的数值波动可能来自查询本身而非检索效果。报告中应同时给出样本量、抽样方式和查询分布的基本描述，让读者判断可比性。
最后，指标体系中不设通用达标线。检索成功率、命中率的目标值取决于知识库规模、文档类型和用户习惯，应由团队根据自身历史数据和业务要求确定，并在多次评估中逐步校准。单看任何一个指标都不足以说明检索整体效果，三类指标结合、定量与抽样证据结合，才能支撑可靠的判断。
常见问题
知识库刚上线、历史数据很少，指标还能算吗？
可以算，但要调整口径。样本量过小时，建议延长统计时间窗合并计算，例如把按周统计改为按月或按季度；仍不足时只报告绝对数量，不下比率结论。同时把目标文档定义、去重规则和会话切分方式先固定下来，等数据积累到一定规模再计算比率，前后口径保持一致才能比较。
检索成功率高但用户仍反馈找不到东西，问题可能出在哪？
检索成功率只说明查询返回了结果，不说明结果是否相关。此时应重点看首次点击命中率和结果排序质量：如果两者偏低，问题更可能在排序规则或目标文档定义；如果点击后快速返回的比例高，说明结果列表中的文档与查询意图不匹配。可以抽取典型查询做人工核验，对照返回结果与用户实际点击，定位是索引覆盖、词表还是排序环节的问题。
导航发现类指标需要单独埋点吗，和检索日志能共用吗？
导航发现类指标依赖目录和标签的点击行为，检索日志通常只记录查询与结果，无法覆盖不输入查询的浏览路径，因此需要单独的导航埋点。埋点至少要记录会话标识、点击的目录或标签层级、到达的文档。取数时与访问日志按会话关联，才能计算入口到达率和发现路径占比。埋点未上线的时间段，相关指标应标注缺失，不与有埋点的时段直接比较。
改进措施上线后，怎么判断指标变化确实来自改进本身？
选取上线前后长度相同的时间窗，用完全相同的口径计算指标，并对同一批典型查询做抽样复核，观察目标文档是否更靠前、是否被点击。同时检查查询分布是否发生明显变化，如果业务调整导致查询主题结构改变，数值波动可能来自查询本身。条件允许时保留一部分未改动的查询或范围作为对照，能更清楚地区分改进效果与外部变化。
评估过程中产生的失败查询清单和改进项，用什么方式沉淀和跟踪？
失败查询清单、标注结果和指标口径适合沉淀在知识库页面中，便于后续评估复用同一套定义；改进项则转为工作项，分配负责人并跟踪状态，避免清单停留在文档里无人处理。ONES 的 Wiki 可用于沉淀评估口径与典型查询案例，ONES Assistant 支持在 Wiki 页面、附件等范围内进行全局知识检索，评估时可用它核对某条查询在知识库中是否确实存在对应内容，帮助区分文档缺失与检索未命中。具体可用范围与权限边界以实际部署配置为准。
