衡量AI延期预警，提前量看“预警首次发出到实际延期确认”的间隔，用中位数和P25/P75分位数描述整体时效；漏报率看“实际延期但预警窗口内从未被提示的项目数÷实际延期项目总数”。两个指标必须共用同一预警窗口、同一延期判定口径和同一统计周期，再配合误报率与处置效果，才能判断预警是否真正有用。
要点总览（TL;DR）
- 提前量按“预警首次发出时间到实际延期确认时间”的间隔计算，用中位数和P25/P75分位数描述整体时效，均值只作辅助参考。
- 漏报率 = 实际延期但预警窗口内从未被提示的项目数 ÷ 实际延期项目总数；误报率 = 被预警但最终未延期的项目数 ÷ 被预警项目总数，两者必须同时观察。
- 提前量、漏报率、误报率要共用同一预警窗口、同一延期判定口径和同一统计周期，口径变化后新旧数据不能直接连线比较。
- 处置效果看预警响应率、处置时长、预警后计划调整比例和延期幅度变化，对照分析只能提供线索，不能直接证明因果。
- 实际延期项目少于约10个或分层后样本过少时，只报告绝对数量和项目清单，暂缓计算比率。
评估目标：预警要回答哪三个问题
一套延期预警评估体系，最终要回答三个层次的问题，分别对应三类指标族。缺少任何一类，结论都会失真。
- 预警是否足够早：对应提前量指标族，包括提前量中位数、P25/P75分位数、提前量分布。它回答“留给团队处置的时间够不够”。
- 该报的有没有报：对应覆盖率指标族，核心是漏报率，辅以误报率。它回答“预警有没有漏掉真正会延期的项目，又是否用大量噪声换来了低漏报”。
- 报出来之后有没有被处理：对应处置效果指标族，包括预警响应率、处置时长、计划调整比例、延期幅度变化。它回答“预警是否转化成了实际动作和结果改善”。
三类问题构成递进关系：先有足够早的预警，再看覆盖是否完整，最后看预警是否被采纳并改变结果。评估框架应把三者放在同一张表里，避免只汇报预警条数或只汇报准确率。
指标与范围：提前量、漏报率、误报率怎么定义
指标定义需要写清公式、分子、分母、时间窗和单位，否则不同团队算出的数字无法比较。下表给出建议口径，团队可按自身节奏调整时间窗，但调整后须全周期沿用同一口径。
| 指标 | 公式 | 分子 | 分母 | 时间窗 | 单位 |
|---|---|---|---|---|---|
| 提前量 | 实际延期确认时间 − 预警首次发出时间 | —（逐项目计算间隔） | — | 预警窗口内首次预警至延期确认 | 天（或小时） |
| 提前量中位数 | 所有被正确预警项目提前量的中位数 | 被正确预警项目的提前量集合 | 被正确预警项目数 | 同一统计周期 | 天 |
| 提前量P25/P75 | 提前量集合的第25、75百分位值 | 同上 | 同上 | 同一统计周期 | 天 |
| 漏报率 | 漏报项目数 ÷ 实际延期项目总数 | 实际延期但预警窗口内从未被提示的项目数 | 同一周期内被判定为实际延期的项目总数 | 同一统计周期与预警窗口 | 百分比 |
| 误报率 | 误报项目数 ÷ 被预警项目总数 | 被预警但最终判定未延期的项目数 | 同一周期内被预警的项目总数 | 同一统计周期与预警窗口 | 百分比 |
统计范围需要事先界定：以项目、迭代还是里程碑为统计单元，预警窗口是提前7天、14天还是30天，统计周期是自然月还是季度。范围一旦确定，提前量、漏报率、误报率三项指标必须共用，跨范围比较没有意义。提前量只对“被正确预警”的项目计算，漏报项目没有提前量可言，这一点在汇报时要说明，避免把漏报项目排除后得出偏乐观的时效结论。
数据口径与证据：预警记录和延期事实怎么对齐
指标可复算的前提是预警记录与延期事实能按同一对象、同一时间轴对齐。取数前先确认两类数据是否完整、字段是否一致。
预警日志需要哪些字段
- 预警发出时间：精确到小时，作为提前量计算的起点。
- 预警对象：项目、迭代或里程碑的唯一标识，用于与延期事实匹配。
- 预警级别：高、中、低或风险类型，用于分层统计。
- 预警状态：是否被确认、是否被处置、处置结果，用于计算响应率。
- 预警来源与规则版本：便于回溯口径变化对指标的影响。
延期事实的判定依据
延期判定应基于可核验的记录，例如里程碑计划完成日期与实际完成日期的差异、迭代结束时的未完成工作项、经评审确认的交付日期变更。判定标准要写成明确规则，例如“实际完成日期晚于基线计划日期即判定延期”，并记录判定人和判定时间。延期确认时间是提前量计算的终点，必须与预警发出时间使用同一时区与同一日历。
去重与缺失处理
同一项目在窗口内多次预警时，提前量取首次预警，后续预警只用于统计预警频次和升级情况；漏报率按项目计一次，不按预警条数计。预警日志缺失、延期判定缺失或时间字段异常的项目应单独列出，标注为不可比数据，不纳入分子分母，同时在报告中披露剔除数量。剔除比例过高时，指标结论应暂缓使用。
当预警记录分散在项目工具、通知渠道和人工台账中时，数据对齐本身就是主要工作量。ONES 的 AI 研发管理方案围绕项目进展、工时投入、缺陷分布和资源配置生成进展分析与风险判断，帮助项目经理提前识别延期、资源不足和质量风险；ONES Assistant 可汇总通知并标记交付风险，其输出过程可追踪、结果可审计。这些能力可以作为预警记录的来源之一，但提前量、漏报率的具体口径仍需团队按上表自行定义并固定下来。
计算与评估步骤：从原始记录到可复算结果
计算流程建议固定为五步，每一步产出可核对的中间结果，便于他人复算。
- 锁定统计范围：确定统计周期、统计单元（项目/迭代/里程碑）和预警窗口，写入评估说明。
- 构建延期全集：按延期判定规则列出周期内所有实际延期项目，得到漏报率的分母。
- 匹配预警记录：对每个延期项目查找窗口内首次预警，命中记为正确预警并计算提前量，未命中记为漏报。
- 统计提前量分布：对正确预警项目的提前量计算中位数与P25/P75，同时报告样本量。均值易被极端值拉偏，建议作为辅助参考。
- 构建混淆矩阵并分层：把全部项目按“是否预警×是否延期”落入四格，计算漏报率与误报率；再按项目类型、风险等级或团队分层重复上述计算，观察指标是否稳定。
| 实际延期 | 实际未延期 | |
|---|---|---|
| 窗口内被预警 | 正确预警（计算提前量） | 误报 |
| 窗口内未被预警 | 漏报 | 正确未预警 |
分母为零或样本过少时，不计算比率，直接标注“样本不足”。经验做法是实际延期项目少于10个时只报告绝对数量和项目清单，待积累到足够样本再计算漏报率；分层后某层样本过少，可合并相邻层或只作定性描述。误报率与漏报率应同时观察：压低漏报往往靠扩大预警范围，这会推高误报，两个数字一起看才能判断预警策略是否合理。
例子：一个季度预警数据的完整算例
以下为演示用假设数据，仅说明计算过程，不代表任何产品的实际表现。
某季度统计范围内共有40个项目，其中12个被判定为实际延期。预警系统在窗口内对18个项目发出过预警，其中10个后来确实延期，8个未延期；12个延期项目中有2个从未被预警。
| 项目 | 首次预警日 | 延期确认日 | 提前量（天） |
|---|---|---|---|
| A | 3月1日 | 3月15日 | 14 |
| B | 3月5日 | 3月12日 | 7 |
| C | 3月8日 | 3月10日 | 2 |
| D | 3月2日 | 3月20日 | 18 |
| 其余6个正确预警项目 | — | — | 假设分别为3、5、6、9、11、21 |
10个正确预警项目的提前量排序后为2、3、5、6、7、9、11、14、18、21天。中位数为第5、6位的平均值，即(7+9)÷2=8天；P25约为5天，P75约为14天。解读为：一半以上的正确预警至少提前5天发出，典型提前量约8天，但仍有部分预警只提前2至3天，处置空间有限。
漏报率 = 2 ÷ 12 ≈ 16.7%；误报率 = 8 ÷ 18 ≈ 44.4%。这组数字说明预警覆盖了大部分延期项目，但噪声偏高，近一半预警对象最终未延期。若团队只看漏报率，可能误以为预警表现良好；把误报率并列后，才能看到扩大预警范围的代价。
处置效果方面，假设10个正确预警项目中有7个在预警后调整了计划，平均处置时长为3天，最终延期幅度中位数为4天；2个漏报项目的延期幅度中位数为9天。这一对照提示被预警项目的结果可能更好，但样本仅12个，且预警与处置之间可能存在选择偏差，结论只能作为观察线索。
业务处置效果：预警有没有改变结果
预警准确不等于预警有用。处置效果衡量的是预警发出后团队做了什么、结果是否变化，建议从四个角度取数。
- 预警响应率与处置时长：被预警项目中，有多少在约定时限内被确认并指定负责人，从预警发出到首次处置动作的平均间隔是多少。响应率低说明预警没有进入工作流。
- 预警后计划调整比例：预警后发生范围调整、排期变更、资源补充等计划变更的项目占比，反映预警是否触发了实际决策。
- 延期幅度变化：对比预警项目与漏报项目的延期天数分布，观察预警是否伴随更小的延期幅度。
- 与未预警项目的对照：在条件相近的项目之间比较结果，注意对照只能作为参考，不能直接证明因果。
这组指标需要与提前量联动解读：提前量足够但响应率低，问题在处置流程；响应率高但延期幅度没有改善，需要检查处置动作是否有效。ONES 的 AI 研发管理方案强调从汇报驱动转向风险驱动，帮助项目经理提前识别延期、资源不足和质量风险，其风险判断可接入上述处置流程；预警是否被采纳、处置是否及时，仍需团队用响应率和处置时长等记录来验证。
解读与限制：哪些结论不能从指标直接得出
指标是评估工具，不是质量保证。以下边界需要在汇报和复盘时明确说明。
- 提前量高不等于预警质量高：提前量只统计被正确预警的项目，漏报项目被排除在外。一个系统可能对少数项目报得很早，却漏掉大量延期，单看提前量会高估其能力。
- 漏报率低可能来自预警泛滥：把预警范围放得足够宽，漏报率自然下降，代价是误报率上升和团队对预警脱敏。漏报率必须与误报率、预警总量一起看。
- 指标不能直接证明因果：预警项目延期幅度更小，可能因为预警起了作用，也可能因为这些项目本身风险更早暴露、资源更充足。对照分析只能提供线索，因果判断需要结合处置记录和项目复盘。
- 口径变化会让历史数据不可比：调整预警窗口、延期判定规则或统计单元后，新旧指标不能直接连线比较，应标注口径版本并分段统计。
- 需要定期回看与校准：建议每季度复核一次指标口径与阈值，检查漏报项目清单、误报原因分布和处置记录，据此调整预警规则，而不是只调整汇报数字。
把提前量、漏报率、误报率和处置效果放在同一口径下持续统计，团队才能判断预警是在提供有效信号，还是在制造需要额外消化的噪声。
常见问题
预警窗口设成7天、14天还是30天，对提前量和漏报率有什么影响？
窗口越短，提前量的统计起点越靠近延期确认时间，中位数和分位数会整体变小，留给团队处置的时间也更少；同时窗口内“从未被提示”的项目会变多，漏报率上升。窗口越长，漏报率通常下降，但预警发出时项目可能尚未出现明显风险信号，误报率容易上升。
做法是先按团队的实际处置节奏选一个窗口，例如排期调整通常需要两周决策就取14天，然后在整个统计周期内固定不变。需要比较不同窗口的效果时，应分别计算并标注窗口参数，不能把不同窗口下的漏报率放在同一张趋势图里比较。
同一个项目在一个季度里被预警了多次，提前量和漏报率分别怎么算？
提前量取窗口内首次预警的时间，因为首次预警才代表系统最早发现风险；后续预警可以单独统计预警频次和级别升级情况，用于观察风险是否被持续跟踪，但不重复计入提前量。
漏报率按项目计一次，不按预警条数计。一个项目只要在窗口内被提示过，就不算漏报；从未被提示且最终延期的项目才进入漏报分子。这样分子分母都以项目为单元，避免预警频繁的项目把比率拉偏。
实际延期项目很少时，漏报率还能不能报？
样本过少时比率波动很大，一个项目的差异就能让漏报率跳动十几个百分点。经验做法是实际延期项目少于10个时只报告绝对数量和项目清单，例如“本季度延期3个，其中1个未被预警”，并标注样本不足。
分层统计后某一层样本过少，可以合并相邻层，或只作定性描述。等积累到足够样本再计算比率，并在报告中写明样本量和统计周期，方便读者判断结论的可靠程度。
漏报率降下来了，是不是就说明预警变好了？
不一定。压低漏报最直接的办法是扩大预警范围，让更多项目进入预警名单，代价是误报率上升。误报过多会让团队对预警脱敏，收到提示后不再认真核查，处置效果反而下降。
判断预警是否变好，要把漏报率、误报率和预警总量放在一起看，再结合响应率和延期幅度变化。漏报率下降而误报率大幅上升、响应率走低，说明预警策略只是变宽了，信号质量没有提升。
预警项目和漏报项目的延期幅度对比，能证明预警起了作用吗？
不能直接证明。预警项目延期幅度更小，可能因为预警促成了处置，也可能因为这些项目本身风险暴露更早、资源更充足，或者被预警的项目在判定时就偏向于可控。这类对照只能作为观察线索。
要靠近因果判断，需要补充处置记录：预警后是否指定了负责人、是否调整了计划、调整发生在延期确认之前还是之后。结合项目复盘说明具体动作与结果的关系，比单看两组延期天数更有说服力。
