评估AI生成的任务计划,需要把“计划写得对不对”和“执行偏了多少”分开看:前者用依赖完整性指标核对工作项之间的前置关系是否真实、方向是否正确、有没有漏项;后者用时间、范围、粒度三类偏差指标衡量实际结果与计划估计的差距。两类指标都要先划定统计范围、统一分母和时间窗,才能复算和比较。本文给出一套适用于试点复盘的口径、公式、步骤与示例,并说明结果解读的边界。
要点总览(TL;DR)
- 依赖完整性分两个口径报告:声明依赖正确率=方向正确且真实存在的依赖条数÷计划声明依赖条数;遗漏依赖率=应存在但未声明的依赖条数÷复核确认应存在的依赖总条数。
- 计划偏差按时间、范围、粒度三个方向计算:时间偏差用实际完成时间减计划完成时间,偏差率用偏差绝对值之和除以计划工期之和,范围偏差用计划外新增任务数除以计划任务数。
- 评估前先固定统计范围:纳入哪些项目与工作项层级、三个时点(计划生成、执行截止、复盘取数)、依赖类型是否分开统计、人工大改计划与取消任务如何单列。
- 遗漏依赖优先用执行阻塞记录和返工记录识别,再以人工复核清单补全,每条结论可追溯到具体工作项与依赖记录。
- 指标只说明计划与事实的吻合程度,小样本、任务类型混杂时不宜横向比较,也不宜据此对AI规划能力下因果结论。
试点复盘要回答哪两个问题
试点复盘评估的对象是AI生成的那一版任务计划,以及这份计划被执行后的实际结果。评估要回答两个问题,它们对应两类互不替代的指标。
第一个问题是依赖完整性:计划里写出的前置关系是否真实存在、方向是否正确,以及实际存在的前置关系有没有被漏掉。这个问题关心的是计划的结构质量,即工作项之间的先后约束有没有被准确表达。漏掉一条阻塞型依赖,执行时就可能出现“任务已开始但前置未完成”的等待或返工;方向写反,则会让排期顺序整体错位。
第二个问题是计划偏差:执行完成后,实际完成时间、实际任务范围、任务拆分粒度与计划估计之间差了多少。这个问题关心的是计划与事实的吻合程度,回答“计划估得准不准”。
两类指标的用途是改进提示词、计划模板和人工复核环节,例如发现某类任务的依赖经常被漏,就在提示中补充依赖识别要求;发现某类任务工期普遍低估,就调整估算参考。复盘结论用于改进机制,不用于给个人或团队做绩效排名,也不宜用单次试点结果给AI规划能力下定性结论。
指标与统计范围怎么划定
指标的分母来自统计范围,范围不统一,比例就不可比。复盘开始前先用一张表把对象、时间窗和纳入排除规则固定下来,后续所有计算都按这张表执行。
| 维度 | 纳入规则 | 排除或单列规则 |
|---|---|---|
| 项目与计划 | 试点期内由AI生成、且进入执行的任务计划 | 仅生成未进入执行的计划单列,不并入偏差统计 |
| 工作项层级 | 明确到可执行任务层级的工作项 | 史诗、版本等汇总层级不计入依赖条数 |
| 时间窗 | 以计划生成时点为起点,执行截止时点为终点 | 复盘时点只用于取数,不改变统计区间 |
| 依赖类型 | 阻塞型依赖单独统计 | 关联型依赖、父子层级关系分开统计,不与阻塞型混算 |
| 人工改动 | AI生成后仅做措辞或字段补充的计划 | 依赖结构被人工大改的计划单独标记,不与原始生成计划合并计算 |
| 取消任务 | 正常执行并完成或延期完成的任务 | 被取消的任务标记后单列,不计入偏差率分母 |
时间窗要写清三个时点:计划生成时点决定哪些任务属于“AI生成计划”的范围;执行截止时点决定实际完成数据的截取边界;复盘时点只影响取数操作。三个时点混用,会出现同一批任务在不同报告中偏差不同的情况。
依赖类型必须分开统计。阻塞型依赖影响排期可行性,关联型依赖更多影响协作提醒,两者混在一个比例里,会掩盖真正导致执行阻塞的问题。父子层级关系属于结构归属,不构成前置约束,单独归入层级统计。
依赖完整性的数据口径与证据
依赖完整性建议用两个口径分别报告,避免一个比例同时承担“写错”和“漏写”两种问题。
口径一:声明依赖正确率。分母是计划中声明的依赖条数,分子是经复核确认真实存在且方向正确的前置依赖条数。这个比例回答“写出来的依赖有多少是对的”。
口径二:遗漏依赖率。分母是人工复核确认应存在的依赖总条数,分子是应存在但计划未声明的依赖条数。这个比例回答“该有的依赖漏了多少”。
两个口径的分母不同,不能相互替代。只报正确率,会漏掉“计划几乎没写依赖所以正确率很高”的情况;只报遗漏率,则看不出已声明部分的质量。
依赖方向错误单独计数,不与遗漏混算。方向错误说明计划识别到了两个工作项之间存在关系,但把先后顺序判断反了,处理方式是纠正方向;遗漏则是完全没有识别出关系,处理方式是补充识别规则。两类问题的改进动作不同,合并计数会丢失改进线索。
遗漏依赖的识别需要证据支撑,优先使用三类记录:执行过程中的阻塞记录,即某任务因前置未完成而无法推进的实际记录;返工记录,即因顺序错误导致已完成工作被推翻重做的记录;人工复核清单,由熟悉业务的人员逐项核对应存在的前置关系。每条结论都要能追溯到具体工作项编号和依赖记录,便于他人复算。
在工具层面,依赖核对需要工作项之间可记录的关联关系作为数据基础。ONES 的项目与工作项数据可以作为承载这类核对的对象,ONES Assistant 也能基于项目、工作项和迭代上下文回答问题并执行后续操作;具体依赖字段的形态与统计报表能力,需按实际使用版本确认后再落到取数脚本。
计划偏差的计算公式与单位
计划偏差分时间、范围、粒度三个方向计算,每个指标都要写明分子、分母、单位和缺失值处理方式。
| 指标 | 分子 | 分母 | 单位 | 缺失值规则 |
|---|---|---|---|---|
| 时间偏差 | 实际完成时间减计划完成时间 | 按任务逐条计算,不设汇总分母 | 人天或日历天,全篇统一一种 | 未记录实际完成时间的任务标记为缺失,不计入偏差率 |
| 偏差率 | 各任务时间偏差绝对值之和 | 各任务计划工期之和 | 百分比 | 计划工期为零的任务单列,不进入分母 |
| 范围偏差 | 计划外新增任务数 | 计划任务数 | 百分比 | 取消任务不计入分子分母,单独报告 |
| 粒度偏差 | 预估工时低于阈值或高于阈值的任务数 | 计划任务总数 | 百分比,附工时分布 | 未填预估工时的任务单列 |
时间偏差用实际完成时间减计划完成时间,正数表示延期,负数表示提前。单位在全篇统一,选人天就全部用人天,选日历天就全部用日历天,跨口径换算会引入节假日和并行投入的干扰。
偏差率用绝对值之和除以计划工期之和,目的是衡量整体偏离程度而不让提前与延期相互抵消。分母为零的任务单列,不进入比率计算,避免除零错误和极端值扭曲结果。
范围偏差用计划外新增任务数占计划任务数的比例,反映计划对工作范围的覆盖程度。粒度偏差用预估工时分布观察任务拆分是否过粗或过细,例如预估工时超过若干人天的任务占比偏高,说明拆分不足,执行中难以跟踪进度。
缺失值要显式标记而不是默认填零。未记录实际工时的任务如果按零处理,会人为压低偏差率;正确做法是单列缺失清单,在报告中注明缺失任务数和占比,并说明这些任务未纳入比率计算。
评估步骤:从抽样到复算
按以下六步执行,每一步都产出可核验的中间物,便于他人复核。
- 抽样。按任务类型或项目分层抽取计划样本,每层样本量写清楚。分层的目的,是避免某一类任务占比过高导致整体指标失真。
- 建立基准。由熟悉业务的人员逐项复核,形成“应存在的依赖清单”,作为遗漏依赖率的分母来源。基准清单要记录复核人和复核时间。
- 逐项比对。把计划声明的依赖与基准清单对照,逐条标记为命中、遗漏、方向错误、多余依赖四类。多余依赖指计划声明但复核认为不存在的依赖,单独计数。
- 计算偏差。按统一时间窗和统一分母计算时间偏差、偏差率、范围偏差和粒度偏差,缺失值按前述规则单列。
- 交叉验证。用执行阻塞记录和返工记录核对遗漏依赖,检查人工复核清单是否遗漏了实际发生的问题,两类证据不一致时回到具体工作项确认。
- 记录结论与待改进点。写明各项指标数值、样本量、口径和发现的问题类型,对应到提示词、模板或复核环节的具体改进动作。
第三步的四类标记是后续所有比例的计算基础,建议用一张逐条对照表承载,每行对应一条依赖关系,列为工作项编号、依赖对象、计划声明情况、复核结论、证据来源。这张表既是计算底稿,也是复盘会上讨论改进点的依据。
一个可复算的复盘例子
以下为演示情景,数字用于说明计算过程,不代表任何真实项目结果。
某迭代内AI生成计划包含20个可执行任务,计划声明依赖12条,计划工期合计60人天。人工复核确认应存在的依赖共18条。
依赖完整性计算。声明依赖12条中,经复核真实存在且方向正确的为9条,声明依赖正确率为9÷12=75%。方向错误2条,多余依赖1条。复核确认应存在的18条依赖中,计划未声明的遗漏依赖为18减9减2=7条,遗漏依赖率为7÷18≈38.9%。方向错误单独报告为2条,占应存在依赖的11.1%。
计划偏差计算。执行完成后,各任务时间偏差绝对值之和为14人天,偏差率为14÷60≈23.3%。计划外新增任务3个,范围偏差为3÷20=15%。预估工时超过5人天的任务有4个,粒度偏粗任务占比为4÷20=20%。另有2个任务未记录实际完成时间,标记为缺失,未计入偏差率。
从数字读出结论。可表述为:本次样本中声明依赖正确率75%,遗漏依赖率约38.9%,方向错误2条,说明依赖识别存在明显漏项,且部分关系方向判断有误;偏差率23.3%表明整体工期估计偏乐观,范围偏差15%说明计划对新增工作的覆盖不足;粒度偏粗任务占20%,与偏差偏大可能相关。改进方向包括在提示中强化依赖识别与方向校验、对超过5人天的任务要求二次拆分、在复核环节增加遗漏依赖专项检查。样本量为20个任务,结论仅适用于本次试点范围。
结果怎么解读,哪些限制要写进复盘
指标反映的是计划与事实的吻合程度,解读时要连同口径和样本条件一起说明,避免把单次数值当成能力定论。
- 小样本波动大。样本只有十几个任务时,一条依赖的差异就能让比例变动几个百分点,报告中必须标注样本量和分层情况。
- 任务类型不可直接横比。探索型任务的工期不确定性天然高于重复型任务,两类任务的偏差率放在一起比较会得出误导性结论,应按类型分别报告。
- 依赖完整性高不等于计划合理。依赖写全了,任务粒度、资源匹配、验收标准仍可能存在问题,这些需要另外的检查项覆盖。
- 指标不构成因果保证。偏差小可能来自计划准确,也可能来自执行中不断调整范围,复盘要结合变更记录判断偏差的来源。
- 结论要写明边界。每份复盘结论都应注明统计口径、时间窗、样本范围和未覆盖的内容,例如未纳入资源容量分析、未评估多步骤流程编排效果。
把上述限制写进复盘文档的固定位置,可以让后续读者在引用这些数字时知道适用条件。若试点继续扩大,建议保持同一套口径复算,用多轮数据观察指标是否稳定,再判断AI生成计划在依赖识别和工期估算上的改进是否真实发生。
常见问题
AI生成计划后人工改过依赖,还能并入原始样本一起算吗?
建议分开统计。依赖结构被人工大改的计划,其依赖完整性反映的是人工修改后的结果,与AI原始输出不是同一个评估对象。做法是把这类计划单独标记为一组,原始生成计划作为另一组,两组分别计算声明依赖正确率和遗漏依赖率,并在报告中注明各组样本量。如果只做措辞或字段补充、依赖关系未变,可以并入原始组,但要在口径说明中写清“大改”的判定标准,例如依赖条数变动超过一定比例或关键阻塞依赖被替换。
计划工期为零或实际工时缺失的任务,偏差率怎么处理?
两类情况都单列,不进入比率计算。计划工期为零的任务会让偏差率分母失效,把它放进分母会产生除零或极端放大的结果,正确做法是单独列出这类任务的数量和原因。未记录实际完成时间或实际工时的任务,按缺失标记,不默认填零,因为填零会人为压低偏差率。报告中写明缺失任务数和占样本的比例,并说明这些任务未纳入偏差率计算,读者才能判断偏差率覆盖了多大范围。
依赖完整性指标很高,是否说明AI生成的计划可以直接用?
不能直接得出这个结论。依赖完整性只回答前置关系写得对不对、漏没漏,计划是否可用还要看任务粒度是否可执行、验收标准是否清楚、资源与工期估计是否合理,这些属于另外的检查项。此外,声明依赖正确率高也可能出现在计划只写了少量依赖的情况下,需要与遗漏依赖率一起看。建议把依赖完整性、计划偏差和人工复核意见放在同一份复盘里综合判断,单项指标不作为放行依据。
多轮试点之间指标可以直接比较吗?
只有在口径一致时才可比。比较前确认四件事是否相同:统计范围(项目、工作项层级、依赖类型)、三个时点(计划生成、执行截止、复盘取数)、偏差单位(人天或日历天)、缺失值与取消任务的处理规则。任何一项变化都会改变分母,比例随之变动。若试点扩大后任务类型构成发生变化,还应按任务类型分层报告,避免整体比例被某一类任务拉高或拉低。多轮数据稳定后,再判断依赖识别和工期估算是否有真实改进。
复盘时发现遗漏依赖,应该改提示词还是改复核流程?
看遗漏的类型分布再决定。如果遗漏集中在某几类任务或某种依赖关系上,说明提示中对这类关系的识别要求不足,可以在提示中补充依赖识别与方向校验的要求;如果遗漏分散、没有明显规律,单靠提示难以覆盖,更适合在人工复核环节增加遗漏依赖专项检查,用阻塞记录和返工记录反向核对。方向错误与遗漏要分开处理:方向错误说明关系被识别到但顺序判断反了,改进动作是增加方向校验;遗漏是完全没识别出关系,改进动作是补充识别规则或复核清单。


















