正文
获取原文件references/evaluation.md
比较要回答的因果问题
分开原流程、流程/数据规范化或确定性工具、增加AI后的路线,条件允许时按相同任务比较。可用路径少于三条就说明原因,不制造陪衬方案。AI增益重点是“增加AI”相对最强可行非AI对照的增量;不能把清洗数据、明确职责或取消不必要步骤的全部收益算给模型。
在看到结果前记录假设、样本选择、基线、通过/失败/停止/无结论条件。阈值来自任务风险与客户约定,不能从某个演练的95%、30题、12人或0关键错误照搬成行业标准。安全关键事件可以采用逐项阻塞,不与一般质量平均。
数据与时间
定义任务粒度、业务量、统计窗口、动手/等待/复核/维护时间和完成标准;避免同一并行时间重复相加。检查空样本、空分母、重复ID、冲突记录、缺失、布尔值冒充数值、非有限值及不允许的负数。负的“改善值”有业务含义时保留;原始耗时/业务量为负则核查错误。
缺失值不是零。已观察均值明确有效样本数;不能同时报告缺失存在和无条件全量总数。源时间带日期、时区及区间边界;历史与当期不混算。
分层与采用
样本结构不等于总体结构。合成演练中40对样本为两类各20,假设月工作量为160:80,外推必须按各类月工作量加权。通用公式:Σ(该类每次净节省分钟×该类可比业务次数)/60;业务量无依据就不外推。净节省须涵盖新增复核、失败重做和维护,避免再次扣除已包含的成本。
采用率分母是定义清楚的适用人员/任务总体,不能只用已登录或成功过的人。说明缺席、岗位变化、任务频率及观察期。出席培训、登录、满意度和一次成功不直接等于持续采用或能力掌握。
模型与真实平台
固定协议程序不是模型。模型评测记录版本、模型/检索/提示/工具版本、样本、预期依据、正确回答、正确拒答、误拒、事实/引用正确性、越权、延迟、费用和人工复核。可回答问题质量与应拒问题表现分别计算,避免全拒答刷高分。
本地测试、平台联调、模型质量、真人任务、生产运行和价值观察分层出结论。开发者自评不冒充独立业务复核;离线失败和真人未测不能混成同一通过率。
价值账
分别列容量释放、可减少现金支出、增量收入、风险变化及完整实施/运行成本。工时×费率是容量价值,不是已减少现金。没有可兑现现金及责任/来源,不报现金回本。负效果、未采用、并行旧流程和失败样本不删除。
先分任务算,再说明总体可比性、样本局限、熟悉效应、选择偏差和同期业务变化。合成数据只能给情景算术;本助手算出了结果不等于真实业务测量。支持、反对和仍未知的证据一并保留。