跳到正文

Haonan S009 测试与 Evals

从需求与风险设计并执行详细业务测试、真实数据集验证、工程分层测试和 AI Evals,交付完整用例矩阵、数据规范、执行证据及质量报告;支持规划、实施、执行与报告模式。

个人 Skill产品研发6 个文件浏览次数 0
开始使用

下载前阅读 SKILL.md 中的使用条件,并确认所用工具支持对应能力。

输入资料
读取以下适用资料,从需求独立定义预期行为。缺少实现或运行条件的需求保留在矩阵中,记录 NOT_RUN 或 BLOCKED;继续完成可执行的测试设计和验证。 【SKILL02-PRD】与【SKILL03-PROTOTYPE】:提取核心业务路径、验收标准 (AC) 以及 UI 交互逻辑。 【SKILL04-HLD】与【SKILL06-REVIEW】:提取系统物理边界、ADR 决策以及技术评审中识别的 P0/P1 风险点。 【SKILL05-… 阅读本节完整说明
交付内容
按测试资产、工程、AI 和报告四阶段执行,完整授权下持续推进。阶段确认仅适用于用户要求的交互评审。以下矩阵描述测试设计,实际通过结论必须来自执行证据。 第一阶段 (Test Assets: 测试资产输出):[核心交付] 基于上游产出物,直接输出 【第 1 节:详细的测试用例矩阵与异构测试数据集】(必须穷举正常与异常边界,并提供 JSON/Markdown 数据样本)。询问:“全场景边界测试用例与 Mock 数据集已生成,是否作为研发阶段… 阅读本节完整说明
  1. 获取完整包,保留配套文件的目录结构。
  2. 按照原文准备所需工具、依赖与输入资料。
  3. 阅读对应使用步骤与输入输出说明,在自己的环境中验证结果。

使用提示摘自原文,配套文件保留来源版本;实际运行条件以各包说明为准。

正文

获取原文件

references/acceptance-workflow.md

按请求组合模式,继承用户已有开发和验证授权。只读测试评估保持只读;已授权修复工作中的失败返回 S008 并持续复验。

独立验收范围

从最新用户决定、批准 PRD/AC、确认设计和缺陷复现建立分母。现有 routes、API、组件和测试辅助定位实现,缺少实现的需求仍保留为未验收。预期结果引用业务依据,不能从实现当前返回值直接生成。

读取 测试矩阵 和跨会话使用的 交付记录。平台、角色、允许的模拟范围及视觉工具权限继承用户要求;条件专项见 平台回归。

证据类型

分别报告 STRUCTURE、STATIC、UNIT、API、SECURITY、BUSINESS、INTEGRATION、EXTERNAL、EVAL、VISUAL。明确每种检查实际断言了什么:

  • 页面标题、路由和启用按钮属于结构证据。
  • 未认证请求被拒绝属于安全拒绝证据。
  • 合法角色操作、服务端结果、刷新读取和后续使用构成相应业务证据。
  • 模拟能力只证明授权的模拟范围,真实外部联调另行记录。
  • 模型连接、Agent 运行、业务采用和 AI 效果指标分别验收。

测试总数和通过率只用于其对应分母,不能跨类型推导完成。

用例设计

  1. 每项承诺关联稳定验收 ID、角色、入口、前置、操作和预期业务结果。
  2. 写操作按适用性检查服务端持久化、刷新读取、幂等、并发、撤销或恢复;配置验证运行时生效,导出检查文件与来源。
  3. 只读功能检查范围、来源、正确性、权限和新鲜度;不强制加入无关 CRUD。
  4. 合法成功路径与权限拒绝分别测试,确认用户能够通过界面建立必要前置。
  5. 检查加载、空、错误、部分数据、超时、重试、长内容和关键业务状态。共享组件覆盖全部实际受影响页面族。
  6. Agent 检查操作者、角色、患者或其他业务对象、请求和结果来源;覆盖切换、延迟返回、跳转与采用。
  7. AI Evals 记录样本来源、模型/Prompt/工具/知识版本、指标、阈值依据、重复与人工复核。能力实现未完成时保留该状态,评测分数不能替代功能交付。

不伪造产品响应或测试数据。数据来源、处理许可和当前用户约束明确;缺少合法前置条件时记录阻塞。

执行与复验

读取当前代码、测试、环境和历史日志;确认源码、构建、运行进程、数据库、配置及账号身份。启动健康、登录和会话续期失败时处理测试前置,不能继续累积无效业务通过数。

从相关检查开始,按影响扩大;记录命令、退出码、时间、输入版本、实际断言和原始产物。结果可通过 S000 的 scripts/capture_check.py 保存。该工具记录执行事实,S009 仍需审查检查是否覆盖预期结果。

区分 NOT_RUN / PASS / FAIL / STALE / BLOCKED。脚本故障、配置错误、缺少数据、环境变化和产品缺陷分别归因;未知原因保留未知。修改测试期望需需求变更或测试错误证据,不能围绕实现缩减验收。

完成与报告

业务验收列出承诺总数、已执行、通过、失败、未执行、受阻及证据过期数量。每个结论限定范围和版本。S000 的 validate_delivery.py --require-complete 检查完成记录的映射和执行证据;S006 复核语义完整性。

核心业务缺失时给出对应 NO_GO;证据不足使用 INSUFFICIENT_EVIDENCE。发布结论分别覆盖所需环境和外部依赖。局部测试通过保留其有效结论,不能扩大为全产品完成。

Haonan S009 测试与 Evals · 原理图

查看原图
Haonan S009 测试与 Evals 原理图

CONTACT HAONAN

联系haonan

医疗 AI · 产品与独立开发

刘浩南

关注医疗 AI 从 demo 到真实落地,聚焦产品化、商业化与院内工作流效率提升。

12年医疗产研经验,大湾区头部医疗AI公司前产品总监,独立开发者

医疗 AI 产品化医疗 AI 商业化院内工作流效率
刘浩南的微信联系二维码
微信扫一扫,联系 haonan