13 医疗AI必须有护栏

专业解读

从医疗场景识别需要保护的对象

这张白板图用护栏围住医疗 AI 的工作过程，分别呈现隐私、适用要求、知情说明、安全评测、审计和责任分工。图中的设计重点是让产品经理同时考虑任务结果和使用边界。医疗场景中的信息可能涉及个人身份、健康情况和专业工作记录，一次错误显示、错误转发或者未经确认的操作，都可能影响相关人员。因此，需求讨论需要从谁使用产品、处理什么信息、结果交给谁以及如何核查开始。

产品经理可以为每个功能建立场景说明，记录用户角色、任务目标、资料来源、输出用途和负责人。用于资料整理的功能与用于专业判断辅助的功能，需要分别说明结果的使用方式。用户应能够理解系统提供了哪些帮助、哪些内容需要专业人员确认。本文讨论产品设计与团队检查方法，具体业务要求需要由相关专业人员结合项目情况确认，页面文案不能替代实际的专业审查。

以必要范围管理资料和权限

隐私护栏首先要求团队明确完成任务需要哪些资料。产品经理应逐项检查输入字段的用途，确认收集范围、读取范围、保存时间和使用人员。不能因为未来可能有用，就在当前功能中持续收集更多个人信息。对于可以通过汇总结果完成的任务，团队应讨论是否需要读取完整个人资料。对于必须使用个人资料的任务，应明确相关人员的操作权限和记录要求。

权限设计需要覆盖页面、接口、文件下载、检索结果和工具调用。用户在页面中看不到某项资料，并不意味着其他入口也已经受到保护。需求和测试应沿着完整工作流检查资料能否被正确限制。资料导出、分享和批量处理需要单独说明使用条件。发生权限变化后，已有任务和已有链接是否继续可用，也需要明确规则，使资料管理与实际团队职责保持一致。

明确功能用途与适用条件

图中的适用要求提醒产品经理，功能名称、页面介绍、操作流程和实际能力应保持一致。团队需要说明产品适用于什么任务、什么用户和什么使用条件，并核查这些说明是否有实际证据。一个功能能够整理材料，并不能据此扩大为其他未经验证的用途。产品介绍中的能力描述需要由负责人审查，测试记录应能够支持这些描述，减少用户对结果用途的误解。

项目评审可以建立用途清单，逐项记录输入要求、输出形式、使用限制和确认责任。功能范围发生变化时，应重新检查相关要求和证据。尤其是从内部辅助进入对外服务，或者从一般资料整理进入更具影响的业务任务时，不能直接沿用原有检查结果。产品经理应组织相关专业人员参与评审，并把需要确认的事项记录进发布条件，保证团队知道每项结论由谁负责。

让用户理解信息处理与结果限制

知情说明需要让用户理解信息将如何被处理，以及系统结果可以用于什么工作。说明应出现在用户能够作出选择的位置，使用具体语言解释资料用途、处理范围和必要操作。长篇说明即使内容完整，如果用户在关键操作之前没有机会阅读，也难以帮助用户判断。产品经理需要把重要信息组织成容易理解的条目，同时提供完整说明的查看入口。

对于生成结果，页面应显示必要来源和限制条件。资料不完整、信息存在冲突或者依据不足时，系统应明确提示，并提供补充资料或转交相关人员的路径。用户能够修改结果，也不代表系统可以省略这些说明。产品经理应通过真实使用检查用户是否理解提示，是否知道下一步需要由谁确认，以及是否能够识别当前任务尚未完成的部分。

用安全评测覆盖关键风险

白板图列出幻觉、隐私、越权以及不同人群效果等风险。安全评测应结合项目任务设计具体检查，记录输入条件、预期行为和实际结果。例如资料不足时是否仍然生成肯定结论，用户能否通过改变提问获得无权查看的信息，工具是否会执行未经确认的动作，以及不同资料条件下的结果是否存在明显质量差异。这些问题都需要实际运行证据。

评测案例应来自已经获得适当授权的材料，检查过程也需要遵守资料管理要求。团队可以按任务、用户角色和资料条件组织案例，明确哪些失败会影响发布。模型、知识库、Prompt、工具或者权限规则发生变化后，应重新检查受影响的案例。产品经理需要关注评测覆盖的边界，明确哪些场景已经验证，哪些场景尚未具备充分证据，不能把少量成功结果扩大为全部能力。

用审计记录支持问题核查

审计护栏强调结果需要能够追溯。一次任务应该记录必要的版本、资料来源、执行动作、确认人员和最终状态。出现问题时，团队应能够找到对应任务并理解处理过程。记录的目的在于支持核查和责任确认，因此需要考虑信息完整性、读取权限和保存规则。只保留最终回答，可能无法判断错误发生在资料、检索、生成、工具执行还是人工确认环节。

下面的检查表可以用于产品评审，帮助团队把图中的六类护栏转换成可核查事项。表格中的证据需要来自当前项目的实际配置与运行记录，不能仅以设计文档中已经写过作为完成依据。每一项检查都应有明确负责人，发现问题之后记录处理结果，并在相关功能发布之前完成复核。

安排专业确认和异常处理

图中专业人员在关键位置确认结果，提示产品经理把责任安排进具体流程。需要专业判断的内容，应交给具备相应职责的人员检查；系统可以整理资料、显示依据和提示需要注意的事项。确认页面应让责任人看到必要信息，能够修改或拒绝结果，并记录最终决定。对于资料冲突、依据缺失和系统异常，应提供清晰的停止条件和人工处理入口。

异常处理还需要考虑工作连续性。任务暂停后，用户应知道当前状态、问题原因以及可以联系的负责人。已经执行的动作需要检查影响范围，尚未执行的动作需要保持明确状态。团队应为重要异常制定处理流程，说明谁检查、谁通知、谁决定恢复，以及恢复之后如何验证。产品经理负责把这些操作连接起来，减少问题发生时各个团队互相等待的情况。

把护栏纳入持续更新与发布检查

医疗 AI 的护栏需要随着功能和资料变化持续维护。新增一个资料来源、增加一种用户角色或者接入一个业务工具，都可能改变信息处理范围和责任关系。需求评审应检查变化涉及哪些护栏，研发说明应记录相应控制，测试应验证实际行为，发布检查应确认未完成事项。团队还应定期核查权限、资料有效性和异常处理记录，使规则与当前产品状态保持一致。

对于 AI 产品经理，这张图可以用于建立一份贯穿项目的检查清单。每个功能都说明用途和责任，每次操作都遵守权限，每项重要结果都有核查依据，每个异常都有处理人员。专业审查意见与实际运行证据应同时保留，方便团队判断产品是否具备当前使用条件。这样的工作方式有助于将安全要求转成用户能够理解、团队能够执行、结果能够核查的日常流程。