AI 交付后的复盘机制:漂移预警与季度 review
直接说结论:AI 系统不是「上线即完成」的软件——模型会漂移、规则会过时、业务会变。复盘机制三件套让交付持续有效:漂移预警自动盯准确率、季度 review 定期对齐业务、责任清单规定谁在什么时限响应什么。签约时就该把这三件写进合同。
件一:漂移预警(自动的日常防线)
模型的准确率不是恒定的:原料批次变了、客户结构变了、口径调整了,昨天的模型今天就可能不准。做法:对核心场景设置准确率/命中率监测,越过阈值自动预警——预警不是「坏了」,是「该校准了」。校准数据从哪来?看件三的责任清单。
件二:季度 review(定期的业务对齐)
每季度一次,三方到场:业务负责人(场景还重要吗、口径变了吗)、使用方代表(哪里不顺手)、服务商(漂移报告与校准建议)。议程固定三问:这季度系统干成了什么(对照验收指标)、什么变了(业务/数据/人)、下季度调什么。一小时结束,产出下季度的调整清单。
件三:责任清单(谁在什么时候动)
四类事项各有明确责任与时限:①预警触发——服务商 X 个工作日内响应诊断;②口径变更——业务方提出,双方确认后服务商更新;③使用问题——种子用户/答疑通道,简单问题当日;④季度校准——review 后两周内完成。责任清单贴在系统里,不是存在合同附件里吃灰。
为什么这事要在签约时谈
复盘是长期投入,交付后谈判必然弱势。判断服务商靠不靠谱的硬标准之一就是:敢不敢把复盘节奏、响应时限、校准责任写进合同——敢写的,是打算长期负责的;含糊其辞的,验收完就想撤。
常见问题
AI 交付后为什么需要复盘?
模型漂移、规则过时、业务变化——三个变量都在动,没有复盘的交付每年都在贬值。
复盘要花很多精力吗?
日常是自动的(漂移预警),人工投入集中在季度 review 的一小时——机制的价值恰恰是用小成本防止系统慢慢失效。