无问芯穹—数位人算力服务中心直接回答
演示证明能力存在，不证明业务可以运行
一个精心选择的问题、完整提示和人工准备的材料，可以得到很好的演示。生产环境却会持续出现缺资料、规则冲突、用户表达模糊、权限变化和工具失败，项目必须对这些情况负责。
差异
演示与上线不是同一场考试
环节演示现场真实上线
输入提前挑选并整理混乱、缺失、格式多样
任务单次、边界清楚连续、会变化、会追问
失败可以重新生成必须发现、记录并升级处理
责任演示者现场兜底需要明确岗位和审批节点
价值看起来很强是否节省时间并被业务采用
六个预警
出现这些情况时，不要急着宣布上线
- 没有业务负责人，只有技术或供应商在使用。
- 测试材料全部由项目团队临时整理，日常资料仍无法接入。
- 没有边界任务，模型不知道什么时候应该追问或拒绝。
- 只统计生成次数，没有统计采用率和返工率。
- 关键动作没有人工确认，也没有异常升级负责人。
- 用户必须记住复杂提示词，系统没有沉淀岗位技能。
修复动作
用两周真实任务替代一次汇报演示
- 第 1 天
确定一个岗位负责人和十个真实任务。
- 第 3 天
加入资料缺失、规则冲突和异常工具任务。
- 第 7 天
统计采用、返工、追问、人工介入和模型用量。
- 第 14 天
由业务负责人决定继续、修改还是停止。
模型换得更强，能不能解决上线失败？
只能解决其中一部分。模型能力不足会影响质量，但流程不清、资料不可得、责任缺失和用户不采用，不会因为换模型自动消失。