不要用传统 unit test 取代 AI evaluation。
Prelude Insight发布级试点验证 deferredEvidence A-
Evaluations 前导洞察：先定义 AI 功能的发布门禁问题
Evaluations / Instruments 的核心意义是把 agentic feature 从 样例 变成可回归、可比较、可发布的工程资产；没有 evaluation baseline，就不应该进入灰度或 beta 的判断。
一、先统一的判断
不要只看平均效果，要看失败模式、回退路径和长尾。
不要把 model-as-judge 当绝对真理，需要人审 sample 和指标解释。
不要等产品化后补评估，evaluation dataset 应该和功能一起设计。
不要只评估输出文本，还要评估 tool calling、流程正确性和用户控制权。
二、评审会问题
| 团队 | 要回答的问题 |
|---|---|
| AI 平台 | 哪些指标必须标准化：correctness、latency、fallback、toxicity、instruction following？ |
| QA | evaluation dataset 如何设计、维护和版本化？ |
| 客户端工程 | telemetry 和 trace 需要记录哪些字段才足以复现问题？ |
| 产品 | 什么质量阈值才允许进入灰度或 beta？ |
| 设计 | 用户控制权、确认、撤销是否能被纳入 evaluation？ |
| 管理 | 谁拥有 AI feature 的 release gate？ |
三、暂缓项
暂缓但保留
- Evaluation baseline template
- Model-as-judge trial
- Synthetic dataset policy
- Agent trace schema
会议目标
- 确认主判断是否成立。
- 给方向排序。
- 确认是否需要进一步讨论。
- 如读者决定推进，再由内部 owner 明确 scope 和验收指标。
四、证据 Sessions
五、读者确认
本页不指定会议、试点或排期；读者可结合公司真实产品线、技术底座、组织分工和资源边界，确认是否需要进入内部讨论、方向排序或分工准备。