# Evaluations 前导洞察：先定义 AI 功能的发布门槛

## 一句话判断

Evaluations / Instruments 的核心意义是把 agentic feature 从 demo 变成可回归、可比较、可发布的工程资产；没有 evaluation baseline，就不应该进入 beta。

## 先统一的判断

- 不要用传统 unit test 取代 AI evaluation。
- 不要只看平均效果，要看失败模式、回退路径和长尾。
- 不要把 model-as-judge 当绝对真理，需要人审 sample 和指标解释。
- 不要等产品化后补评估，evaluation dataset 应该和功能一起设计。
- 不要只评估输出文本，还要评估 tool calling、流程正确性和用户控制权。

## 评审会问题

### AI 平台

哪些指标必须标准化：correctness、latency、fallback、toxicity、instruction following？

### QA

evaluation dataset 如何设计、维护和版本化？

### 客户端工程

telemetry 和 trace 需要记录哪些字段才足以复现问题？

### 产品

什么质量阈值才允许进入灰度或 beta？

### 设计

用户控制权、确认、撤销是否能被纳入 evaluation？

### 管理

谁拥有 AI feature 的 release gate？

## 暂缓项

- Evaluation baseline template
- Model-as-judge trial
- Synthetic dataset policy
- Agent trace schema

## 证据 Sessions

- 243 · Debug and profile agentic app experiences with Instruments · https://developer.apple.com/videos/play/wwdc2026/243
- 298 · Meet the Evaluations framework · https://developer.apple.com/videos/play/wwdc2026/298
- 299 · Create robust evaluations for agentic apps · https://developer.apple.com/videos/play/wwdc2026/299
- 268 · Profile, fix, and verify: Improve app responsiveness with Instruments · https://developer.apple.com/videos/play/wwdc2026/268
- 335 · Improve your prompts by hill-climbing with Evaluations · https://developer.apple.com/videos/play/wwdc2026/335

_证据等级：A- · Apple-source indexed transcript。脚本作为后台证据使用；本文中的策略判断属于 Insight Labs synthesis，不是 Apple 官方结论。_