正在接入 Apple HLS 视频源…
Marcus（Evaluations framework 团队经理）开场：AI 提供个性化体验但非确定性输出使传统测试不够。Evaluations 框架通过系统化的质量评估帮助改善 prompt。
评估期望值通过 Swift Testing 的 expect macro 定义。@Guide 设定约束（如 tag 数量 3-8 个），运行评估验证假设。hill-climbing 用数据驱动 prompt 改善。
Cohen's kappa 是衡量 model judge 与人工专家一致性的统计指标。消除随机一致的概率，给出真实对齐度。用于 hill-climb judge 的评分准确性。
基准 prompt 作为控制组，改动 prompt 作为实验组。对比两组评估结果，量化 prompt 变更的影响。这是 AI 功能工程的科学实验方法。
评估不限于 prompt——切换模型后端（端侧→PCC）同样可通过 Evaluations 评估影响。Book Tracker app 示例：用 PCC 替代端侧模型提升 tag 生成质量。
@Guide 设定约束 + 评估运行 + 结果检查。数据驱动 prompt 改善而非凭感觉调参。这是 AI 功能从艺术走向工程的关键方法论。
Cohen's kappa 消除随机一致的概率，衡量 model judge 与人工专家的真实对齐度。没有它无法知道 model judge 是可靠评分还是随机猜测——评估体系的可信度指标。
基准 prompt 作为控制组，改动 prompt 作为实验组。控制组/实验组对比评估指标，确保每次 prompt 变更可量化、可比较。这是 AI 功能开发的标准实验方法。
端侧模型与 PCC 之间的后端切换可产生显著质量差异。Evaluations 不仅可以评估 prompt 变更，还能量化模型选择、后端切换等配置变更对 AI 功能质量的影响。
298 提供 Evaluations 框架基础，335 提供 hill-climbing 量化方法论，299 提供 agentic 评估扩展。三者构成从基础框架到量化方法到场景扩展的完整质量评估体系。