5
相关 sessions
评估闭环与质量门槛
Foundation Models 进入产品化后，评估体系决定它能否稳定迭代，而不是只靠样例观感。
数据与证据快照
16061
已分析字幕词数
28
证据锚点
核心判断与依据
Evaluations framework 把模型输出质量转化为可比较指标。
锚点：8 · 覆盖 session：243, 298, 299, 335
- 298 · 0:10 · Meet the Evaluations framework · Evaluations framework, evaluation
- 298 · 1:44 · Meet the Evaluations framework · results
- 299 · 0:11 · Create robust evaluations for agentic apps · evaluation
- 299 · 0:16 · Create robust evaluations for agentic apps · Evaluations framework, evaluation
- 335 · 0:07 · Improve your prompts by hill-climbing with Evaluations · Evaluations framework, evaluation
agentic app 评估必须覆盖工具调用、流程正确性和动态上下文。
锚点：8 · 覆盖 session：243, 298, 299, 335
- 298 · 0:10 · Meet the Evaluations framework · evaluation
- 298 · 2:03 · Meet the Evaluations framework · evaluation
- 299 · 0:11 · Create robust evaluations for agentic apps · evaluation
- 299 · 0:16 · Create robust evaluations for agentic apps · evaluation
- 335 · 0:07 · Improve your prompts by hill-climbing with Evaluations · evaluation
model-as-judge 与 synthetic dataset 提高评估速度，但需要人工校准。
锚点：8 · 覆盖 session：243, 298, 299, 335
- 298 · 2:31 · Meet the Evaluations framework · dataset, data
- 298 · 2:39 · Meet the Evaluations framework · judge
- 299 · 0:57 · Create robust evaluations for agentic apps · dataset, data
- 299 · 1:00 · Create robust evaluations for agentic apps · synthetic, data
- 335 · 4:24 · Improve your prompts by hill-climbing with Evaluations · judge
Instruments 与 trace 让 agentic app 的性能和流程问题可定位。
锚点：4 · 覆盖 session：241, 243
- 243 · 0:10 · Debug and profile agentic app experiences with Instruments · Instruments, debug
- 243 · 0:58 · Debug and profile agentic app experiences with Instruments · debug
- 241 · 2:07 · What’s new in the Foundation Models framework · profile
- 241 · 4:23 · What’s new in the Foundation Models framework · latency
深度分析：Evaluations framework 是 AI 产品化的操作系统
Evaluate-first 不是口号，是架构
Evaluations framework（298, 299）把评估从'上线前做一次'变成持续循环。这借鉴了软件工程中的 CI/CD 实践：每次 prompt 更新、模型版本升级或工具行为变更，都应该重新运行评估。这意味着评估集不再是 QA 团队的 Excel 表格，而是需要像代码一样管理——版本控制、评审流程、回归测试。
Model-as-judge 的双刃剑
用模型评估模型（model-as-judge, 335）可以大幅降低人工评估成本，但它有自己的风险：judge 模型可能有偏好（喜欢更长的回答、偏爱自己的输出风格等）。这意味着评估体系和被评估体系需要独立设计，不能由同一个模型既做生成又做评判。
agentic 场景需要新的评估维度
传统 LLM 评估关注回答质量（准确率、相关性、安全性）。agentic 场景需要额外维度：工具选择是否正确、参数传递是否准确、执行结果是否符合预期、失败回退是否合理。这些在 Evaluations framework 中已有支持，但评估集的设计需要产品和工程团队共同定义。
综合判断：AI 产品化最被低估的工作不是模型训练，而是评估基础设施的建设。Evaluations framework 提供了框架，但评估集需要你自己建。
适用与谨慎
适用场景
- 功能依赖 prompt、工具、模型版本或动态上下文。
- 团队需要判断每次改动是否退化。
- AI 功能要进入发布门槛。
不适用或需谨慎
- 没有真实任务样本。
- 评估结果不影响发布。
- 只看平均分，不看失败模式。