WWDC26 · 299Create robust evaluations for agentic apps
当前 0:11 11s官方 ↗
Session 299·Create robust evaluations for agentic apps·深度内容已验证 · 5 sections · 6 cards
深度内容已验证

视频证据

已具备 session-specific claims、anchors、evidence refs、脚本分段和 CDP 验证;这是可审核完成态。

正在接入 Apple HLS 视频源…

脚本分段

分段导航

每段对应一个视频时间段,说明“讲什么、支撑哪条洞察、对应哪些锚点”。完整字幕不在公开页复刻。

问题定位:agentic app 不能只评估单轮回答

deep_candidate

开场围绕 evaluations、video、model、prompt、build 展开,说明 299 的重点是 agentic 场景的鲁棒评估,而不是通用输出评分。它支撑 I1。

EvaluationsmodelCLIvisionOSXcode
确认 299 是否从单轮输出转向多步任务评估。 · source segments: 0–78

样本与生成:samples、generation、initial data 定义任务空间

deep_candidate

第二段出现 generation、samples、initial、data,说明鲁棒评估需要先定义任务样本、输入空间和初始条件。它支撑 I2。

modelProvideragenticFoundation Modelsai
复核 samples/data 是否支撑鲁棒性测试空间。 · source segments: 79–158

评估工作台:view、review、check、dataset 把结果变成可审查对象

deep_candidate

中段围绕 evaluation、view、review、check、dataset,说明评估结果必须可查看、可复核、可比较。它支撑 I3。

EvaluationsmodelXcodeProvidersearch
确认 view/review/dataset 是否构成审查工作台。 · source segments: 159–237

工具边界:model、tool、prompt 共同决定 agent 是否稳健

deep_candidate

第四段出现 model、tool、evaluation、prompt,说明 agentic app 的风险来自模型、工具选择、提示词和中间状态共同作用。它支撑 I4。

modelsearchEvaluationsmetadataThen
判断 model/tool/prompt 是否支撑 agentic robust evaluation。 · source segments: 238–317

治理收束:evaluations 反向定义工具 schema、权限和 fallback

deep_candidate

收束段围绕 tools、prompt、tool、evaluations,说明评估结果应该反过来改进工具 schema、权限边界和失败回退。它支撑 I5/I6。

EvaluationsmodelXcodeProvidersearch
确认 evaluations 是否反向驱动治理策略。 · source segments: 318–396
下左 · 时间锚点

Anchor Skeleton

0:11↗
1:23↗
2:28↗
3:38↗
4:40↗
5:47↗
6:52↗
8:01↗
9:03↗
10:09↗
11:12↗
12:21↗
13:23↗
14:24↗
15:30↗
16:36↗
17:48↗
19:02↗
20:09↗
21:17↗
下右 · 深度内容已验证

Workbench Status

I1deep_candidate

结论 1:Agentic app 评估必须覆盖多步任务,而不是只看单轮输出。

299 的核心判断是 agentic app 的质量不等于回答好不好。多步任务里的工具选择、顺序、中间状态和恢复路径都必须进入评估范围。 只有把任务过程纳入评估,团队才能判断 agent 是否真正适合生产场景。

I2deep_candidate

结论 2:样本、初始数据和任务空间决定鲁棒性评估有没有意义。

如果没有覆盖异常输入、初始状态、用户中断和边界条件,agentic 评估就只是演示样本。299 提醒团队先定义任务空间,再谈鲁棒性。 这些样本决定评估是否能发现真实用户场景中的失败,而不是只证明 demo 可行。

I3deep_candidate

结论 3:评估结果必须可查看、可复核、可比较。

view、review、check、dataset 等线索说明评估不应只是通过/失败。团队需要看到样本、步骤、判断和错误原因,才能改进 agent 行为。

I4deep_candidate

结论 4:模型、工具和提示词要作为一个系统一起评估。

Agentic 失败可能来自模型理解、工具 schema、prompt 约束、权限缺失或中间状态错误。299 的工程意义是把这些因素合在一起评估,而不是单独测模型。

I5deep_candidate

结论 5:评估结果应反向定义权限、工具 schema 和 fallback 策略。

鲁棒评估的目标不是生成报告,而是修正系统设计。评估发现的失败模式应该回到权限、工具 schema、提示策略和人工确认/fallback 设计中。 这样评估才能成为治理机制,而不是发布前才补上的质量报告。

I6deep_candidate

总判断:299 是 agentic evaluations 的综述入口。

299 应挂在 298 的评估主线下,但它更专注 agentic app:多步任务、工具调用、状态变化和失败恢复。它与 242/243 共同构成 agentic 产品发布闭环。