WWDC26 · 237What’s new in image understanding
当前 0:06 6s官方 ↗
Session 237·What’s new in image understanding·深度内容已验证 · 5 sections · 6 cards
深度内容已验证

视频证据

已具备 session-specific claims、anchors、evidence refs、脚本分段和 CDP 验证;这是可审核完成态。

正在接入 Apple HLS 视频源…

脚本分段

分段导航

每段对应一个视频时间段,说明“讲什么、支撑哪条洞察、对应哪些锚点”。完整字幕不在公开页复刻。

视觉理解入口:image understanding 是多模态能力的技术底座

deep_candidate

开场围绕 model、Foundation Models、Vision,说明 237 不是产品层 Visual Intelligence,而是图像输入如何进入模型推理和 App 任务链的技术底座。它支撑 I1。

modelFoundation ModelsVisionaiAI & Machine Learning
确认 image understanding 是否是 VI 技术底座。 · source segments: 0–51

输入管线:ImageRequestHandler 把图像交给模型和 Vision 工具

deep_candidate

第二段出现 ImageRequestHandler、Foundation Models、Vision,说明图像理解需要输入处理、类型桥接和模型调用路径。它支撑 I2。

modelFoundation ModelsImageRequestHandleraiAI & Machine Learning
复核 ImageRequestHandler 是否形成图像输入管线。 · source segments: 52–103

工具调用:Vision 与 Foundation Models 协同完成结构化视觉任务

deep_candidate

中段出现 tool calling、Foundation Models、Vision,说明视觉理解不是模型独自完成,而是模型调度工具并组织结果。它支撑 I3。

modeltool callingFoundation ModelsVisionFoundation
确认 tool calling 是否让 Vision 与 FM 协同。 · source segments: 104–155

质量边界:视觉结果必须可解释、可验证、可连接 App 数据

deep_candidate

第四段继续围绕 Foundation Models 与 Vision,说明视觉理解输出若不能解释来源、置信边界和对应数据,就难以进入产品。它支撑 I4。

modelFoundation ModelsVisionaiAI & Machine Learning
判断视觉理解输出是否需要可验证边界。 · source segments: 156–207

产品收束:Image understanding 是 Visual Intelligence 与 Search 的前置层

deep_candidate

收束段回到 Vision、Foundation Models,说明 237 应与 297/246 连接:视觉理解负责把图像变成结构化上下文,搜索和 Intents 负责后续行动。它支撑 I5/I6。

modelVisionFoundation ModelsaiAI & Machine Learning
确认 237 与 297/246 的上下游关系。 · source segments: 208–259
下左 · 时间锚点

Anchor Skeleton

0:06↗
0:52↗
1:36↗
2:25↗
3:03↗
3:59↗
4:47↗
5:37↗
6:34↗
7:19↗
8:14↗
8:55↗
9:40↗
10:33↗
11:20↗
12:05↗
12:50↗
13:43↗
14:44↗
15:32↗
下右 · 深度内容已验证

Workbench Status

I1deep_candidate

结论 1:Image Understanding 是 Visual Intelligence 的技术底座。

237 的定位不是展示一个视觉入口,而是解释图像如何进入模型推理。它位于 297 Visual Intelligence 之下,负责把视觉输入转成模型可处理、可解释、可连接 App 数据的结构。

I2deep_candidate

结论 2:ImageRequestHandler 是图像输入进入 Foundation Models 的关键管线。

图像理解需要稳定的输入处理,而不是直接把图片丢给模型。ImageRequestHandler 这类能力把图像对象、Vision 处理和模型调用连接起来,降低多模态集成成本。

I3deep_candidate

结论 3:Vision 工具调用让模型从看图走向结构化视觉任务。

tool calling 与 Vision 结合说明模型不只是描述图片,而是能够调度 OCR、对象识别、区域分析等工具,再把结果组织成 App 可用的上下文。

I4deep_candidate

结论 4:视觉理解输出必须解释来源、范围和置信边界。

视觉模型出错会直接影响用户信任。237 应补足质量边界:App 需要知道模型看了什么、从哪里得出结论、是否可靠,以及失败时如何让用户纠正。 这决定了视觉能力是否能被放进高价值任务,而不是停留在不透明识别结果。

I5deep_candidate

结论 5:237 与 297/246 形成图像→上下文→行动链。

237 负责图像理解,297 负责把视觉能力放进 App 体验,246 负责搜索和上下文检索。三者合起来才是完整的多模态任务链,而不是单点识别能力。 因此它是多模态体验从感知走向检索和行动的底层连接点。

I6deep_candidate

总判断:237 补齐 visual_intelligence_search 的底层技术环。

有了 237,visual_intelligence_search 不再只有 246 的本地检索和 297 的产品集成,而有了图像理解本身的技术层。下一步可继续补 292 search design,形成技术、体验、设计闭环。