WWDC26 · 241What’s new in the Foundation Models framework
当前 0:07 7s官方 ↗
Session 241·What’s new in the Foundation Models framework·深度内容已验证 · 5 sections · 6 cards
深度内容已验证

视频证据

已具备 session-specific claims、anchors、evidence refs、脚本分段和 CDP 验证;这是可审核完成态。

正在接入 Apple HLS 视频源…

脚本分段

分段导航

每段对应一个视频时间段,说明“讲什么、支撑哪条洞察、对应哪些锚点”。完整字幕不在公开页复刻。

能力定位:Foundation Models 是 App 内智能的本地底座

deep_candidate

Erik 和 Zhen 开场:Foundation Models 框架开源,附带 Utilities 包(OS 版本间独立更新)。2027 年重点——OS 内外集成、更多模型类型(Vision 多模态)、agentic 体验新原语。路线图覆盖新模型、系统工具(Vision/Spotlight)和 Dynamic Profiles。

modelFoundation ModelsagenticEvaluationsFoundation
确认 Foundation Models 是否是 App 内智能的本地底座。 · source segments: 0–62

隐私与端云协同:PCC 是本地模型能力的边界补位

deep_candidate

端侧语言模型全面升级,新增 Vision 多模态(UIImage/CGImage/CoreVideo PixelBuffer)。PCC 模型 32K 上下文+推理能力。Model abstraction layer 开放 LanguageModel 协议——Core AI、MLX、Anthropic、Google 可接入统一会话。watchOS 27 支持 PCC。

modelPrivate Cloud ComputeCloudComputePrivate
复核 PCC 是否承担端侧模型的能力补位和信任边界。 · source segments: 63–126

系统上下文:Core Spotlight 与 search 让模型接入用户内容

deep_candidate

第三方模型使用需处理认证和计费。新增 BarcodeReaderTool、OCRTool(Vision)和 SpotlightSearchTool(本地 RAG)三个内置系统工具。Zhen 介绍 Dynamic Profiles——声明式 API 实现单会话内按需切换指令、工具和模型。

modelagenticsearchCore SpotlightFoundation Models
确认搜索/Spotlight 是否是模型接入用户内容的关键桥。 · source segments: 127–189

质量门槛:Evaluations 把模型功能带入工程回归

deep_candidate

Dynamic Profiles 深度:DynamicProfile 协议+result builder+modifier 链式配置。@Observable 状态驱动 Profile 切换,单会话保留历史。不同 Profile 可指定不同模型和 reasoningLevel。Evaluations 框架简介——量化 prompt 变更带来的质量影响。

modelEvaluationsFoundation ModelsPrivate Cloud ComputeCLI
判断 Evaluations 是否成为 AI 功能发布门槛。 · source segments: 190–253

生态落地:Python SDK / CLI 表明模型能力进入工具链和自动化

deep_candidate

fm CLI 发布:终端直接调用端侧和 PCC 模型,支持 shell 脚本集成(摘要、图片重命名、信息提取)。Python SDK 面向数据科学家,API 与 Swift 版一致。框架核心+Utilities 包开源(transcript 管理、skill API、Chat Completions),可在 Linux 服务器上运行。

modelFoundation ModelsEvaluationsPython SDKCLI
确认 SDK/CLI 是否让 Foundation Models 进入工程工具链。 · source segments: 254–316
下左 · 时间锚点

Anchor Skeleton

0:07↗
1:06↗
2:07↗
3:06↗
4:28↗
5:19↗
6:29↗
7:25↗
8:39↗
9:37↗
10:38↗
11:51↗
13:03↗
14:15↗
15:28↗
16:28↗
17:53↗
19:03↗
20:02↗
20:59↗
下右 · 深度内容已验证

Workbench Status

I1deep_candidate

结论 1:Foundation Models 是 App 内智能的本地能力底座。

Foundation Models 框架开源+Utilities 包。端侧模型 Vision 多模态升级、PCC 32K 上下文+推理能力。LanguageModel 协议开放使 CoreAI/MLX/第三方可接入。

I2deep_candidate

结论 2:Private Cloud Compute 是本地优先路线的能力补位。

新增 BarcodeReader/OCR/SpotlightSearch 三个内置系统工具。Dynamic Profiles 声明式 API 实现单会话内指令/工具/模型切换。

I3deep_candidate

结论 3:Core Spotlight / search 是模型接入用户内容的关键桥。

fm CLI 和 Python SDK 发布。框架核心+Utilities 包开源可 Linux 运行。Evaluations 框架量化 prompt 变更影响。

I4deep_candidate

结论 4:Evaluations 把 AI 功能从 demo 推进到可发布工程。

Evaluations 的价值在于把模型输出纳入可度量、可回归、可复核的工程体系。Foundation Models 要成为平台能力,必须让开发者能持续评估质量、边界、提示词和版本变化,而不是靠一次演示证明有效。

I5deep_candidate

结论 5:SDK / CLI 让模型能力进入开发工具链和自动化流程。

Python SDK、CLI 与 Evaluations 说明 Apple 不只关心 App 运行时调用,也在把模型能力放进开发、测试、自动化和离线评估流程。这使 Foundation Models 具备工程化扩展路径,而不是停留在 UI 功能。

I6deep_candidate

总判断:241 是 WWDC26 的模型能力底座专题。

241 应作为 102 平台战略母版下的模型能力底座样板:它把本地模型、PCC、用户内容索引、质量评估和工具链接成闭环。它解释了 Apple Intelligence 如何从年度叙事落到开发者可集成、可评估、可发布的能力。