模型运行时深度主题洞察字幕级依据

基础模型与 Apple Intelligence

Foundation Models 不是一个孤立 API，而是 agentic app 的基础设施起点：模型访问、工具调用、PCC/provider、检索/视觉、端侧模型与评估闭环共同构成落地条件。

主线拆解核心判断行动含义

核心摘要

主判断

模型能力正在成为平台底座，关键不只是模型 API，而是任务、上下文、工具、路由和评估共同组成的能力栈。

为什么重要

它决定后续 App Intents、检索、端侧 AI、评估和安全治理如何连接。

建议阅读顺序

先读模型访问层，再读工具调用和评估闭环。

主线拆解核心判断证据依据报告体系图

已拆分子报告 本摘要用于在进入长文前建立主题判断、价值位置和下钻方向。

速读结论

一句话干货

Apple 正把模型能力变成系统级运行时，真正关键是任务、上下文、工具、路由和评估如何组合。

证据覆盖

13 sessions / 8 claims / 25 anchors (含5子主题 154)

读者确认项

选择 1–2 个高频任务，定义上下文、工具边界和评估基线。

阅读判断

必须阅读。它是整套报告的 AI 能力底座。

原始资料补强

关键资料焦点

Foundation Models frameworktool callingPrivate Cloud ComputeproviderEvaluations

从资料中提炼出的干货
  • 把模型能力当作产品运行时，而不是单次 API 调用。
  • 优先治理上下文、工具权限、能力路由和评估基线。
  • PCC、端侧和 provider 需要以 fallback 和 routing 的方式共同设计。
重点覆盖 sessions
Session标题词数
241What’s new in the Foundation Models framework2697
242Build agentic app experiences with the Foundation Models framework2984
319Build with the new Apple Foundation Model on Private Cloud Compute1527
339Bring an LLM provider to the Foundation Models framework3146
298Meet the Evaluations framework3703
主题结构图

基础模型与 Apple Intelligence

模型能力正在从功能点升级为平台能力层

13sessions
8claims
25+154anchors (含5子主题)
5子报告
1四个总判断

模型成为平台底座

Framework / Tool Calling / Provider abstraction 正在成型

真实可用性取决于上下文、评估与能力路由

价值要回到真实 app 流程

2关键洞察结论

模型访问层

  • Foundation Models framework / LanguageModelSession / 会话运行时

Agentic 执行

  • tool calling / instructions / 受约束执行

能力路由

  • on-device / PCC / provider / fallback

质量门槛

  • Evaluations / judge / trace / regression

上下文输入

  • Core Spotlight / Vision / search context
3证据与依据

Sessions / 字幕 / 脚本

公开 session 与结构化字幕索引

→

Claims

提炼可验证的主题判断

→

Evidence Anchors

定位到证据锚点

→

Theme Judgment

形成趋势判断与行动含义

4趋势判断

从模型演示走向产品化能力栈

从单模型入口走向多层能力路由

从内容生成走向任务执行与工作流嵌入

从功能试验走向评估、治理与质量门槛

5风险与边界

输出需要可验证

工具权限与执行边界必须前置设计

Provider 路由带来隐私、成本与可用性差异

上下文质量限制真实效果

6已拆分子报告

模型访问层与应用运行时

Agentic 执行与工具调用

PCC、第三方 Provider 与能力路由

评估闭环与质量门槛

上下文、检索与视觉输入

核心判断证据依据报告体系图

是否需要阅读这个主题

适合阅读

正在规划 Apple Intelligence、agentic app、模型调用或 provider 路由。

可以后置

只关心非 AI 的平台框架更新。

复核重点

核对 FM-C1 到 FM-C8 的证据类型，重点区分 Apple 明示和 Insight 综合判断。

适合哪些读者

主要读者

AI 产品负责人、客户端架构、AI 平台、质量团队

读完应获得

判断该主题是否值得读者结合自身产品线、工程架构或发布门禁问题进一步确认。

复核方式

从主题判断进入 Claim，再核对 session、timecode、证据类型与推论边界。

一句话结论

从“模型能回答什么”转向“应用如何安全地组织模型参与任务”。

它改变的是应用组织智能能力的方式。过去应用把模型当服务调用，今天则需要把任务、上下文、工具、权限、回退、评估一起设计。这个变化会影响产品定义、客户端架构和质量体系。

覆盖范围：13 sessions / 39481 words / 4670 segments

数据与证据快照

13

相关 sessions

39481

已分析字幕词数

4670

字幕 segments

8

核心判断

179

字幕级依据锚点（含子主题 154）

强 A+：5 个子主题共 154 个锚点，覆盖模型访问/工具调用/PCC/评估/上下文。

证据强度

细分子报告

Foundation Models 是本报告的核心主线，已拆成 5 个可单独阅读和复核的子报告。建议阅读父主题掌握整体，再按模型访问、工具调用、能力路由、评估闭环、上下文检索逐层下钻。

模型访问层与应用运行时

4 sessions · 11432 words · 4 claims · 32 anchors

Agentic 执行与工具调用

5 sessions · 15215 words · 4 claims · 32 anchors

PCC、第三方 Provider 与能力路由

5 sessions · 13323 words · 4 claims · 32 anchors

评估闭环与质量门槛

5 sessions · 16061 words · 4 claims · 28 anchors

上下文、检索与视觉输入

5 sessions · 13070 words · 4 claims · 30 anchors

主线拆解

01

模型访问层

Foundation Models framework 让应用管理会话、生成行为和上下文输入。这意味着模型调用会进入应用状态管理，而不是停留在一次性请求。

02

Agentic 执行层

instructions、profile 与 tool calling 把模型能力转化为受约束任务执行。关键是工具边界、输入校验、输出约束和用户控制权。

03

能力扩展层

PCC 与 provider 抽象让能力根据隐私、性能、可用性分层。应用不能假设某一种模型路径始终可用。

04

上下文供给层

Spotlight、Vision 和内容索引决定模型能看见什么。上下文质量会直接影响结果质量。

05

质量治理层

Evaluations 和 Instruments 决定 AI 功能能否稳定迭代。没有评估闭环，就无法判断模型功能是否真正变好。

证据分级与推论边界

Claim 类型

  • Apple 明示 + Insight 综合：3 条
  • Apple 明示 + 多证据综合：1 条
  • Apple 明示 + Insight 推论：2 条
  • Apple 明示 + 趋势综合：1 条
  • Insight 综合判断：1 条

高频证据词

  • model ×215
  • framework ×89
  • session ×66
  • Foundation ×64
  • tool ×63
  • Models ×59
  • Apple ×59
  • models ×51
  • visionOS ×50
  • tools ×44

不应外推的边界

  • 不能把 Foundation Models 等同于所有 Apple AI 能力；Core AI、MLX、PCC、provider 和 App Intents 属于相邻层。
  • 不能直接推断所有应用都应立即做 agentic app；任务边界、可用性和评估能力决定优先级。
  • 关于 provider 和能力路由的判断包含 Insight 综合推论，不能当作 Apple 明示路线图。

关键张力

  • 平台能力更强，但产品要承担更多上下文、权限、评估和回退责任。
  • 模型抽象降低接入门槛，但多 provider / PCC / 端侧路径会增加架构复杂度。

Claim 证据链总览

本表把主题判断拆成可复核的证据链：每条 claim 都标注证据类型、锚点数量、覆盖 session 和推论边界。覆盖数据：13 个相关 sessions，39481 个字幕词，4670 个字幕片段。父主题 8 条 + 5 个子主题 20 条 claims，共 179 个锚点。。

判断类型锚点覆盖 Session支撑强度推论边界
FM-C1
Foundation Models 的核心变化不是单个模型 API，而是应用可直接组织会话、上下文和生成行为的系统级模型访问层。		Apple 明示 + Insight 综合3241, 242, 334稳定支撑子报告 模型访问层 含 FMRT-C1~C4 共 32 个锚点。
FM-C2
Apple 正在把 agentic app 的关键能力拆成可工程化组件：instructions/profile、tool calling、上下文管理和结果约束。		Apple 明示 + 多证据综合3241, 242, 299稳定支撑子报告 Agentic 执行 含 4 claims 共 32 个锚点。
FM-C3
Private Cloud Compute 不是孤立云能力，而是 Foundation Models 能力边界的一部分，用于在端侧能力不足时扩展模型能力，同时保持隐私承诺。		Apple 明示 + Insight 综合3241, 319, 339稳定支撑子报告 PCC 与 Provider 含 4 claims 共 32 个锚点。
FM-C4
第三方 provider 接入说明 Apple 在模型层引入抽象接口，应用未来需要面向多 provider、能力差异和回退策略设计。		Apple 明示 + Insight 推论3241, 324, 339稳定支撑包含本报告基于技术结构做出的推论，适合用于方向判断，不应当作 Apple 明示承诺。
FM-C5
Evaluations 正在成为 agentic 功能进入产品化前的质量门槛：评估数据、指标、模型作为裁判和回归比较需要前置。		Apple 明示 + Insight 综合2298, 335基础支撑子报告 评估闭环 含 4 claims 共 28 个锚点。
FM-C6
Spotlight 与视觉能力把应用内容和多模态输入转化为模型上下文，意味着 AI 体验的质量会越来越依赖内容索引和来源解释。		Apple 明示 + Insight 推论3237, 241, 246稳定支撑子报告 上下文与检索 含 4 claims 共 30 个锚点。
FM-C7
Core AI 与 MLX 相关能力显示：Foundation Models 主线之外，Apple 也在强化端侧自定义模型的部署、优化和调试能力。		Apple 明示 + 趋势综合3324, 325, 326稳定支撑由多个 session 证据综合得出，适合做主题级判断；具体落地仍需结合业务场景。
FM-C8
整体来看，WWDC26 的 Foundation Models 主题更像一套 agentic app 基础设施蓝图：模型访问、工具调用、PCC/provider、检索/视觉、端侧模型和评估闭环共同构成落地条件。		Insight 综合判断5241, 242, 298, 319, 339多源强支撑综合 5 个子报告：模型访问(32) / Agentic (32) / PCC (32) / 评估(28) / 上下文(30)。

与其他主题的关系

平台位置：位于平台 AI 能力供给层，是其他 AI 主题的底座之一。

依赖哪些主题

  • App Intents / Siri：提供可执行任务和系统行动接口。
  • Evaluations / Observability：提供质量门槛和回归机制。
  • Local AI / Core AI：提供端侧模型与自定义模型补充。

影响哪些主题

  • Visual Intelligence / Search：模型需要高质量上下文和检索结果。
  • Security / Privacy：tool calling 和 provider 路由需要权限与审计。
  • Design / AI UX：模型行为需要被用户理解、控制和恢复。

核心判断与依据

Foundation Models 的核心变化不是单个模型 API，而是应用可直接组织会话、上下文和生成行为的系统级模型访问层。

解读：从高频、明确、可验证的任务开始，而不是从泛聊天入口开始。

FM-C1

依据锚点

  • 241 · 0:12 · What’s new in the Foundation Models framework · Foundation Models framework
  • 242 · 0:33 · Build agentic app experiences with the Foundation Models framework · transcript
  • 334 · 0:09 · Build AI-powered scripts with the fm CLI and Python SDK · Foundation Models

Apple 正在把 agentic app 的关键能力拆成可工程化组件：instructions/profile、tool calling、上下文管理和结果约束。

解读：为每个模型能力定义可用性、回退、日志和评估方式。

FM-C2

依据锚点

  • 242 · 1:23 · Build agentic app experiences with the Foundation Models framework · agentic
  • 241 · 0:19 · What’s new in the Foundation Models framework · tool
  • 299 · 1:03 · Create robust evaluations for agentic apps · agentic

Private Cloud Compute 不是孤立云能力，而是 Foundation Models 能力边界的一部分，用于在端侧能力不足时扩展模型能力，同时保持隐私承诺。

解读：把 tool calling 当成产品能力边界，而不是单纯技术接口。

FM-C3

依据锚点

  • 319 · 0:12 · Build with the new Apple Foundation Model on Private Cloud Compute · Private Cloud Compute
  • 241 · 4:41 · What’s new in the Foundation Models framework · Private Cloud Compute
  • 339 · 1:50 · Bring an LLM provider to the Foundation Models framework · provider

第三方 provider 接入说明 Apple 在模型层引入抽象接口，应用未来需要面向多 provider、能力差异和回退策略设计。

解读：把评估体系放在设计阶段，而不是发布后补救。

FM-C4

依据锚点

  • 339 · 0:13 · Bring an LLM provider to the Foundation Models framework · Foundation Models framework
  • 241 · 7:12 · What’s new in the Foundation Models framework · SystemLanguageModel
  • 324 · 0:07 · Meet Core AI · Core AI

Evaluations 正在成为 agentic 功能进入产品化前的质量门槛：评估数据、指标、模型作为裁判和回归比较需要前置。

解读：把评估体系放在设计阶段，而不是发布后补救。

FM-C5

依据锚点

  • 298 · 0:10 · Meet the Evaluations framework · Evaluations framework
  • 335 · 0:07 · Improve your prompts by hill-climbing with Evaluations · Evaluations

Spotlight 与视觉能力把应用内容和多模态输入转化为模型上下文，意味着 AI 体验的质量会越来越依赖内容索引和来源解释。

解读：把评估体系放在设计阶段，而不是发布后补救。

FM-C6

依据锚点

  • 246 · 0:13 · LLM search using Core Spotlight · Core Spotlight
  • 237 · 0:06 · What’s new in image understanding · Vision
  • 241 · 0:23 · What’s new in the Foundation Models framework · Foundation Models

Core AI 与 MLX 相关能力显示：Foundation Models 主线之外，Apple 也在强化端侧自定义模型的部署、优化和调试能力。

解读：把评估体系放在设计阶段，而不是发布后补救。

FM-C7

依据锚点

  • 324 · 0:12 · Meet Core AI · Core AI
  • 325 · 0:08 · Dive into Core AI model authoring and optimization · Core AI
  • 326 · 0:09 · Integrate on-device AI models into your app using Core AI · Core AI

整体来看，WWDC26 的 Foundation Models 主题更像一套 agentic app 基础设施蓝图：模型访问、工具调用、PCC/provider、检索/视觉、端侧模型和评估闭环共同构成落地条件。

解读：把评估体系放在设计阶段，而不是发布后补救。

FM-C8

依据锚点

  • 241 · 0:55 · What’s new in the Foundation Models framework · Foundation Models framework
  • 242 · 12:43 · Build agentic app experiences with the Foundation Models framework · agentic
  • 319 · 0:44 · Build with the new Apple Foundation Model on Private Cloud Compute · Private Cloud Compute
  • 339 · 2:57 · Bring an LLM provider to the Foundation Models framework · provider

关键技术点

  • Foundation Models framework
  • LanguageModelSession / model abstraction
  • Private Cloud Compute
  • Dynamic Profiles / instructions
  • Tool calling
  • fm CLI / Python SDK
  • Third-party provider integration
  • Vision / Spotlight context
  • Evaluations framework

对产品与组织的影响

读者应确认什么

  • 从高频、明确、可验证的任务开始，而不是从泛聊天入口开始。
  • 为每个模型能力定义可用性、回退、日志和评估方式。
  • 把 tool calling 当成产品能力边界，而不是单纯技术接口。
  • 把评估体系放在设计阶段，而不是发布后补救。

当前洞察判断

  • 应用能力需要围绕任务而非页面组织。
  • 模型调用需要和工具、检索、评估、回退绑定。
  • 端侧、PCC 和第三方能力会共同形成能力路由。

需要警惕的风险

核心风险

  • 不要假设端侧能力在所有设备和地区都可用。
  • 不要让模型工具直接触发高风险动作。
  • 不要忽略 provider 差异带来的成本、隐私和质量变化。
  • 不要把相邻主题全部归入 Foundation Models，需要明确核心和扩展边界。

证据中暴露的风险

  • 判断仍需人工复核证据是否充分支撑结论。
  • 主题内 session 数量和覆盖范围会影响结论颗粒度。
  • 平台能力可用性、地区、设备和系统版本可能影响落地节奏。
  • 数据边界、权限和高风险动作需要清晰治理。

代表性 Sessions

Session优先级标题Apple
241P0What’s new in the Foundation Models frameworkApple ↗
242P0Build agentic app experiences with the Foundation Models frameworkApple ↗
319P1Build with the new Apple Foundation Model on Private Cloud ComputeApple ↗
334P1Build AI-powered scripts with the fm CLI and Python SDKApple ↗
339P1Bring an LLM provider to the Foundation Models frameworkApple ↗
298P1Meet the Evaluations frameworkApple ↗
299P1Create robust evaluations for agentic appsApple ↗
335P2Improve your prompts by hill-climbing with EvaluationsApple ↗
246P1LLM search using Core SpotlightApple ↗
237P2What’s new in image understandingApple ↗
324P2Meet Core AIApple ↗
325P2Dive into Core AI model authoring and optimizationApple ↗
326P2Integrate on-device AI models into your app using Core AIApple ↗

如何判断这条主题的战略价值

判断一个 WWDC 主题是否值得持续关注，不应只看它是否发布了新 API，而要看它是否改变了产品入口、工程架构、质量标准或组织协作方式。本主题的价值就在于，它和其他主题共同构成 Apple 平台能力的一部分：上层是用户体验和系统入口，中层是应用能力与工程流程，底层是模型、端侧能力、平台框架和安全治理。

因此，阅读这条主题时需要同时回答三个问题：第一，它改变了用户或开发者的哪条关键路径；第二，它要求我们补齐哪些基础设施；第三，它的风险边界在哪里。如果三个问题都能回答清楚，这个主题才不只是技术更新，而是可转化为产品和组织判断的洞察。

进一步研判

基础模型这条主线之所以最重要，是因为它把其他主题连接起来：App Intents 提供可执行任务，Spotlight 和 Vision 提供上下文，Core AI 提供端侧能力，PCC 和 provider 提供扩展路径，Evaluations 提供质量门槛。单独看每个组件都是功能更新，合起来才是一套 agentic app 基础设施。

因此，任何团队如果要基于 Apple Intelligence 做产品，都不应该先问用哪个模型，而应该先问要完成哪个任务、需要哪些上下文、允许哪些工具、失败如何回退、如何评估结果。这些问题回答清楚后，模型选择才有意义。

Foundation Models 的真正影响，是把 AI 产品设计从体验层推向架构层。它要求产品、客户端、AI 平台、设计、QA 和安全共同参与，而不是由单个算法或客户端团队独立完成。

判断成立条件与反证信号

判断成立条件

  • 应用能把核心任务拆成清晰上下文、工具和结果约束。
  • 产品有明确的 fallback 和评估机制，而不是只依赖一次模型输出。
  • 端侧、PCC、provider 的能力边界被产品和工程共同管理。

反证信号

  • 模型能力可用性在关键设备或地区受限。
  • 工具调用无法稳定通过评估或审计。
  • 团队无法维护评估数据集、prompt 版本和回归标准。

后续观察指标

  • Foundation Models framework 的可用范围和系统版本要求。
  • PCC/provider 能力差异和开发者接入路径。
  • Evaluations 与 agentic app 调试工具是否进入常规开发流程。

适用场景与判断框架

适用场景

  • 高频任务需要模型参与，但输出必须可验证。
  • 需要把模型、工具调用、检索和评估组合成端到端能力。
  • 产品希望在 Apple 平台内利用系统级模型能力，而不是自建完整模型栈。

不适用或需谨慎

  • 任务目标模糊、失败不可恢复。
  • 缺少评估集、权限边界和 fallback。
  • 只是为了“有 AI 感”而加入泛聊天入口。
阶段读者确认
业务相关性读者确认该主题是否与自身产品线、用户任务或平台能力相关。
技术底座读者确认现有架构、工具链、数据和质量体系是否支撑该判断。
组织约束读者确认 owner、资源、合规和发布节奏是否允许进一步讨论。

读者如何复核

本报告的结论来自 Apple Developer 公开 session 与结构化字幕索引。阅读时建议先阅读“数据与证据快照”，再看每条 claim 下方的 session / timecode / matched terms。直接能力描述通常更接近 Apple 明示；跨 session 的趋势判断属于 Insight 综合推论，需要结合证据强度和边界条件阅读。

对于来源较窄的主题，本报告会明确限制推论范围；对于覆盖很广的主题，本报告会优先给出拆分方向和判断问题，而不是替读者生成实际计划。

可直接带走的判断问题

读者可确认的问题
  • 建立任务级 AI 能力清单。
  • 定义每个任务的上下文、工具、权限和回退。
  • 将 Evaluations 纳入发布前质量门槛。
不应直接外推为

不要把该主题直接转成任务清单、验证门槛或架构检查项；应先结合公司真实业务、技术底座和组织约束确认。

复盘问题

该主题是否改变了入口、架构、质量标准、风险边界或商业闭环。

证据复核清单 · 人工审核状态

人工审核评分

82/100 · 🟢 可进入人工复核

审计发现的问题

部分判断(如 FM-C4/FM-C6/FM-C8) 属于 Insight 推论或综合判断，需检查是否过度外推

覆盖 claims / 锚点

8 claims · 25 (100%)

证据类型分布

Apple 明示+综合(4) · Insight 推论(2) · Insight 综合(1) · 趋势综合(1)

当前状态说明

本主题已建立 claim–evidence–anchor 的基本结构，但仍需人工逐条打开字幕段确认支撑强度，并区分 Apple 明示 / Insight 推论 / Insight 综合判断。本复核清单对应 Human Review Quality Audit 的要求。

证据依据总页查看完整人工审核审计发布级质量审计

人工复核未完成 本审计标记的分数和问题代表当前质量快照。每次 claim-level 绑定更新后应重新运行审计脚本。

继续阅读

App Intents 与 Siri

应用能力正在从页面按钮转化为系统可理解、可授权、可执行的行动契约。

评估与可观测

AI 产品化的门槛正在从主观观感转向可度量、可回归、可定位的质量闭环。

端侧 AI 与 Core AI

端侧模型、PCC 和 provider 会长期共存，真正要建设的是能力路由和设备预算管理。