能力定位:Foundation Models 是 App 内智能的本地底座
deep_candidateErik 和 Zhen 开场:Foundation Models 框架开源,附带 Utilities 包(OS 版本间独立更新)。2027 年重点——OS 内外集成、更多模型类型(Vision 多模态)、agentic 体验新原语。路线图覆盖新模型、系统工具(Vision/Spotlight)和 Dynamic Profiles。
正在接入 Apple HLS 视频源…
Erik 和 Zhen 开场:Foundation Models 框架开源,附带 Utilities 包(OS 版本间独立更新)。2027 年重点——OS 内外集成、更多模型类型(Vision 多模态)、agentic 体验新原语。路线图覆盖新模型、系统工具(Vision/Spotlight)和 Dynamic Profiles。
端侧语言模型全面升级,新增 Vision 多模态(UIImage/CGImage/CoreVideo PixelBuffer)。PCC 模型 32K 上下文+推理能力。Model abstraction layer 开放 LanguageModel 协议——Core AI、MLX、Anthropic、Google 可接入统一会话。watchOS 27 支持 PCC。
第三方模型使用需处理认证和计费。新增 BarcodeReaderTool、OCRTool(Vision)和 SpotlightSearchTool(本地 RAG)三个内置系统工具。Zhen 介绍 Dynamic Profiles——声明式 API 实现单会话内按需切换指令、工具和模型。
Dynamic Profiles 深度:DynamicProfile 协议+result builder+modifier 链式配置。@Observable 状态驱动 Profile 切换,单会话保留历史。不同 Profile 可指定不同模型和 reasoningLevel。Evaluations 框架简介——量化 prompt 变更带来的质量影响。
fm CLI 发布:终端直接调用端侧和 PCC 模型,支持 shell 脚本集成(摘要、图片重命名、信息提取)。Python SDK 面向数据科学家,API 与 Swift 版一致。框架核心+Utilities 包开源(transcript 管理、skill API、Chat Completions),可在 Linux 服务器上运行。
Foundation Models 框架开源+Utilities 包。端侧模型 Vision 多模态升级、PCC 32K 上下文+推理能力。LanguageModel 协议开放使 CoreAI/MLX/第三方可接入。
新增 BarcodeReader/OCR/SpotlightSearch 三个内置系统工具。Dynamic Profiles 声明式 API 实现单会话内指令/工具/模型切换。
fm CLI 和 Python SDK 发布。框架核心+Utilities 包开源可 Linux 运行。Evaluations 框架量化 prompt 变更影响。
Evaluations 的价值在于把模型输出纳入可度量、可回归、可复核的工程体系。Foundation Models 要成为平台能力,必须让开发者能持续评估质量、边界、提示词和版本变化,而不是靠一次演示证明有效。
Python SDK、CLI 与 Evaluations 说明 Apple 不只关心 App 运行时调用,也在把模型能力放进开发、测试、自动化和离线评估流程。这使 Foundation Models 具备工程化扩展路径,而不是停留在 UI 功能。
241 应作为 102 平台战略母版下的模型能力底座样板:它把本地模型、PCC、用户内容索引、质量评估和工具链接成闭环。它解释了 Apple Intelligence 如何从年度叙事落到开发者可集成、可评估、可发布的能力。