5
相关 sessions
上下文、检索与视觉输入
模型体验质量取决于它能看到什么：Spotlight、视觉理解和应用内容索引共同构成上下文层。
数据与证据快照
13070
已分析字幕词数
30
证据锚点
核心判断与依据
Core Spotlight 让应用内容进入模型可用的检索上下文。
锚点：7 · 覆盖 session：237, 241, 246, 297
- 246 · 0:10 · LLM search using Core Spotlight · search
- 246 · 0:13 · LLM search using Core Spotlight · Core Spotlight
- 237 · 1:19 · What’s new in image understanding · LLM
- 297 · 1:25 · Best practices for integrating visual intelligence in your app · search
- 297 · 2:36 · Best practices for integrating visual intelligence in your app · search
Vision / image understanding 把多模态输入转化为模型上下文。
锚点：8 · 覆盖 session：237, 241, 242, 246, 297
- 246 · 2:21 · LLM search using Core Spotlight · Vision
- 237 · 0:06 · What’s new in image understanding · Vision
- 237 · 0:10 · What’s new in image understanding · image understanding, image
- 297 · 0:13 · Best practices for integrating visual intelligence in your app · visual
- 297 · 0:19 · Best practices for integrating visual intelligence in your app · visual
检索与视觉入口需要来源解释和权限边界。
锚点：7 · 覆盖 session：241, 242, 246, 297
- 246 · 0:19 · LLM search using Core Spotlight · content
- 246 · 2:14 · LLM search using Core Spotlight · content
- 297 · 1:55 · Best practices for integrating visual intelligence in your app · content
- 297 · 2:07 · Best practices for integrating visual intelligence in your app · content
- 241 · 1:01 · What’s new in the Foundation Models framework · source
上下文质量会限制 Foundation Models 的实际体验上限。
锚点：8 · 覆盖 session：237, 241, 246, 297
- 246 · 0:10 · LLM search using Core Spotlight · search
- 246 · 0:13 · LLM search using Core Spotlight · model
- 237 · 0:38 · What’s new in image understanding · model
- 237 · 0:42 · What’s new in image understanding · model
- 297 · 1:25 · Best practices for integrating visual intelligence in your app · search
深度分析：模型输出质量取决于输入质量
检索即能力
Core Spotlight 和 SpotlightSearchTool（246）把应用内容索引变成了模型上下文的一部分。这句话的反面是：如果应用没有高质量的内容索引，模型就'看不见'这些信息。这意味着内容治理第一次直接影响 AI 体验质量——metadata 质量、权限过滤、索引覆盖范围都会决定模型回答的相关性和准确性。
视觉入口的实用主义
Image Understanding（237）和 Visual Intelligence（297）的更新务实克制——它们不是在做'看图聊天'的泛化能力，而是在做特定任务的视觉输入（识别对象后触发搜索、比对、记录）。这与生成式 AI 的 hype 形成对比：Apple 在多模态上的策略是增强现有任务，而不是创造新的泛化交互。
上下文质量的上限效应
Garbage in, garbage out 在 AI 时代被放大：模型能力提升时，上下文质量会成为新的瓶颈。这不同于传统软件工程的 bug 修复——上下文质量不足时，模型不会报错，而是生成看似合理但事实上错误的回答。这意味着上下文质量需要像代码质量一样纳入测试和评审流程。
综合判断：AI 体验的质量上限不是模型能力，而是模型能'看见'什么。内容索引、metadata 治理和权限模型会从'运维工作'升级为'AI 核心能力'。
适用与谨慎
适用场景
- 应用有结构化内容可被索引。
- 视觉输入能连接到明确任务。
- 模型输出需要引用用户或应用内容。
不适用或需谨慎
- metadata 混乱。
- 权限过滤不可靠。
- 无法展示来源和纠错路径。
代表性 Sessions
| Session | 标题 | Apple |
|---|---|---|
| 246 | LLM search using Core Spotlight | Apple ↗ |
| 237 | What’s new in image understanding | Apple ↗ |
| 297 | Best practices for integrating visual intelligence in your app | Apple ↗ |
| 241 | What’s new in the Foundation Models framework | Apple ↗ |
| 242 | Build agentic app experiences with the Foundation Models framework | Apple ↗ |