攻击面变化:agentic feature 把模型输出变成工具调用风险
deep_candidate开场围绕 model、agentic、Security、App Intents,说明安全问题不是模型回答错,而是模型驱动工具调用会触发真实操作。它支撑 I1。
正在接入 Apple HLS 视频源…
开场围绕 model、agentic、Security、App Intents,说明安全问题不是模型回答错,而是模型驱动工具调用会触发真实操作。它支撑 I1。
第二段围绕 model、agentic、LLM、Siri,说明 agent 行动需要按工具、数据、权限和操作影响分级,而不能让模型自由调用所有能力。它支撑 I2。
中段围绕 Security、Foundation Models、agentic,说明安全治理需要能追踪模型为什么触发某动作、传了什么参数、结果是什么。它支撑 I3。
第四段出现 Siri、App Intents、metadata,说明 agentic 操作不能一刀切:高风险需确认,中风险可撤销,低风险可自动。它支撑 I4。
收束段围绕 schema、metadata、AppIntent,说明安全边界必须进入工具 schema、权限描述、日志和策略,而不是只靠模型提示词。它支撑 I5/I6。
347 的重点不是传统漏洞扫描,而是模型输出变成 App Intents、Siri 操作或工具调用后的攻击面。Prompt injection、错误工具选择和权限滥用都可能造成真实后果。
Tool permission 模型应把可访问数据、可执行动作、影响范围和调用频率写清楚。Agent 只能在授权边界内行动,这是 agentic app 的安全底座。
每次 agentic action 都应记录触发原因、执行参数和结果。审计日志不仅用于安全追责,也用于调试模型行为、定位错误工具路径和持续改进策略。 没有这条链路,团队既无法解释事故,也无法把失败样本反馈到权限和工具设计中。
高风险操作必须确认,中风险操作应可撤销,低风险操作可自动执行。确认策略随用户信任和历史行为变化,而不是一刀切。 这种分层能在安全和可用性之间取得平衡,避免把所有操作都变成打扰。
如果安全只写在 prompt 中,就无法长期治理。工具 schema、metadata、权限声明、日志和 policy 才能让 agentic feature 在工程上可验证、可审计、可回滚。
347 负责模型驱动工具调用的权限、审计和确认;379 负责社交工程场景下用户是否被操纵。两者共同把 security_privacy 从合规检查推进到 agentic runtime governance。