觉
AI觉醒星球
Awakening is here
全球热点解读 · 阅读档案
2026-10-06 59 浏览 公开

智能体隐私与安全中的开放与涌现问题:一个情境视角

Google Research 发布 CAPS 研讨会报告,基于情境完整性理论,梳理自主智能体在系统、模型、用户与生态层面的隐私安全开放问题,并主张在执行前评估行动的情境适当性。

全球热点解读 约 9 分钟读完 公开 原文 2026-10-06 05:08:31

原贴

查看原文
作者:Google Research Blog 来源站点:research.google 原贴时间:

原文

Eugene Bagdasarian, Research Scientist, and Marco Gruteser, Principal Scientist, Google Research To be useful, AI agents must understand and be constrained by contextual behavioral norms to ensure they act appropriately. Inspired by the theory of Contextual Integrity, our new workshop report outlines key open research directions across system, model, and user levels to build AI agents users can trust. We're rapidly transitioning to a computing landscape defined by highly general, increasingly autonomous agents . Driven by large language models (LLMs) that can dynamically generate plans and invoke external tools, these systems offer the potential for AI to seamlessly handle complex, multi-step tasks on our behalf. However, realizing this potential requires solving a key challenge: enabling agent capability while ensuring that agents act appropriately. Today, we share a comprehensive new workshop report, " Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle ," the result of a collaborative effort bringing together more than 50 academic and industry leaders from numerous institutions. We met at the Google Contextual Agent Privacy and Security (CAPS) Workshop, held in late 2025 in New York City. In this report, you’ll find a breakdown of foundational privacy and security challenges that autonomous agents face today, needing coordinated defenses at the system, model, user, and ecosystem levels. The core challenge of agentic AI is that, for an agent to be useful, it may need to have access to personal data and the ability to take consequential actions across a broad range of contexts. However, this access together with agents’ behavioral flexibility requires meaningfully different approaches from those used in traditional software. Unlike traditional deterministic software, agents differ in three critical dimensions that lead to challenges the research community must address together: Unstructured interfaces and input ambiguity : Agents process instructions in formats like natural language and images, which makes it difficult to define "expected behavior" or protect against adversarial manipulations like prompt injection . Probabilistic control flows : Generative planning leads to probabilistic execution paths that traditional testing methodologies can’t easily secure. Autonomy and delegation : As agents handle longer tasks and delegate sub-tasks to other agents, traditional user oversight becomes less effective and likely insufficient, risking "confirmation fatigue". Agentic AI privacy and security challenges. Given that useful agents may need to share data and complete tasks, we believe that the future of trustworthy agents depends on their ability to reason about, understand, and be constrained by the social norms and appropriateness of their actions— for the specific context in which they operate. But how do we teach an agent to understand "context" and appropriateness? Our report is grounded in the theory of Contextual Integrity (CI), which defines privacy not just as secrecy or control, but as "appropriate information flow" according to established and justifiable social norms. A context-specific informational norm is defined by its actors (who is sending and receiving information about whom), the types of information (specific categories of information, like medical or financial records), and transmission principles (the rules governing the flow, like confidentiality or reciprocity). For example, you might be willing to share your gift shopping list with a virtual shopping assistant, but not your family and friends. Our report extends and generalizes contextual integrity for information sharing to contextual security, that is the appropriateness of agent actions. By anchoring agent privacy and security in CI, we explore how we can design systems that evaluate whether an action is socially and contextually appropriate before executing it. Model of a general AI agent interacting with other

中文翻译

Eugene Bagdasarian,研究科学家,以及 Marco Gruteser,首席科学家,Google Research。为了有用,AI 智能体必须理解并受到情境行为规范的约束,以确保它们采取适当行动。受情境完整性理论启发,我们的新研讨会报告概述了跨系统、模型和用户层面的关键开放研究方向,以构建用户可信任的 AI 智能体。

我们正在迅速过渡到一个由高度通用、日益自主的智能体所定义的计算景观。由能够动态生成计划并调用外部工具的大语言模型(LLM)驱动,这些系统有潜力让 AI 代表我们无缝处理复杂的多步骤任务。然而,实现这一潜力需要解决一个关键挑战:在赋能智能体能力的同时,确保智能体采取适当行动。

今天,我们分享一份全面的新研讨会报告,“Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle”,这是汇集来自众多机构的 50 多位学术和行业领袖的协作成果。我们在 2025 年末于纽约市举行的 Google 情境智能体隐私与安全(CAPS)研讨会上会面。在这份报告中,你将看到自主智能体当今面临的基础隐私和安全挑战的分解,这些挑战需要在系统、模型、用户和生态系统层面进行协调防御。

智能体 AI 的核心挑战是,一个智能体要有用,它可能需要访问个人数据,并具备在广泛情境中采取有后果行动的能力。然而,这种访问连同智能体的行为灵活性,要求采用与传统软件中使用的方法有实质不同的方法。与传统确定性软件不同,智能体在三个关键维度上不同,这些维度导致研究社区必须共同解决的挑战:

非结构化界面和输入歧义:智能体处理自然语言和图像等格式的指令,这使得定义“预期行为”或防护提示注入等对抗性操纵变得困难。

概率性控制流:生成式规划导致概率性执行路径,传统测试方法难以轻松保障其安全。

自主性和委托:随着智能体处理更长的任务并将子任务委托给其他智能体,传统用户监督变得不那么有效,且可能不足,从而带来“确认疲劳”风险。

智能体 AI 隐私与安全挑战。鉴于有用的智能体可能需要共享数据并完成任务,我们相信可信智能体的未来取决于它们推理、理解并受其行动社会规范和适当性约束的能力——针对其运作的特定情境。但是,我们如何教智能体理解“情境”和适当性?我们的报告以情境完整性(CI)理论为基础,该理论将隐私不仅定义为保密或控制,还定义为根据既定且可辩护的社会规范进行的“适当信息流动”。特定情境的信息规范由其行动者(谁在向谁发送关于谁的信息)、信息类型(特定类别的信息,如医疗或财务记录)和传输原则(管理流动的规则,如保密或互惠)定义。例如,你可能愿意与虚拟购物助手分享你的礼物购物清单,但不愿与家人和朋友分享。我们的报告将信息共享的情境完整性扩展和泛化为情境安全,即智能体行动的适当性。通过将智能体隐私和安全锚定在 CI 中,我们探索如何设计系统,在行动执行前评估其是否在社会和情境上适当。通用 AI 智能体与其他交互的模型

核心信息

Google Research 发布 CAPS 研讨会报告,基于情境完整性理论,梳理自主智能体在系统、模型、用户与生态层面的隐私安全开放问题,并主张在执行前评估行动的情境适当性。

  • Google Research 发布 CAPS 研讨会报告,基于情境完整性理论,梳理自主智能体在系统、模型、用户与生态层面的隐私安全开放问题,并主张在执行前评估行动的情境适当性。
  • 原贴提到:Eugene Bagdasarian, Research Scientist, and Marco Gruteser, Principal Sc
  • 来源:research.google

详细解读

这是什么信号

这不是一条普通产品更新,而是 Google Research 联合 50 多位学术和产业领袖,在 Google CAPS 研讨会上形成的报告。它把“智能体隐私与安全”从传统软件安全议题,推进为一个跨系统、模型、用户和生态的研究议程。核心判断是:要让智能体有用,就必须允许它接触个人数据并跨情境采取有后果的行动,但它也必须理解并受情境行为规范约束。

为什么重要

传统安全依赖确定性流程、边界权限和用户确认。智能体不同:输入常是非结构化自然语言或图像,容易有歧义和提示注入;生成式规划带来概率性控制流,传统测试难以覆盖;长任务和子任务委托让用户逐次确认失效,并造成确认疲劳。原文因此提出,可信智能体不能只靠事后审计或单点权限,而要在执行前判断行动是否“社会与情境上适当”。报告用情境完整性(CI)把隐私从保密或控制扩展为“适当信息流动”,再进一步扩展到“情境安全”。

对谁有价值

对 AI Agent 产品负责人、安全与隐私合规团队、模型与系统架构师、企业 Agent 采购方和战略研究者都有直接价值。它提供了一套共同语言:行动者、信息类型、传输原则,以及系统、模型、用户、生态四层协调防御。做浏览器 Agent、办公 Agent、购物或金融 Agent、企业自动化 Agent 的团队,尤其需要评估跨情境数据流与行动边界。

可以怎么行动

第一,把高频 Agent 场景拆成“情境策略”:明确谁在向谁、传递哪类信息、依据什么传输原则,以及哪些行动需要额外授权。第二,在规划与执行之间加入“情境适当性检查”,而不是只依赖输出过滤。第三,为长任务和子任务委托链设计可追溯审计、最小权限和代理间身份约束。第四,用 CI 维度做红队测试:提示注入、输入歧义、跨情境越权、委托链失控。第五,把确认疲劳当作产品指标,优化确认时机和粒度。

风险或限制

这仍是一份研究路线报告,不是可直接采购的标准或成熟产品。CI 从信息流扩展到行动安全,需要把社会规范转成可计算、可审计的策略,难度很高;不同文化、组织和用户对“适当”的定义可能冲突;过度约束会削弱 Agent 能力,过少约束则带来隐私与安全风险。生态级协调还依赖多方参与,短期难有统一答案。更务实的做法是先在可控场景中验证情境策略和行动前评估,再逐步扩展。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 research.google 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《智能体隐私与安全中的开放与涌现问题:一个情境视角》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

智能体隐私与安全中的开放与涌现问题:一个情境视角主要讲什么?

Google Research 发布 CAPS 研讨会报告,基于情境完整性理论,梳理自主智能体在系统、模型、用户与生态层面的隐私安全开放问题,并主张在执行前评估行动的情境适当性。

这篇文章最值得关注的要点是什么?

Google Research 发布 CAPS 研讨会报告,基于情境完整性理论,梳理自主智能体在系统、模型、用户与生态层面的隐私安全开放问题,并主张在执行前评估行动的情境适当性。;原贴提到:Eugene Bagdasarian, Research Scientist, and Marco Gruteser, Principal Sc;来源:research.google

这篇文章和哪些AI专题相关?

它适合放在Agent工作流、AI日报、AI工具专题里阅读。 关联原因:这篇内容命中「Agent、智能体」等主题信号。;这篇内容命中「热点解读」等主题信号。;这篇内容命中「模型」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI日报、每日AI日报、AI信号、热点解读、BuilderPulse这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 AIHOT 日报参考 2026-10-06 下一篇 新民意调查:大多数美国人希望AI发展放缓或完全停止
北竹游乐场 免费玩小游戏 免费玩