AI觉醒星球
Awakening is here
Knowledge File / 全球热点解读
2026-05-28 4 浏览 公开

趋势解读:Private analytics via zero-trust aggregation,聚焦形式化数学证明能力

Google Research 推出私有分析解决方案,结合加密安全聚合和可信执行环境(TEE),实现零信任原则下的隐私保护,能够在不泄露个人数据的情况下提供聚合洞察,适用于设备端AI模型监控和性能分析。

SOURCE / 全球热点解读 MIN / 4 ACCESS / 公开 POST / 2026-05-28 00:56:05

原贴

查看原文
作者:Google Research Blog 来源站点:research.google 原贴时间:

原文

Adrià Gascón, Staff Research Scientist, Google Research, and Mariana Raykova, Senior Staff Research Scientist, Google We introduce a private analytics solution which leverages a new cryptographic protocol for secure aggregation combined with the transparency properties of TEEs to achieve state-of-the-art privacy and security guarantees. By processing data locally, on-device AI can provide enhanced protection and timely alerts while keeping user information private. For example, Android uses a system called SafetyCore to provide privacy-preserving on-device features and common infrastructure to protect users from unwanted content. When developing on-device technologies, teams need to understand how well their systems work across millions of individual smartphones, each with unique data distributions, varying hardware constraints, and different user behaviors. To achieve this in a way that reveals only collective trends without revealing individual user data, teams can leverage cryptographic secure aggregation as a key building block. Like all cryptographic protocols, secure aggregation uses advanced mathematical tools to provide its security assurance. Today, we set a higher bar for efficient cryptographic aggregation in a private analytics service. We follow a zero-trust principle, which aims to reduce trust necessary in any single entity. We achieve this through a new security design that combines cryptographic and hardware protection mechanisms. Our solution leverages a new cryptographic aggregation method that provably guarantees only anonymized, aggregated insights about a population can be obtained by Google. Additionally, trusted execution environments (TEEs) are used to provide a strict layer of attestation and transparency. When models are deployed locally on-device, simply knowing that a model is 'running' isn't enough to understand its behavior, effectiveness, or failure modes. This limits the ability to answer critical questions like: Is the model drifting? (e.g., Does a translation model struggle with new slang emerging in a specific region?) Are there hidden biases? (e.g., Is an image classifier less accurate under specific lighting conditions common in certain geographic areas?) What is the real-world error rate? (e.g., Is a "Smart Reply" feature being ignored because its suggestions are technically correct but socially awkward?) This is where private analytics becomes the essential bridge, enabling anonymized, aggregated insights about a population without ever revealing individual user content. Google teams use federated analytics for this kind of aggregated, private insight, with applications in Pixel Recorder , Gboard , and more. Federated analytics requires a private aggregation route, where the data from individual devices is protected until combined into a sum. Two paradigms have emerged to protect user data in this setting: hardware-based isolation (TEEs) and cryptographic protocols. The hardware approach centers on TEEs, such as Intel TDX , AMD SEV-SNP and others. The core idea is to create a "secure enclave" — essentially a protected slice of the processor and memory that is isolated from the rest of the device. Inside this enclave, data can be decrypted and processed in plaintext, shielded even from a compromised operating system or a malicious hypervisor. Through a process called attestation, TEEs can compute a hardware-backed cryptographic "fingerprint" of the exact firmware and software state running inside the enclave. For a user or an auditor, attestation offers a verifiable guarantee that the data is being handled by the specific, tamper-proof program they expect, rather than a modified version designed to leak information. Google has deployed TEE-backed differentially private aggregation for computing insights into AI systems in the Pixel Recorder app.

中文翻译

Google Research 研究员 Adrià Gascón 和 Google 高级研究员 Mariana Raykova 我们推出了一种私有分析解决方案,该解决方案利用新的加密协议进行安全聚合,并结合 TEE 的透明度属性,以实现最先进的隐私和安全保证。通过在本地处理数据,设备上的人工智能可以提供增强的保护和及时的警报,同时保持用户信息的私密性。例如,Android 使用名为 SafetyCore 的系统来提供设备上的隐私保护功能和通用基础设施,以保护用户免受不需要的内容的侵害。在开发设备端技术时,团队需要了解他们的系统在数百万部智能手机上的运行情况如何,每部智能手机都有独特的数据分布、不同的硬件限制和不同的用户行为。为了以仅揭示集体趋势而不泄露个人用户数据的方式实现这一目标,团队可以利用加密安全聚合作为关键构建块。与所有加密协议一样,安全聚合使用先进的数学工具来提供安全保证。今天,我们为私人分析服务中的高效加密聚合设定了更高的标准。我们遵循零信任原则,旨在减少任何单一实体所需的信任。我们通过结合加密和硬件保护机制的新安全设计来实现这一目标。我们的解决方案利用了一种新的加密聚合方法,该方法可证明谷歌只能获得有关人口的匿名聚合见解。此外,可信执行环境 (TEE) 用于提供严格的证明和透明度层。当模型在设备上本地部署时,仅仅知道模型正在“运行”并不足以了解其行为、有效性或故障模式。这限制了回答关键问题的能力,例如:模型是否漂移? (例如,翻译模型是否会与特定地区出现的新俚语作斗争?)是否存在隐藏的偏见? (例如,在某些地理区域常见的特定照明条件下,图像分类器是否不太准确?)现实世界的错误率是多少? (例如,“智能回复”功能是否因为其建议在技术上正确但在社交上尴尬而被忽略?)这就是私人分析成为重要桥梁的地方,它可以在不泄露个人用户内容的情况下实现对人群的匿名、聚合的洞察。 Google 团队通过 Pixel Recorder、Gboard 等应用程序使用联合分析来实现这种聚合的私人洞察。联合分析需要私有聚合路由,其中​​来自各个设备的数据在合并为总和之前受到保护。在这种情况下,出现了两种保护用户数据的范例:基于硬件的隔离 (TEE) 和加密协议。硬件方法以 TEE 为中心,例如 Intel TDX、AMD SEV-SNP 等。其核心思想是创建一个“安全飞地”——本质上是处理器和内存的受保护切片,与设备的其余部分隔离。在这个飞地内,数据可以以明文形式解密和处理,甚至可以免受受损操作系统或恶意管理程序的影响。通过称为证明的过程,TEE 可以计算飞地内运行的确切固件和软件状态的硬件支持的加密“指纹”。对于用户或审计员来说,证明提供了可验证的保证,即数据正在由他们期望的特定的防篡改程序处理,而不是旨在泄漏信息的修改版本。 Google 已经部署了 TEE 支持的差分私有聚合,用于在 Pixel Recorder 应用程序中计算对 AI 系统的洞察。

核心信息

Google Research 推出私有分析解决方案,结合加密安全聚合和可信执行环境(TEE),实现零信任原则下的隐私保护,能够在不泄露个人数据的情况下提供聚合洞察,适用于设备端AI模型监控和性能分析。

  • Google推出零信任私有分析方案,结合加密聚合与TEE。
  • 数学证明确保仅获取群体匿名洞察,不泄露个体数据。
  • 解决设备端AI模型行为监控的隐私瓶颈。
  • 已落地Pixel Recorder,可推广至Gboard等应用。
  • 依赖TEE硬件,存在兼容性和性能开销风险。

详细解读

这是什么信号:Google Research 发布了一项结合加密安全聚合与可信执行环境(TEE)的私有分析方案,核心理念是零信任——不依赖任何单一实体,通过数学证明和硬件隔离双重保障,在设备端实现可验证的隐私保护。这意味着未来AI模型的行为监控、偏差检测和性能评估,可以在完全不触及用户原始数据的情况下完成。

为什么重要:当前AI模型部署到设备端后面临“黑箱”问题:团队无法直接观察模型在真实用户环境中的表现。传统分析方法要么侵犯隐私,要么依赖服务器端汇总,存在单点信任风险。该方案通过形式化数学证明确保聚合结果仅反映群体趋势,同时TEE提供代码执行透明性,从根本上解决了“如何在不看数据的前提下了解数据”的矛盾,为大规模设备端AI运维铺平道路。

对谁有价值:1. AI产品经理和工程师:可直接用于监控模型漂移、地域偏差、实际错误率,驱动迭代优化;2. 隐私合规团队:提供可审计、可证明的隐私保护方案,符合GDPR等法规;3. 用户:个人数据始终留在设备上,仅贡献匿名统计,真正实现“数据不出门,洞察上云端”。

可以怎么行动:1. 在自有AI应用中集成该方案(如智能回复、图像分类),建立模型健康度仪表盘;2. 评估现有隐私保护方案是否满足零信任要求,考虑引入TEE或轻量级加密聚合;3. 关注Google进一步开源的实现细节(如协议库、TEE配置),尽早测试兼容性。

风险或限制:1. 依赖TEE硬件支持(Intel TDX、AMD SEV-SNP等),老旧设备无法受益;2. 加密聚合和证明过程会引入额外计算开销,需权衡实时性;3. 仅适用于群体统计,无法做个性化分析或A/B测试;4. 形式化证明虽强,但实际部署中TEE本身仍有被攻击的案例(如侧信道攻击),需持续更新。

信息差价值

信息差价值:大多数团队仍在使用传统的服务器端日志分析或差分隐私,而Google直接展示了“数学证明+硬件隔离”的零信任组合,这代表了隐私计算从“政策合规”向“形式化验证”的跃迁。此类信息在公开技术博客中少见,可提前洞察下一代AI运维基础设施的演进方向。

业务启发:对于依赖设备端AI的产品(如手机助手、智能键盘、相机应用),可以借鉴此思路设计“隐私友好型监控循环”:用户在离线时模型持续运行,定期生成加密统计摘要,仅上传聚合结果。这不仅能提升用户信任,还能为模型优化提供真实数据依据,避免“盲人摸象”。

可沉淀动作:1. 梳理自身设备端AI场景,列出需要监控但当前受限于隐私的指标;2. 评估加密聚合库(如Prio、Poplar)和TEE方案(如Intel TDX)的集成难度;3. 建立内部“零信任分析”原型,先从少量设备试点,验证精度和性能;4. 参与Google Research的学术论文或开源项目,积累形式化证明的经验。

参考来源

上一篇 OpenCode与MiMo V2.5限时免费开放 下一篇 OpenAI Developers 发布新动态,提升开发者接入体验(0xmts)