Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
ISO/IEC 27565 — 隐私技术 — 人工智能中PII保护指南
人工智能系统全生命周期中个人可识别信息保护的全面指南
一、ISO/IEC 27565 标准概述
ISO/IEC 27565 提供了在人工智能系统全生命周期中保护个人可识别信息的全面指南，涵盖从数据收集和模型训练到部署、推理和退出的各个环节。随着 AI 系统在训练和运行过程中处理大量个人数据，它们引入了传统数据保护方法无法充分应对的独特隐私风险。这些风险包括从模型输出重建训练数据的模型反转攻击、确定特定个人数据是否被用于训练的成员推断攻击，以及训练数据集中稀有或独特记录被意外记忆的风险。
与传统数据处理中 PII 主要存在于数据库和文件中不同，AI 系统将 PII 模式嵌入在模型参数、嵌入向量和推理输出中。因此，隐私保护不仅要解决输入数据问题，还要将模型本身视为 PII 的潜在载体。
二、AI 系统特有的隐私风险
标准将 AI 特有的隐私风险分为三类：训练数据隐私风险（发生在数据收集和模型训练阶段）、模型隐私风险（嵌入在训练模型的参数和行为中）、推理隐私风险（在模型处理新数据或生成输出时产生）。每个类别需要不同的缓解策略和工程控制措施。
| 风险类别 | 具体攻击/威胁 | 受影响生命周期阶段 | 主要缓解措施 | 有效性 |
|---|---|---|---|---|
| 训练数据隐私 | 数据收集或标注过程中泄露 | 数据收集、准备 | 数据最小化、访问控制、加密 | 高 |
| 训练数据隐私 | 通过模型进行非授权数据推理 | 模型训练 | 训练过程中的差分隐私 | 高（可证明） |
| 模型隐私 | 模型反转攻击 | 部署、推理 | 输出扰动、模型剪枝 | 中等 |
| 模型隐私 | 成员推断攻击 | 部署、推理 | 正则化、差分隐私训练、输出限制 | 中高 |
| 模型隐私 | 通过API查询进行模型窃取 | 部署、推理 | 查询频率限制、输出扰动 | 中等 |
| 推理隐私 | 从模型输出推断属性 | 推理 | 输出过滤、置信度分数掩码 | 中等 |
| 推理隐私 | 意外记忆 | 训练、推理 | 去重、差分隐私、记录抑制 | 高 |
成员推断攻击特别隐蔽，因为攻击者只需对模型进行黑盒访问即可执行。攻击者可以高置信度地确定特定个人的数据是否被用于训练——如果参与本身是敏感信息（例如参与医学研究），这一事实本身就构成了隐私侵犯。
三、隐私保护的 AI 工程实践
ISO/IEC 27565 提供了在 AI 系统全生命周期中实施隐私保护的详细工程指南。对于训练数据，它建议通过主动学习技术实现数据最小化，仅选择最具信息量的样本进行标注，并对最容易受到记忆攻击的稀有或独特记录进行系统筛查。在训练过程本身方面，差分隐私随机梯度下降被列为主要技术控制措施，并提供了基于应用领域敏感性的隐私预算（ε值）分配指南。
在部署阶段，标准建议实施推理隐私控制，包括 API 端点的输出扰动、防止提取攻击的查询频率限制，以及减少信息泄露的置信度分数掩码。对于部署在医疗和金融等受监管领域的模型，鼓励尽可能采用设备端推理，以避免将原始 PII 传输到基于云的推理端点。
训练过程中的差分隐私提供了已知最强的针对隐私攻击的数学保证。ε值为 8 或更低可提供有意义的成员推断保护，而低于 1 的值可提供针对拥有辅助信息的高决心对手的强大保护。
四、AI 隐私的治理与合规
标准阐述了 AI 隐私的组织和治理维度，强调没有适当的治理结构，仅靠技术控制是不够的。它建议建立 AI 隐私审查委员会，在部署前评估新的 AI 用例，开展针对 AI 特性的隐私影响评估（模型可逆性、参数中的数据保留、推理泄露潜力），并维护带有 PII 处理分类的 AI 系统清单。标准还提供了透明度义务的指南，包括披露训练数据来源、应用的去标识化方法、消耗的隐私预算以及重标识风险已知限制的模型卡和数据集文档。
欧盟《AI 法案》将用于生物特征分类、情绪识别和社会评分的 AI 系统归类为高风险，要求进行包括隐私合规验证在内的符合性评估。ISO/IEC 27565 提供了满足这些监管要求的技术框架，使其成为面向欧洲市场的 AI 开发者的必备工具。
五、常见问题解答
问：ISO/IEC 27565 是否适用于开源 AI 模型？
答：适用。无论模型是专有还是开源，该指南均适用。对于开源模型，应特别关注训练数据的来源，以及模型权重是否可能包含可通过微调或探测攻击提取的嵌入式 PII。
答：适用。无论模型是专有还是开源，该指南均适用。对于开源模型，应特别关注训练数据的来源，以及模型权重是否可能包含可通过微调或探测攻击提取的嵌入式 PII。
问：差分隐私如何影响模型准确性？
答：隐私和准确性之间存在基本权衡。标准提供了基于应用需求校准此权衡的指南。在实践中，对于许多任务，隐私预算 ε=4-8 可在提供强隐私保护的同时实现可接受的准确性（在非隐私基线的 1-3% 以内）。
答：隐私和准确性之间存在基本权衡。标准提供了基于应用需求校准此权衡的指南。在实践中，对于许多任务，隐私预算 ε=4-8 可在提供强隐私保护的同时实现可接受的准确性（在非隐私基线的 1-3% 以内）。
问：该标准是否涵盖大语言模型和生成式 AI？
答：该标准设计为与架构无关，适用于包括大语言模型和生成式模型在内的所有 AI/ML 范式。对于生成式 AI，额外考虑因素包括可能泄露训练数据的提示注入攻击以及在模型输出中生成 PII 的风险。
答：该标准设计为与架构无关，适用于包括大语言模型和生成式模型在内的所有 AI/ML 范式。对于生成式 AI，额外考虑因素包括可能泄露训练数据的提示注入攻击以及在模型输出中生成 PII 的风险。
