AI 隐私：沿数据流控制可识别性、记忆与越权使用

判断一段数据是否涉及隐私，第一步不是问“里面有没有姓名和手机号”，而是问“这段数据能否关联到具体的人”。把直接标识符删掉——姓名、身份证号、手机号——并不会自动让数据变成匿名数据。直接标识符只是最显眼的一层：它们被删除之后，数据仍然可能通过其他字段重新指向某个人。

年龄、邮编、罕见病、时间戳、设备指纹与对话内容，单独看每一项都不足以定位一个人，但组合在一起就构成准标识符，与外部数据联结后足以重新识别个人。例如某家医院的诊疗记录删去了姓名，却仍保留“82 岁、居住在某邮编覆盖区域、患有某种罕见病”；只要把这份记录与外部公开信息（如人口登记、社交平台资料）联结，同时满足这些条件的个体可能只有一个，重识别就在这一步完成。关键不在于某个字段本身是否“敏感”，而在于它能否与其他已知信息组合起来收窄候选集。

除了重识别，隐私风险还有另外两类。其一是敏感推断：模型不必拿到敏感字段本身，就可以从看似中性的输入中替用户推断出敏感属性，比如从购物记录推断健康状况、从浏览行为推断经济状况。其二是目的外使用：数据被用于收集时所同意的范围之外的目的，或者被没有业务需要的人访问。这两类风险都不依赖“找到姓名”，却同样直接伤害数据主体。

因此，隐私识别真正要做的事，是把“能否关联到人”当成一个需要逐项核查的问题，而不是查一遍标识符就结束。它的输入有四类：数据字段本身、外部可与之联结的信息、处理数据的目的，以及谁能访问数据。对应的输出是四项判定：直接标识符、准标识符、敏感属性推断风险，以及目的外使用风险。删掉姓名只移除了最明显的线索，年龄、邮编、罕见病和时间仍可能组合起来完成重识别，所以输出必须覆盖标识符以外的全部风险面。

为了支撑这种核查，资产清单不能只记“有哪些数据”，还要为每个资产记录数据主体、敏感度、用途、法律或合同依据、保存期和可接收方。其中“已脱敏”这个标签尤其需要谨慎：脱敏不是数据的永久属性，只能相对于“假定的攻击者知道什么”和“用什么方法验证过”成立。声称一份数据已脱敏，必须同时说明攻击者知识边界与实际执行的验证方法；换一个掌握更多外部信息的攻击者，同一份数据可能就不再安全。

隐私威胁不会只出现在模型输出的那一端。即使模型从未直接打印任何个人信息，系统仍可能在其他环节伤害隐私。要系统地找出这些风险，需要沿着数据实际流过的路径逐一检查，而不是只盯着模型本身。

威胁分布在三条路径上，每条路径有各自的典型风险，也需要相应的证据来验证。

训练路径的风险集中在模型对数据的记忆与数据集来源。模型可能记住罕见序列，训练完成后通过抽取测试被诱导复现；成员推断攻击可以判断某条记录是否曾进入训练集，从而泄露“某人是否在数据集中”这一事实本身；数据集来源越权则意味着数据被用于超出其收集授权的训练目的。验证这些风险需要抽取测试、成员攻击和数据谱系记录作为证据。

推理路径的风险集中在数据越界与租户隔离。提示词和 RAG 检索到的文档可能被发送给权限范围之外的模型提供方；多租户场景下，检索结果可能跨租户泄漏。证据来自网络流日志、租户级 ACL 配置和供应商处理记录。

运营路径的风险来自数据在日志、追踪、人工标注和备份中形成的新副本。每一份副本都是新的暴露面，需要保留策略、访问日志和删除回执来约束与验证。

最后是输出路径：模型可能输出真实敏感信息，或者从非敏感输入中推断出敏感属性。验证手段是金丝雀测试与逐字段授权：前者在数据中埋入可识别的标记，监测它们是否出现在模型输出里；后者逐字段确认信息是否有权出现在输出中。

四条路径共同说明一件事：威胁建模的输入是训练、推理、运营和输出各阶段的数据副本与数据主体，输出则是记忆抽取、成员推断、跨租户检索、日志泄露或敏感属性推断等具体攻击路径。检查必须沿数据实际流向进行，覆盖供应商、缓存、标注和备份，并为每条攻击路径分别记录攻击前提和验证证据，而不是泛泛地声称“安全”。

这个框架也划定了两类常见的防护盲区。“模型层安全”的结论无法覆盖日志与供应链中发生的复制；同样，输出过滤也无法撤回已经发送给第三方的提示词。模型没有直接打印姓名，并不表示上游的数据复制和目的外使用没有发生。

考虑一条真实的客服场景：用户提交一张包含身份证号和病史的工单，系统要把它交给外部模型生成摘要，再把摘要写回工单。问题在于，在这条流水线上，哪些数据副本最容易被资产清单漏掉？这个例子把三条威胁路径压缩到一条具体的请求链路里，每一步都对应一个需要主动处理的隐私决策。

第一步，浏览器提交原始工单。接入层先按用途把账号标识与正文分离：认证需要的标识和摘要需要的正文从这一刻起就走不同的处理通道。第二步，在本地域内识别直接标识符，并用短期令牌替换；标识符到令牌的映射表留在受控域内，绝不外发。这样后续任何环节拿到的都是令牌而不是身份证号本身。第三步，检索层只取该租户、该坐席有权查看的最小段落，而不是把整条工单推给模型——检索范围本身就成为一道授权检查。

第四步，真正发给模型的负载要记录字段清单、数据区域、保留期限和训练使用约定；这些元数据进入审计记录，而正文不写入通用遥测。第五步，模型返回摘要后，在回填令牌之前再做一次授权和敏感属性检查：确认该坐席仍然有权查看对应内容，确认输出中没有重新引入本应被替换的敏感属性。第六步，追踪日志只保存哈希后的请求 ID、模型版本和策略判定结果，正文样本只在受限故障库中按需保存，与通用遥测隔离。第七步，当用户发起删除请求，删除动作沿工单、缓存、向量索引、日志、标注集和备份清单逐站传播，每一站都产生删除回执。

这七步连起来才构成完整的因果链。如果系统只在第六步过滤输出，那么前五步中发生的数据出境、跨租户泄露和目的外使用都没有被解决：标识符已经在较早的步骤里随正文离开了受控域，输出过滤既不能撤回已经发给第三方的提示词，也不能让被越权检索过的段落重新变回不可见。

从输入输出的角度看，这个案例的输入是含身份证号和病史的工单、租户权限、外部模型和删除请求；输出是最小化负载、受控令牌映射、授权判定结果、审计元数据以及逐站删除回执。整个处理顺序可以概括为：先在本地域替换标识符，再只检索有权查看的段落，外发前记录字段与保留约定，回填前再次授权，删除则沿缓存、向量索引、日志、标注集和备份传播。只在输出端过滤，无法收回此前已经越界的数据——这正是把隐私当作全链路属性而不是末端过滤器来处理的原因。

给统计结果“加一点噪声”听上去简单，但噪声不能随意加，原因在于隐私泄露会随查询次数累计。差分隐私把这个直觉形式化：它比较两个相邻数据集——两者只相差一个人——并要求对任意输出事件，其概率之比不超过 e^ε，另允许一个小概率例外 δ 处理极端情况。直观地说，无论某人的记录是否在数据集中，外部观察者看到的输出分布都几乎相同；ε 越小，攻击者越难判断某人是否参与，但统计效用通常也越低，因为更强的保护意味着更大的噪声。

“预算”这个概念解决的核心问题是重复发布带来的累计泄露。假设在同一数据集上依次执行三个查询，分别消耗 ε=0.4、0.3、0.2。按照基本组合定理，总隐私预算至多为 0.9，而不是仍然等于某个单次查询的 0.4；每天重跑同样的查询，预算会继续累计。因此预算必须绑定到具体的数据集、主体范围和时间窗，由预算账户器持续记账，并在超额时拒绝后续查询。

从输入输出看，差分隐私预算机制接收相邻数据集、每次查询的预算 εi、允许的小概率例外 δ 和时间范围，输出组合后的总预算 εtotal 以及是否允许继续查询。基本组合下，同一数据集上的各次 εi 直接相加：0.4 + 0.3 + 0.2 = 0.9。

最后要明确它的边界。差分隐私保护的是“参与性”——限制单条记录对输出分布的边际影响，让攻击者无法可靠判断某人是否在数据集中。它不自动保证访问授权，不保证数据准确性，也不保证输出无歧视；这些是相互独立的要求，需要由其他机制分别承担。

怎样一眼发现“删除只做了主库、日志和向量库没删”这类缺口？答案是画一张沿数据流展开的信任边界图，然后逐站核对。

图中展示的是个人数据从采集开始，经过最小化、权限检索、模型提供方、日志和输出各站的完整流向，并标注删除回执的返回路径。它的输入是数据从原始工单到受控域、模型方、输出追踪和删除链路的全部节点与副本；输出则是每次跨边界时该站必须具备的控制：最小化、授权、保留约定和回执。

读图的方法是沿箭头逐站核对三件事：这一站持有哪些字段、谁对它负责、删除状态是否可以确认。每越过一道信任边界，图上就应当出现一组“减少数据 + 留下证据”的控制：发往模型提供方之前要有最小化，检索结果要有授权，外发要有保留约定，删除则要求回执。任何没有负责人或没有回执的节点，就是缺口所在。末端过滤只能影响输出那一站，无法修复上游已经越过边界的复制，所以核对必须从采集一直走到删除链路，而不是只看最后一站。

这张图的作用边界同样明确：它帮助发现数据流上的断点，但不能替代实际网络日志和删除回放验证。图上画出的控制不等于现实中执行了的控制，缺口最终要用可回放的证据来确认。

业务方常说某个字段“以后可能有用”，希望借此延长保留。但这不能成为无限保留的理由，因为最小化的核心不是“现在删掉什么”，而是“对当前任务逐项证明哪些数据是必要的”。它同时约束四个维度：字段、精度、人数和保存时间。

字段和精度上的最小化遵循一组替换规则：能用年龄段就不用生日，能用聚合统计就不传逐人记录，能在本地计算就不上传，能短期缓存就不写永久日志。每一步替换都减少数据的可识别性或暴露面。

人数和时间上的最小化则与目的绑定。训练、调试、产品分析和安全调查是不同目的，应当分别授权、分别保存，而不是共用一个笼统的“业务需要”。一个为训练授权保留的字段，不能自动用于安全调查，反之亦然。

验证必要性不能靠口头声称，上线前用字段消融实验检查：把某个字段删掉，看任务质量真实下降多少。如果收益微小而识别风险大，就不应收集。这个实验是可重复的证据，让“必要”从一个形容词变成一个可测量的结论。

从输入输出看，数据最小化接收任务目的、候选字段、精度、主体人数、保存时长和效用实验，输出保留、泛化、本地计算、聚合或删除的决定。对未来用途，默认立场是拒绝：新增下游用途必须重新评估必要性并取得新的授权，而不是继承旧同意。“以后可能有用”因此永远构不成当前的收集理由。

用户能向模型提问，不等于模型能代表用户读取所有文档。这条原则划定了 RAG 和 Agent 场景里访问控制的落点：权限判断必须发生在数据被取出的那一刻之前，而不是在生成结果之后。

RAG 的权限检查要在召回前完成，覆盖主体、租户、文档和字段四个层级。正确的顺序是先确定该主体在该租户内可访问哪些文档、哪些字段，再在允许域内检索；如果反过来先全库检索、再在生成后遮盖，越权内容其实已经被读取、被送进上下文，遮盖只是掩饰。同一约束延伸到嵌入向量和缓存：它们同样持有文档内容，必须按租户隔离，否则一个租户的查询可能命中另一个租户的向量。

Agent 调用工具时，代理持有的是短期、窄范围的身份凭证，权限不超过当前会话所需。每次写操作都要重新校验——校验的不是“会话是否合法”，而是“这个具体动作在当前权威状态下的授权是否仍然成立”。这样，即使提示注入把合法会话导向恶意指令，越权的写动作也会在鉴权层被拦下，提示注入无法把合法会话扩大成越权通道。

对人来说，权限同样要按角色细分。管理员、开发者、人工审核者应当分别定义用途和可见字段；敏感访问需要理由、审批和不可变日志。评估风险时，抽样检查“谁在何时因何目的看了什么”，比只核对角色名称更接近真实风险——角色名只说明预设能力，访问记录才说明实际行为。

从输入输出看，权限控制接收当前主体、租户、资源、字段、动作和短期凭证，输出允许的检索候选、工具调用与不可变审计记录。执行顺序是：RAG 在召回前过滤允许域，返回和写操作时再次按权威状态鉴权，缓存与嵌入也按租户隔离。

从数据库删掉一行，不能立刻声称数据“已被遗忘”。一行数据在系统中通常已经派生出许多副本，删除的难度和可验证性取决于数据走到了哪一站，所以删除工程的第一件事是建立可追踪的谱系：记录从原始对象到清洗集、训练切片、嵌入、缓存、标注任务、检查点和备份的全部派生关系。

沿这条谱系，每一站的处理方式不同。可以直接删除的存储，删除后要返回完成回执，作为可验证的证据。备份通常不可立即重写，正确做法是冻结它：规定一旦从备份恢复，就必须重新执行删除，并说明这个窗口的期限，而不是默认备份永远不会被恢复。最难的站点是模型权重：如果数据已经进入训练，要证明删除单个样本对权重的影响被完全消除在技术上很困难，可行的路径包括重训、机器遗忘或风险隔离，但每一种都需要独立的验证。

对用户，删除状态的表述必须按站点如实区分：已删除、排队删除、仅停止继续使用、以及技术上尚不能验证的部分。把“从产品界面消失”表述为全链路清除，是在隐瞒其余站点仍然持有副本的事实。

从输入输出看，删除谱系接收原始对象及其在清洗集、训练切片、嵌入、缓存、标注、检查点和备份中的派生关系，输出每一站的删除状态：已删除、排队删除、停止使用或暂不可验证。界面消失不等于全链路遗忘，两者之间的差距就是谱系必须逐站补齐的部分。

随机抽查输出、没有看到手机号，不能证明系统安全。这种检查假设的是一种“只会随机扫描”的攻击者，而真实的攻击者会利用辅助信息：他们可能知道部分姓名、消息模板或文档结构，并据此定向诱导模型。因此隐私评测的第一条原则是模拟有辅助信息的攻击者。

评测应当建立一组定向测试：罕见金丝雀——埋入几乎不会自然出现的标记并观察是否被输出；训练数据抽取；成员推断；属性推断；跨租户检索；日志访问检查；以及删除回放，验证删除请求是否真的沿各站生效。每类测试都对应一条具体的攻击路径，而不是一个笼统的“安全扫描”。

结果报告要按数据敏感度切片呈现：攻击成功率、暴露人数、每人暴露的字段数、访问时长和删除完成率。这些指标回答的是不同的问题，混成一个总数只会互相稀释。输出中 PII 的精确率和召回率也只是其中一层：它衡量过滤器对直接标识符的表现，但过强的过滤会误拦正常地址或医学内容，破坏业务效用并推高人工恢复成本，所以误拦率和效用也必须同时测量。

从输入输出看，隐私评测接收敏感切片、攻击者辅助知识，以及训练抽取、成员与属性推断、跨租户访问和删除回放测试，输出攻击成功率、暴露人数与字段数、访问时长、误拦情况和删除完成率。任何单个“隐私分数”都不应掩盖高影响尾部事件：罕见但严重的泄露必须单独报告，因为它才是隐私风险真正的构成部分。

合同里写“不用于训练”是一回事，运行时是否真的遵守是另一回事。供应商验证的目标，就是让这两者一致，并且用可核对的证据证明一致。

第一步是确认契约本身覆盖了关键点：子处理方是谁、处理发生在哪些区域、传输和静态数据是否加密、密钥由谁控制、默认保留多久、滥用监测留存什么、事件如何通知、删除接口是否存在，以及退出时数据是否可移植。第二步是运行时核对：用网络代理、审计日志和抽样请求检查实际发送的字段与声明是否相符。这一步不能只盯自己显式调用的接口，SDK 遥测可能悄悄多传字段，必须一并纳入观察范围。

供应商模型或条款变化时，原有的验证结论不再成立，需要触发再评估。如果供应商无法提供所需证据，处理方式只有两条：限制发送的数据类别，或切换到本地方案。

自托管常被当作“数据不出门就合规”的方案，但它减少的只是外部传输，同时把补丁管理、备份、内部滥用防护和密钥管理全部变成自己的责任。自托管不等于自动合规，只是把风险从第三方转移到内部。

从输入输出看，供应商验证接收合同条款、子处理方、区域、字段、保留期限、训练使用约定、加密密钥和删除接口，输出声明与实际网络流之间的一致性证据。核心动作是用代理与审计日志抽样核对 SDK 真正发送的字段；模型或条款变化触发再评估；无法举证时，就限制数据或更换方案。

完全不记录请求，事故发生后如何查清影响范围？隐私与可观测性不是二选一：可观测性不需要复制全部内容，审计需要的是“谁做了什么”的证据，而不是把所有正文都存下来。办法是分层留证。

常规遥测保存请求 ID、策略版本、模型、时延、token 量和风险标签，不保存正文。只有满足明确触发条件的故障样本才进入隔离故障库，进入前先做字段最小化，访问需要审批，并设置较短的保留期。高敏场景可以用本地统计、聚合指标和受控重放替代原文日志——三者同样能支撑问题定位，却不产生新的全文副本。如果确需保存全文，就必须把调试目的、涉及人数、期限、环境和删除机制写成独立控制，而不是作为日志的默认行为。

分层留证的反面，是把常见的控制声明当成完整的隐私保证。把“去姓名、加密、不训练、本地部署、输出过滤、删除主库”这类声明逐项放回数据流上，才能看出每项声明真正覆盖的风险和仍然未覆盖的部分。核对时依次追问：目的、可关联性、访问、派生副本和删除证据。以加密为例：它只保护传输和静态存储中的内容，不限制解密后的合法账户滥用数据。声明与覆盖范围之间的差距，就是残余风险所在。

这种辨析的输入是各类隐私声明，输出是该声明真正覆盖的风险与仍未覆盖的数据流。它的结论用于纠正控制范围，但不替代具体法律判断，也不替代对完整系统的攻击验证。

把前面各环节连成一条从问题到实践的因果链，可以概括为八步。第一步，定义数据主体、处理目的与不可接受的影响——没有这一步，后面的所有控制都没有判据。第二步，枚举直接标识符、准标识符以及假想攻击者的知识，把“可关联性”落到实处。第三步，画出从采集到删除的全部数据副本与信任边界，这一步产出的是那张逐站核对的图。第四步，逐站做最小化，并把权限绑定到租户。第五步，为仍需保留的数据选择控制：去标识、聚合或差分隐私。第六步，验证供应商契约与实际网络流一致。第七步，用攻击模拟和删除回放验收整套系统。第八步，上线后持续监控用途漂移，并随时回应数据主体权利。

链上的每一步都需要可观察的证据，否则只是流程描述。验证层给每一环规定了“固定什么”和“观察什么”：输入环节固定同一批样本、前处理与权限边界，观察输入哈希、切片标签和拒绝原因；机制环节只改变一个核心变量、其余配置锁定，观察关键中间状态以及首次偏离预期的位置；输出环节固定同一验收规则与资源预算，观察质量、成本、延迟和失败率的分层差异；反证环节保留不启用目标机制的对照组，观察收益是否跨样本与随机种子稳定复现。固定项保证了差异来自被验证的机制本身，观察项则让结论可以被复核。