logo

AI办公发资料给大模型,哪些必须先脱敏

作者:渣渣辉2026.11.17 03:49浏览量:0

简介:把资料发给大模型前,先回答两个问题:模型部署在哪里,数据属于哪一级。本文给出数据分级表、服务条款核对方法、一致性占位符脱敏代码和检查清单,并说明过度脱敏会损害输出质量,帮你在效率与隐私之间找到平衡。

先给结论:要不要脱敏,取决于三个问题

不是所有资料都要脱敏,但每次发送前都要先做判断,并把这个判断变成习惯。判断可以拆成三个问题。

  1. 模型部署在哪里? 公有云共享API风险最高,企业版专属实例次之,私有化本地部署最低。
  2. 数据属于哪一级? 公开资料几乎没有风险,个人身份信息和受监管数据必须处理。
  3. 泄露后果能否承担? 这是最终裁决标准。评估时同时看法律责任、商业损失和声誉影响。如果一段数据泄露的代价远高于脱敏花费的工时,就应该先脱敏。

数据分级:一张表决定处理方式

数据级别 典型内容 公有云API 企业版API 私有化部署
L0 公开 产品手册、公开财报、行业报告 直接发送 直接发送 直接发送
L1 内部 会议纪要、内部流程文档、周报 建议轻度脱敏 直接发送 直接发送
L2 敏感 客户名单、未公开财务数据、合同条款、源代码 必须脱敏 建议脱敏 按权限管理
L3 受监管 身份证号、手机号、银行卡号、病历、征信记录 原则上不发送 必须脱敏并审计 必须脱敏并审计

判断依据不是”看起来敏感”,而是泄露后是否会触发法律责任。姓名加身份证号加手机号这类组合,即使单独看每一项都不算核心信息,合在一起也可能直接指向某个人。未公开的经营数据、医疗记录和金融记录一旦进入不可控的链路,合规风险和商业损失都会远超脱敏成本。

L3数据在特殊业务中确有发送需求时,应走法务或安全部门的例外审批流程,并保留审计记录。不能因为表格写了”不发送”就放弃审批,也不能绕过审批私自发送。

传输链路:数据会经过几层

发给大模型的文本通常会经过三段:你的网络,服务商的API网关,推理服务器。传输加密已经是主流做法,真正需要关注的是服务端的留存策略和训练使用政策。

  • 明确承诺不使用用户数据训练模型、留存期短、提供数据隔离的企业级服务,脱敏压力相对较小。
  • 条款中允许使用交互数据改进服务的,输入内容可能进入训练数据,这类场景下脱敏是必要条件。
  • 本地或私有化部署,数据不离开自有环境,防泄露压力最小,但仍需要做账号权限管理、访问审计和输出侧管控。

选型时,把三项内容列成清单逐条核对:数据是否用于训练,留存多久,数据是否隔离。这些信息应以服务合同和数据处理条款为准,宣传页的描述不能直接作为依据。传输加密是否开启、具体配置如何,也需要向服务商确认。

实操:怎么脱敏才不破坏模型理解力

最常见的错误是把所有专有名词一律替换成同一个符号。模型看到的会是一堆无法关联的符号,输出质量会明显下降。正确做法是一致性占位符替换:同一个实体始终映射到同一个占位符,文本的语义结构保持不变。

下面的代码示例中,姓名和公司名均为虚构。

  1. import re
  2. # 顺序很重要:先匹配较长的身份证号,再匹配银行卡号,最后匹配手机号
  3. PATTERNS = [
  4. ("ID_CARD", re.compile(r"\d{17}[\dXx]|\d{15}")),
  5. ("BANK_CARD", re.compile(r"\d{16,19}")),
  6. ("PHONE", re.compile(r"1[3-9]\d{9}")),
  7. ]
  8. # 人名和公司名需要人工维护映射表,保证同一实体对应同一占位符
  9. NAME_MAP = {"某甲": "[PERSON_1]", "某乙": "[PERSON_2]", "示例科技": "[COMPANY_1]"}
  10. def desensitize(text: str) -> str:
  11. for tag, pattern in PATTERNS:
  12. text = pattern.sub(f"[{tag}]", text)
  13. for raw, token in NAME_MAP.items():
  14. text = text.replace(raw, token)
  15. return text
  16. def leftover_check(text: str) -> list[str]:
  17. """脱敏后的二次扫描,返回疑似残留信息的提示。"""
  18. hints = []
  19. if re.search(r"[\w.+-]+@[\w-]+\.[\w.]+", text):
  20. hints.append("疑似邮箱")
  21. if re.search(r"\d{7,}", text):
  22. hints.append("疑似未替换的长数字")
  23. if re.search(r"\d+号|\d+室|\d+栋", text):
  24. hints.append("疑似门牌地址")
  25. return hints
  26. raw = "某甲与示例科技签订了300万元合同,付款周期为30天。"
  27. safe = desensitize(raw)
  28. print(safe) # [PERSON_1]与[COMPANY_1]签订了300万元合同,付款周期为30天。
  29. print(leftover_check(safe)) # []

这段代码有几个边界需要注意:

  • 正则只能覆盖格式固定的信息。姓名、公司名、地址这类内容依赖映射表,漏掉的名字不会被替换。
  • 银行卡的正则可能误伤较长的订单号或编号,使用前应在真实样本上测试。
  • 示例中的手机号格式需要真实匹配,但测试时应使用专门的测试号段或虚构数据,不要用真实员工或客户的号码。
  • 正则和映射表都无法保证彻底清除信息,所以脱敏后必须做二次扫描,再人工抽查一遍。

三条经验

  • 保留数字量级和单位。 “合同金额[AMOUNT]万元”比”合同金额”更有用,模型仍能推理规模关系。
  • 保留否定、条件和时序等逻辑连接词。 这些词构成推理骨架,删掉它们,模型只能猜测原文意思。
  • 脱敏后自查一遍。 泄露常发生在”以为已经处理干净”的地方,例如残留的半截号码、邮箱前缀或门牌号。

过度脱敏的代价

脱敏的目标是让模型能完成任务,同时不接触不必要的隐私。如果把整段材料压缩成抽象摘要再提问,模型就失去了上下文依据,答案会变得笼统,也更容易编造细节。

在两种情况下,原文的效果通常更好:数据属于L0或L1级,并且服务条款允许使用,同时材料中没有可以重新识别个人的组合信息。在这种情况下,强行脱敏的收益很小,却会降低输出质量。

发送前的30秒检查清单

  1. 这段文字属于L0到L3中的哪一级?
  2. 目标模型的服务条款是否允许用输入训练?数据留存多久?
  3. 材料中是否有姓名、证件号和联系方式组成的可识别组合?
  4. 脱敏后逻辑是否完整,同一实体的占位符是否一致?
  5. 模型的输出是否可能复述出敏感原文?

选型时怎么比较模型

确定脱敏策略后,下一步是选择模型。不同模型对占位符、表格和长文档的处理能力差异较大,同一份脱敏材料在不同模型上的效果可能不同。比较时可以关注以下几个维度:

  • 公开的能力说明和适用场景;
  • 调用价格和计费方式;
  • 上下文长度上限;
  • 数据处理条款、留存周期和部署方式。

最可靠的做法是准备一组内部测试样本,覆盖你的真实任务,用相同的脱敏材料分别测试候选模型,记录准确率、遗漏率和成本,再决定哪些任务适合外部API,哪些必须留在内网。

发表评论

活动