快速解答
当我通过代理收集公共数据时,GDPR 要求什么?
当数据包含个人数据时,记录法律依据,通常是 GDPR 第 6(1)(f) 条下的合法利益,并且只收集你需要的字段。排除反对抓取的网站,并尊重文本和数据挖掘保留声明。EuroCity Proxies 根据 2026 年 10 月阅读的 EDPB、CNIL、Garante 和荷兰 AP 指南编写了本检查清单。这不是法律建议。
GDPR 是否适用于任何人都能在网上读取的数据?
是的,只要该数据与可识别的个人相关。GDPR 第 4(1) 条对个人数据作出了定义,公开并不会使数据脱离该定义。荷兰监管机构(AP)指出,抓取几乎总会收集个人数据。
有些数据通常不属于个人数据:超市的价格表、配送费、连锁店的营业时间。而同一页面上的其他数据则属于个人数据:评论者姓名、分类广告中的私人卖家、经纪人的电话号码、照片中的人脸。在收集每个字段之前,先对其进行归类。
核对清单上应包含哪些步骤?
梳理字段
列出您计划收集的每个字段,并标记哪些字段可以识别个人。删掉您不需要的字段。
记录法律依据
对于正当利益,EDPB 列出了三项累积条件:存在正当利益、处理具有必要性,以及一项权衡测试,确保相关个人的权益不被凌驾。在开始之前写好评估。
最小化并过滤
第 5(1)(c) 条要求数据限于必要范围。CNIL 要求事先确定精确的收集标准,并及时删除超出标准收集的数据。
排除反对抓取的网站
跳过通过 robots.txt、CAPTCHA 或其条款拒绝抓取的网站。CNIL 和 EDPB 都将此作为一项保障措施。
排除敏感数据
健康、宗教、政治观点及其他第 9 条类别需要单独的例外依据。将其过滤掉,若意外收集则立即删除。
告知并允许反对
第 14 条涵盖并非从本人处获得的数据,第 21 条赋予反对权。CNIL 建议公布来源清单并维护一份退出名单。
高风险时开展 DPIA
第 35 条要求对高风险处理进行数据保护影响评估;AP 关于抓取的指导意见中也包含此项。
检查版权保留声明
DSM 指令第 4 条下的文本和数据挖掘,在权利人通过机器可读方式对在线内容作出保留时即停止。
欧盟数据保护监管机构对网页抓取有何表态?
| 监管机构 | 文件 | 日期 | 对代理用户的要点 |
|---|---|---|---|
| EDPB | 关于基于第 6(1)(f) 条进行处理的 1/2024 号指南,征求意见版 1.0 | 2024 年 10 月 8 日通过 | 三项累积条件,在处理前进行评估并记录 |
| EDPB | ChatGPT 工作组工作报告 | 2024 年 5 月 24 日发布 | 将网页抓取视为具有自身风险的收集阶段,依第 6(1)(f) 条进行评估 |
| EDPB | 关于 AI 模型的第 28/2024 号意见 | 2024 年 12 月 18 日通过 | 保障措施示例包括排除反对抓取的网站,例如遵守 robots.txt 或 ai.txt |
| CNIL(法国) | 重点说明:正当利益与网页抓取收集 | 2025 年 6 月 19 日 | 事先设定收集标准、排除拒绝抓取的网站、删除无关数据、退出名单 |
| Garante(意大利) | 关于为训练生成式 AI 进行网页抓取的信息说明(决定登记册第 329 号) | 2024 年 5 月 20 日(《官方公报》第 132 号,2024 年 6 月 7 日) | 网站运营者可采取的对策,以可选项而非 GDPR 义务的形式呈现 |
| AP(荷兰) | Handreiking scraping door particulieren en private organisaties | 2025 年 4 月 | 抓取几乎总是涉及个人数据;遵守 robots.txt 被列为额外保障措施之一 |
欧盟版权法对文本和数据挖掘有何规定?
指令 (EU) 2019/790 第 4 条允许对合法可访问的内容进行文本和数据挖掘。该条仅在权利人未保留该使用的情况下适用——对于在线内容,保留需通过机器可读方式(如 robots.txt 规则)作出。第 3 条为研究机构和文化遗产机构增加了更广泛的例外。
2025 年 12 月,汉堡高等地区法院裁定,非商业研究协会 LAION 可以援引科学研究 TDM 例外。法院还裁定,以通俗语言作出的保留在 2021 年可用的技术条件下不构成机器可读。法院表示这一点可能改变,并允许向联邦法院进一步上诉。对于商业性采集,请将使用条款中的通俗语言保留视为当前具有约束力。本文不构成法律建议。
使用代理会改变这些义务吗?
不会。无论使用哪个出口 IP,您都是所采集数据的控制者。慕尼黑或米兰的住宅 IP 为您提供页面的本地版本,但不会使采集变得合法。
在我们这边,可接受使用政策 适用于每个账户。禁止:银行、政府和支付门户网站,以及 SMTP(发邮件)端口 25、465 和 587。我们不记录您请求的内容、完整 URL 或页面数据。为处理滥用举报和计费纠纷,我们会保留连接元数据(时间、账户、出口 IP、目标主机名、字节数)最长 30 天,然后删除。在您的账户存续期间,我们会保留您的账号、订单、充值记录和流量总量;账户关闭后,仅在会计规则要求的期限内保留。我们仅在法律要求时向当局披露记录。我们的上游网络提供商可能根据其自身政策保留自己的日志。隐私政策 提供了详细信息。
价格和本地检查的合理配置是什么?
采集公司数据,而非个人数据:价格、费用、库存和配送时段。将评论者姓名、卖家资料和联系方式排除在解析器之外,或在存储前丢弃。
保持适度的速率,每个城市每次运行使用一个会话,如每个城市的粘性会话 所述。在首次运行前阅读每个网站的 robots.txt 和条款。当网站拒绝自动访问时,请手动检查或使用其官方 API。
GDPR 与代理:常见问题
在欧盟采集公开数据合法吗?
这取决于数据、目的和网站条款。公开的个人数据仍受 GDPR 约束,版权保留可能限制文本和数据挖掘。本页列出规则和指南,并不裁决您的具体情况。本文不构成法律建议。
合法利益能覆盖商业项目吗?
可以,前提是满足并记录三个条件:合法利益、必要性以及平衡测试。EDPB 的《1/2024 号指南》解释了每个条件。监管机构逐案评估,并附加保障措施,如数据最小化和排除反对采集的网站。
根据 GDPR 我需要遵守 robots.txt 吗?
GDPR 并未提及 robots.txt。CNIL 表示,如果未排除明确拒绝抓取的网站,采集就无法满足人们的合理预期。EDPB 和 AP 将遵守 robots.txt 列为保障措施之一。根据 DSM 指令,机器可读的保留也限制文本和数据挖掘。
哪个监管机构负责我?
通常是您在欧盟主要营业地所在国的监管机构。每个欧盟国家有一个或多个,列为 EDPB 成员。例如法国的 CNIL、意大利的 Garante 和荷兰的 Autoriteit Persoonsgegevens。
价格和配送费是个人数据吗?
当它们属于公司时,通常不是。当与个人关联时,它们可能成为个人数据,例如个体经营者的姓名或私人卖家的商品列表。请逐字段检查。
EuroCity Proxies 会保留我的哪些请求信息?
我们不记录您请求的内容、完整 URL 或页面数据。为处理滥用举报和计费纠纷,我们会保留连接元数据(时间、账户、出口 IP、目标主机名、字节数)最长 30 天,然后删除。在您的账户存续期间,我们会保留您的账号、订单、充值记录和流量总量;账户关闭后,仅在会计规则要求的期限内保留。我们仅在法律要求时向当局披露记录。我们的上游网络提供商可能根据其自身政策保留自己的日志.
来源 (11)
- 条例 (EU) 2016/679(GDPR)第 4、5、6、9、14、21 和 35 条 — EUR-Lex (checked 2026-10-18)
- 关于数字单一市场版权的指令 (EU) 2019/790 第 3 和第 4 条 — EUR-Lex (checked 2026-10-18)
- 关于基于 GDPR 第 6(1)(f) 条处理个人数据的《1/2024 号指南》 — European Data Protection Board (adopted 2024-10-08, checked 2026-10-18)
- ChatGPT 工作组工作报告 — European Data Protection Board (2024-05-24, checked 2026-10-18)
- 关于 AI 模型背景下个人数据处理某些数据保护方面的《28/2024 号意见》 — European Data Protection Board (2024-12-18, checked 2026-10-18)
- La base légale de l'intérêt légitime : fiche focus sur les mesures à prendre en cas de collecte des données par moissonnage (web scraping) — CNIL (2025-06-19, checked 2026-10-18)
- Provvedimento del 20 maggio 2024 [10020316]:关于为生成式人工智能训练目的进行网络抓取及可能采取对抗措施的信息说明 — Garante per la protezione dei dati personali (2024-05-20, checked 2026-10-18)
- Handreiking scraping door particulieren en private organisaties — Autoriteit Persoonsgegevens (2025-04-02, checked 2026-10-18)
- 汉堡高等地区法院确认 AI 训练被允许(Kneschke 诉 LAION) — Bird & Bird (2025-12-17, checked 2026-10-18)
- EDPB 成员(国家监管机构) — European Data Protection Board (checked 2026-10-18)
- RFC 9309:机器人排除协议 — IETF (September 2022)