Web Scraping — 自动化网络数据采集
- 提出者
- Early internet practitioners; systematised in research contexts from the late 1990s onward
- 年份
- Late 1990s–2000s
- 类型
- Automated digital data collection technique
- 类别
- Data collection
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
Web scraping 是一种计算式数据采集技术,通过软件自动从网站检索并提取结构化或半结构化内容。它广泛应用于社会科学、计算语言学、经济学和信息科学,使研究人员能够从公开的网络来源(如新闻档案、社交媒体平台、政府门户网站和在线市场)汇集大型数据集,而这些数据集若要手动收集将不切实际。
方法背后的直觉
可以将网络爬虫想象成在一个永不关闭且无需图书管理员的图书馆里阅读:一个脚本访问网页,读取其 HTML,挑出您需要的部分——价格、文章标题、帖子时间戳、用户评论——并将它们写入电子表格或数据库。这个过程模仿了人类研究人员从网页复制信息时的操作,但其规模可达每轮运行数千至数百万条记录。关键在于,大多数网络内容都由 HTML 标签和 CSS 类结构化,它们可以作为自动化提取的可靠锚点。
历史学
网络内容的自动化检索可追溯到 20 世纪 90 年代初,当时首次使用网络爬虫构建搜索引擎索引(例如,World Wide Web Wanderer,1993 年)。“网络爬虫”一词出现在 20 世纪 90 年代末,当时研究人员和从业者开始提取结构化数据,用于索引以外的目的。Python 库(如 BeautifulSoup (2004) 和 Scrapy (2008))使这项实践民主化。随着计算社会科学的兴起,学术界在 21 世纪 10 年代加速了对网络爬虫的采用,网络爬虫已成为政治学、经济学和传播学等学科的标准数据采集方法。
何时使用
当研究问题需要从公开可用的在线来源大规模、带时间戳或持续更新的数据,且这些数据无法通过官方 API 或可下载数据集获得时,网络爬虫是适用的。它在计算社会科学、媒体研究、经济学和公共卫生领域尤其有价值,用于汇集新闻文章、社交媒体帖子、产品评论、招聘信息或政策文件。当手动收集成本过高且目标数据是机器可读的 HTML 时,请使用它。当目标平台提供满足您数据需求的官方 API 时,请勿使用网络爬虫——API 更快、更稳定且法律上更清晰。当网站的使用条款禁止自动化访问、数据受限于未经研究同意获得的身份验证,或涉及未经适当伦理审查和法律依据的个人身份信息时,请避免使用。
局限与注意事项
- 法律和道德合规性并非必然:使用条款、版权法和数据保护法规(例如 GDPR)可能限制或禁止爬虫,且合规性必须针对每个目标网站进行评估。
- 爬虫是脆弱的:网站重新设计或反机器人措施可能在毫无预警的情况下破坏提取逻辑,需要持续维护。
- 数据质量取决于源网站的一致性;缺失字段、编码错误和 HTML 不规则是常见问题。
- JavaScript 密集型网站和登录限制内容会显著增加技术复杂性。
- 不适用于需要参与者同意或涉及敏感个人信息且未经明确伦理批准的数据类型。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 能够采集手动方法无法实际汇集的海量数据集——数百万条记录。
- 捕获数据在线上出现时的原始状态,保留时间戳、格式和上下文元数据。
- 可以安排为随时间持续采集数据,支持纵向和实时研究设计。
- 一旦爬虫编写和验证完成,每条记录的边际成本相对较低。
- 高度灵活:适用于任何公开可用的结构化网络内容,无论其领域或语言如何。
应用
- 汇集新闻文章或政治演讲的纵向语料库,用于计算文本分析。
- 追踪电子商务平台上的价格动态,用于经济学或消费者行为研究。
- 监控社交媒体平台(在 API 访问不可用或受限时),以研究公众话语、错误信息或健康传播。
- 大规模采集招聘信息,以分析劳动力市场趋势和技能需求。
- 汇集政府或议会记录、立法文本和法院判决,用于法律和政策研究。
- 构建用于自然语言处理和机器学习模型的训练和评估数据集。
使用方式
使用方式
研究人员定义数据目标:哪些网站或 URL 包含所需信息,需要哪些特定字段(例如,文章标题、发布日期、作者),以及内容是静态 HTML 还是由 JavaScript 动态加载。此步骤还涉及审查网站的 robots.txt 文件和使用条款,以评估法律和道德上的可允许性。
一个爬虫脚本(通常用 Python 编写,使用 Requests、Scrapy 或 Selenium 等库)向目标 URL 发送 HTTP GET 请求,模拟浏览器行为,从服务器检索原始 HTML 或 JSON 响应。对于 JavaScript 渲染的页面,必须使用无头浏览器(例如 Playwright 或 Selenium),以便在捕获内容之前让页面完全渲染。
使用 BeautifulSoup 或 lxml 等库将原始 HTML 响应解析为可导航的树状结构。解析器通过标签名、CSS 类或 XPath 表达式识别元素,使脚本能够定位页面文档对象模型中包含目标数据的确切节点。
遍历已识别的元素,提取目标文本、属性或链接,并将其转换为结构化格式——字段行。对于多页数据集,脚本会跟踪分页链接或生成 URL 模式,以遍历所有相关页面,收集每个页面对数据集的贡献。
提取的记录被写入持久化存储格式:较小数据集的 CSV 或 JSON 文件,或大型或持续性集合的关系型数据库或文档数据库(例如 PostgreSQL、MongoDB)。诸如 URL 来源和采集时间戳之类的元数据会与数据一起记录,以支持可复现性和来源追踪。
对汇集的数据集进行检查,以确保完整性、去重、编码问题和结构异常。手动验证采集记录的样本与源页面进行比对,以确认提取逻辑是否正确。如果目标网站更新其结构,爬虫可能需要维护以恢复准确性。
常见陷阱
- 忽略 robots.txt 和使用条款——爬取网站所有者明确禁止的页面可能导致 IP 被封、法律诉讼或已发表研究被撤回。
- 在没有伦理监督的情况下采集个人数据——爬取包含姓名、地点或健康信息的公开个人资料,在大多数研究环境中仍需要机构伦理委员会的审查。
- 使服务器过载——过快地发送请求可能构成拒绝服务攻击;务必包含礼貌的爬取延迟并遵守速率限制信号。
- 假设爬取的数据具有代表性——网络内容仅反映已发布和可访问的内容;算法过滤、付费墙和地理限制会引入系统性偏差,必须予以承认。
- 忽视数据来源——未能记录 URL、爬取日期和网站版本,将导致数据集不可复现且难以审计。
常见问题
网络爬虫是否合法?
合法性取决于司法管辖区、所采集的具体数据以及目标网站的使用条款。在许多司法管辖区,采集公开可见的非个人数据通常被视为合法,但这并非普遍情况。hiQ v. LinkedIn 裁决(美国,2022 年)为公开数据提供了一些保护,但 GDPR(欧盟)和同等法律对个人数据施加了严格限制。务必审查网站的 robots.txt 和使用条款,在敏感案件中咨询您所在机构的法律办公室,并在涉及个人数据时获得伦理委员会的批准。
何时应使用 API 而非爬虫?
只要官方 API 满足您的数据需求,就应使用它。API 专为程序化访问而设计,法律上清晰,提供具有定义模式的结构化数据,并且比基于 HTML 的爬虫稳定得多。网络爬虫应保留在没有足够 API 或 API 的速率限制或数据范围不符合研究要求的情况下使用。
如何处理 JavaScript 渲染的内容?
标准的 HTTP 请求库在 JavaScript 执行之前获取原始 HTML,这意味着动态加载的内容(由 React 或 Vue 等框架渲染)对它们是不可见的。对于此类网站,请使用无头浏览器工具——Playwright 或 Selenium,它会启动一个真实的浏览器引擎,等待页面完全渲染,然后公开完整的 DOM 以供解析。
如何确保我的爬取数据集是可复现的?
为每条记录记录完整的 URL、确切的爬取时间戳和爬虫版本。归档一份原始 HTML 响应的样本。对您的爬虫代码进行版本控制,并记录提取逻辑的任何更改。如果源网站更改了结构并重新爬取,请将其视为新的数据采集批次,并记录不连续性。
除了法律合规性之外,还会出现哪些伦理问题?
即使爬虫在技术上是合法的,研究人员也应考虑数据主体是否有合理预期其内容将被用于研究,聚合公开帖子是否可能重新识别个人,发布爬取引文是否可能伤害参与者,以及爬虫造成的服务器负载是否会给小型或社区运营的网站带来成本。请遵循 ACM 或 AoIR 关于互联网研究的伦理指南。
相关方法
参考文献
Mitchell, R. (2018). Web Scraping with Python: Collecting More Data from the Modern Web (2nd ed.). O'Reilly Media.
ISBN:978-1491985571已复制。Web scraping. Wikipedia.
打开出版物文献已复制。