Web Scraping — Collecte automatisée de données web
- Introduite par
- Early internet practitioners; systematised in research contexts from the late 1990s onward
- Année
- Late 1990s–2000s
- Type
- Automated digital data collection technique
- Famille
- Data collection
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Le web scraping est une technique de collecte de données computationnelle par laquelle un logiciel récupère et extrait automatiquement du contenu structuré ou semi-structuré de sites web.
Largement utilisé en sciences sociales, en linguistique computationnelle, en économie et en sciences de l'information, il permet aux chercheurs de constituer de vastes ensembles de données à partir de sources web accessibles publiquement — telles que des archives d'actualités, des plateformes de médias sociaux, des portails gouvernementaux et des places de marché en ligne — qu'il serait peu pratique de collecter manuellement.
L’intuition derrière la méthode
Considérez le web scraping comme la lecture d'une bibliothèque qui ne ferme jamais et qui n'a jamais besoin de bibliothécaire : un script visite des pages web, lit leur HTML, extrait les éléments dont vous avez besoin — prix, titres d'articles, horodatages de publications, avis d'utilisateurs — et les enregistre dans une feuille de calcul ou une base de données. Le processus imite ce qu'un chercheur humain fait lorsqu'il copie des informations à partir de pages web, mais à l'échelle de milliers à millions d'enregistrements par exécution. L'idée clé est que la plupart du contenu web est structuré par des balises HTML et des classes CSS, qui servent d'ancres fiables pour l'extraction automatisée.
Histoire
La récupération automatisée de contenu web remonte au début des années 1990 avec les premiers robots d'exploration web utilisés pour construire des index de moteurs de recherche (par exemple, le World Wide Web Wanderer, 1993). Le terme 'web scraping' est apparu à la fin des années 1990 lorsque les chercheurs et les praticiens ont commencé à extraire des données structurées à des fins autres que l'indexation. Les bibliothèques Python telles que BeautifulSoup (2004) et Scrapy (2008) ont démocratisé la pratique. L'adoption académique s'est accélérée dans les années 2010 parallèlement à l'essor des sciences sociales computationnelles, le web scraping devenant une méthode de collecte de données standard dans des disciplines telles que les sciences politiques, l'économie et les études de communication.
Quand l’utiliser
Le web scraping est approprié lorsque la question de recherche nécessite des données à grande échelle, horodatées ou mises à jour en continu provenant de sources en ligne accessibles publiquement qui ne sont pas disponibles via une API officielle ou un ensemble de données téléchargeable. Il est particulièrement précieux en sciences sociales computationnelles, en études des médias, en économie et en santé publique pour constituer des corpus d'articles de presse, de publications sur les médias sociaux, d'avis de produits, d'offres d'emploi ou de documents politiques. Utilisez-le lorsque la collecte manuelle serait prohibitivement lente et lorsque les données cibles sont du HTML lisible par machine. N'UTILISEZ PAS le web scraping lorsque la plateforme cible fournit une API officielle qui couvre vos besoins en données — les API sont plus rapides, plus stables et plus claires sur le plan juridique. Évitez-le lorsque les conditions d'utilisation du site interdisent l'accès automatisé, lorsque les données sont derrière une authentification qui n'a pas été obtenue avec un consentement de recherche, ou lorsque des informations personnellement identifiables sont impliquées sans un examen éthique approprié et une base légale.
Limites et points d’attention
- La légalité et l'éthique ne sont pas garanties : les conditions d'utilisation, le droit d'auteur et les réglementations sur la protection des données (par exemple, RGPD) peuvent restreindre ou interdire le scraping, et la conformité doit être évaluée pour chaque site cible.
- Les scrapers sont fragiles : les refontes de sites web ou les mesures anti-robots peuvent casser la logique d'extraction sans avertissement, nécessitant une maintenance continue.
- La qualité des données dépend de la cohérence du site source ; les champs manquants, les erreurs d'encodage et les irrégularités HTML sont courants.
- Les sites fortement basés sur JavaScript et le contenu protégé par connexion augmentent considérablement la complexité technique.
- Ne convient pas aux types de données qui nécessitent le consentement des participants ou qui impliquent des informations personnelles sensibles sans approbation éthique explicite.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Permet la collecte de très grands ensembles de données — des millions d'enregistrements — que les méthodes manuelles ne peuvent pas assembler de manière réalisable.
- Capture les données exactement comme elles apparaissent en ligne, en préservant les horodatages, le formatage et les métadonnées contextuelles.
- Peut être programmé pour collecter des données en continu dans le temps, soutenant les conceptions de recherche longitudinales et en temps réel.
- Coût marginal relativement faible par enregistrement une fois le scraper écrit et validé.
- Très flexible : applicable à tout contenu web structuré accessible publiquement, quel que soit le domaine ou la langue.
Applications
- Constitution de corpus longitudinaux d'articles de presse ou de discours politiques pour l'analyse textuelle computationnelle.
- Suivi des dynamiques de prix sur les plateformes de commerce électronique pour la recherche économique ou sur le comportement des consommateurs.
- Surveillance des plateformes de médias sociaux (lorsque l'accès API est indisponible ou limité) pour étudier le discours public, la désinformation ou la communication sur la santé.
- Collecte d'offres d'emploi à grande échelle pour analyser les tendances du marché du travail et la demande de compétences.
- Compilation de dossiers gouvernementaux ou parlementaires, de textes législatifs et de décisions de justice pour la recherche juridique et politique.
- Construction d'ensembles de données d'entraînement et d'évaluation pour les modèles de traitement du langage naturel et d'apprentissage automatique.
Comment ça marche
Comment ça marche
Le chercheur définit la cible des données : quels sites web ou quelles URL contiennent les informations nécessaires, quels champs spécifiques sont requis (par exemple, titre de l'article, date de publication, auteur), et si le contenu est du HTML statique ou chargé dynamiquement par JavaScript. Cette étape implique également l'examen du fichier robots.txt du site et des conditions d'utilisation pour évaluer la légalité et la permissibilité éthique.
Un script de scraping (couramment écrit en Python à l'aide de bibliothèques telles que Requests, Scrapy ou Selenium) envoie des requêtes HTTP GET aux URL cibles, simulant le comportement du navigateur qui récupère les réponses HTML brutes ou JSON du serveur. Pour les pages rendues par JavaScript, un navigateur sans interface graphique (par exemple, Playwright ou Selenium) doit être utilisé pour permettre à la page de se rendre complètement avant que le contenu ne soit capturé.
La réponse HTML brute est analysée en une structure arborescente navigable à l'aide d'une bibliothèque telle que BeautifulSoup ou lxml. L'analyseur identifie les éléments par leurs noms de balise, leurs classes CSS ou leurs expressions XPath, permettant au script de localiser les nœuds exacts qui détiennent les données d'intérêt dans le modèle objet de document de la page.
Les éléments identifiés sont parcourus et le texte cible, les attributs ou les liens sont extraits et convertis dans un format structuré — des lignes de champs. Pour les ensembles de données multi-pages, le script suit les liens de pagination ou génère des modèles d'URL pour itérer sur toutes les pages pertinentes, collectant la contribution de chaque page à l'ensemble de données.
Les enregistrements extraits sont écrits dans un format de stockage persistant : un fichier CSV ou JSON pour les petits ensembles de données, ou une base de données relationnelle ou de documents (par exemple, PostgreSQL, MongoDB) pour les collections importantes ou continues. Des métadonnées telles que la source URL et l'horodatage de la collecte sont enregistrées avec les données pour soutenir la reproductibilité et le suivi de la provenance.
L'ensemble de données assemblé est inspecté pour vérifier son exhaustivité, les doublons, les problèmes d'encodage et les anomalies structurelles. Un échantillon d'enregistrements extraits est vérifié manuellement par rapport à leurs pages sources pour confirmer que la logique d'extraction est correcte. Lorsque le site web cible met à jour sa structure, le scraper peut nécessiter une maintenance pour rétablir l'exactitude.
Pièges courants
- Ignorer robots.txt et les conditions d'utilisation — scraper des pages explicitement interdites par le propriétaire du site peut entraîner des interdictions d'IP, des poursuites judiciaires ou le retrait de recherches publiées.
- Collecter des données personnelles sans supervision éthique — scraper des profils publics contenant des noms, des lieux ou des informations sur la santé nécessite toujours un examen par le comité d'éthique de l'institution dans la plupart des contextes de recherche.
- Surcharger le serveur — envoyer des requêtes trop rapidement peut constituer une attaque par déni de service ; incluez toujours des délais de parcours polis et respectez les signaux de limitation de débit.
- Supposer que les données scrapées sont représentatives — le contenu web ne reflète que ce qui est publié et accessible ; le filtrage algorithmique, les paywalls et les restrictions géographiques introduisent des biais systématiques qui doivent être reconnus.
- Négliger la provenance — ne pas enregistrer l'URL, la date de scraping et la version du site rend les ensembles de données non reproductibles et difficiles à auditer.
Questions fréquentes
Le web scraping est-il légal ?
La légalité dépend de la juridiction, des données spécifiques collectées et des conditions d'utilisation du site cible. Le scraping de données publiquement visibles et non personnelles est généralement considéré comme légal dans de nombreuses juridictions, mais ce n'est pas universel. La décision hiQ c. LinkedIn (États-Unis, 2022) offre une certaine protection pour les données publiques, mais le RGPD (UE) et les lois équivalentes imposent des limites strictes aux données personnelles. Examinez toujours le robots.txt et les conditions d'utilisation du site, consultez le service juridique de votre institution pour les cas sensibles, et obtenez l'approbation du comité d'éthique lorsque des données personnelles sont impliquées.
Quand dois-je utiliser une API au lieu du scraping ?
Utilisez une API officielle chaque fois qu'elle couvre vos besoins en données. Les API sont explicitement conçues pour l'accès programmatique, sont claires sur le plan juridique, offrent des données structurées avec des schémas définis et sont beaucoup plus stables que les scrapers basés sur HTML. Le web scraping doit être réservé aux cas où aucune API adéquate n'existe ou lorsque les limites de débit ou la portée des données de l'API ne répondent pas aux exigences de la recherche.
Comment gérer le contenu rendu par JavaScript ?
Les bibliothèques de requêtes HTTP standard récupèrent le HTML brut avant l'exécution de JavaScript, ce qui signifie que le contenu chargé dynamiquement (rendu par des frameworks tels que React ou Vue) leur est invisible. Pour de tels sites, utilisez un outil de navigateur sans interface graphique — Playwright ou Selenium — qui lance un moteur de navigateur réel, attend que la page se rende complètement, puis expose le DOM complet pour l'analyse.
Comment puis-je m'assurer que mon ensemble de données scrapé est reproductible ?
Enregistrez l'URL complète, l'horodatage exact du scraping et la version du scraper pour chaque enregistrement. Archivez un échantillon des réponses HTML brutes. Contrôlez les versions de votre code de scraping et documentez toute modification apportée à la logique d'extraction. Si la structure du site source change et que vous re-scrapez, traitez-le comme une nouvelle vague de collecte de données et documentez la discontinuité.
Quels problèmes éthiques surviennent au-delà de la conformité légale ?
Même lorsque le scraping est techniquement légal, les chercheurs doivent se demander si les personnes concernées ont une attente raisonnable que leur contenu sera utilisé pour la recherche, si l'agrégation de publications publiques pourrait ré-identifier des individus, si la publication de citations scrapées pourrait nuire aux participants, et si la charge du serveur due au scraping impose des coûts aux petits sites ou aux sites gérés par la communauté. Suivez les directives éthiques de l'ACM ou de l'AoIR pour la recherche sur Internet.
Méthodes associées
Sources
Mitchell, R. (2018). Web Scraping with Python: Collecting More Data from the Modern Web (2nd ed.). O'Reilly Media.
ISBN : 978-1491985571Copié.Web scraping. Wikipedia.
Ouvrir la référence de la publicationCopié.