Web Scraping — Pengumpulan Data Otomatis dari Web
- Diperkenalkan oleh
- Early internet practitioners; systematised in research contexts from the late 1990s onward
- Tahun
- Late 1990s–2000s
- Jenis
- Automated digital data collection technique
- Keluarga
- Data collection
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Web scraping adalah teknik pengumpulan data komputasi di mana perangkat lunak secara otomatis mengambil dan mengekstrak konten terstruktur atau semi-terstruktur dari situs web.
Digunakan secara luas dalam ilmu sosial, linguistik komputasi, ekonomi, dan ilmu informasi, teknik ini memungkinkan peneliti untuk menyusun kumpulan data besar dari sumber web yang dapat diakses publik — seperti arsip berita, platform media sosial, portal pemerintah, dan pasar online — yang tidak praktis jika dikumpulkan secara manual.
Intuisi di balik metode
Anggap web scraping sebagai membaca perpustakaan yang tidak pernah tutup dan tidak pernah membutuhkan pustakawan: sebuah skrip mengunjungi halaman web, membaca HTML-nya, memilih bagian yang Anda butuhkan — harga, judul artikel, stempel waktu posting, ulasan pengguna — dan menuliskannya ke dalam spreadsheet atau basis data. Proses ini meniru apa yang dilakukan peneliti manusia saat menyalin informasi dari halaman web, tetapi dalam skala ribuan hingga jutaan catatan per eksekusi. Wawasan kuncinya adalah bahwa sebagian besar konten web distrukturkan oleh tag HTML dan kelas CSS, yang berfungsi sebagai jangkar yang andal untuk ekstraksi otomatis.
Sejarah
Pengambilan konten web otomatis berasal dari awal tahun 1990-an dengan perayap web pertama yang digunakan untuk membangun indeks mesin pencari (misalnya, World Wide Web Wanderer, 1993). Istilah 'web scraping' muncul pada akhir 1990-an ketika peneliti dan praktisi mulai mengekstrak data terstruktur untuk tujuan di luar pengindeksan. Pustaka Python seperti BeautifulSoup (2004) dan Scrapy (2008) mendemokratisasi praktik ini. Adopsi akademis dipercepat pada tahun 2010-an seiring dengan maraknya ilmu sosial komputasi, dengan web scraping menjadi metode pengumpulan data standar dalam disiplin ilmu termasuk ilmu politik, ekonomi, dan studi komunikasi.
Kapan digunakan
Web scraping sesuai ketika pertanyaan penelitian memerlukan data skala besar, berstempel waktu, atau diperbarui secara terus-menerus dari sumber online yang dapat diakses publik yang tidak tersedia melalui API resmi atau kumpulan data yang dapat diunduh. Ini sangat berharga dalam ilmu sosial komputasi, studi media, ekonomi, dan kesehatan masyarakat untuk menyusun korpus artikel berita, posting media sosial, ulasan produk, daftar pekerjaan, atau dokumen kebijakan. Gunakan ketika pengumpulan manual akan terlalu lambat dan ketika data target dapat dibaca mesin melalui HTML. JANGAN gunakan web scraping ketika platform target menyediakan API resmi yang mencakup kebutuhan data Anda — API lebih cepat, lebih stabil, dan lebih jelas secara hukum. Hindari ketika persyaratan layanan situs melarang akses otomatis, ketika data berada di balik otentikasi yang tidak diperoleh dengan persetujuan penelitian, atau ketika informasi identitas pribadi terlibat tanpa tinjauan etis yang tepat dan dasar hukum.
Batasan dan pertimbangan
- Legalitas dan etika tidak dijamin: persyaratan layanan, hukum hak cipta, dan peraturan perlindungan data (misalnya, GDPR) dapat membatasi atau melarang scraping, dan kepatuhan harus dinilai per situs target.
- Scraper rapuh: desain ulang situs web atau tindakan anti-bot dapat merusak logika ekstraksi tanpa peringatan, memerlukan pemeliharaan berkelanjutan.
- Kualitas data bergantung pada konsistensi situs sumber; bidang yang hilang, kesalahan pengkodean, dan ketidakteraturan HTML adalah hal biasa.
- Situs yang sangat bergantung pada JavaScript dan konten yang dilindungi login secara signifikan meningkatkan kompleksitas teknis.
- Tidak sesuai untuk jenis data yang memerlukan persetujuan peserta atau yang melibatkan informasi pribadi sensitif tanpa persetujuan etis eksplisit.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memungkinkan pengumpulan kumpulan data yang sangat besar — jutaan catatan — yang tidak dapat disusun secara layak oleh metode manual.
- Menangkap data persis seperti yang muncul secara online, mempertahankan stempel waktu, pemformatan, dan metadata kontekstual.
- Dapat dijadwalkan untuk mengumpulkan data secara terus-menerus dari waktu ke waktu, mendukung desain penelitian longitudinal dan waktu nyata.
- Biaya marjinal per catatan relatif rendah setelah scraper ditulis dan divalidasi.
- Sangat fleksibel: berlaku untuk konten web terstruktur apa pun yang dapat diakses publik terlepas dari domain atau bahasa.
Penerapan
- Menyusun korpus longitudinal artikel berita atau pidato politik untuk analisis teks komputasi.
- Melacak dinamika harga di platform e-niaga untuk penelitian ekonomi atau perilaku konsumen.
- Memantau platform media sosial (di mana akses API tidak tersedia atau terbatas) untuk mempelajari wacana publik, misinformasi, atau komunikasi kesehatan.
- Mengumpulkan posting pekerjaan dalam skala besar untuk menganalisis tren pasar tenaga kerja dan permintaan keterampilan.
- Menyusun catatan pemerintah atau parlemen, teks legislatif, dan keputusan pengadilan untuk penelitian hukum dan kebijakan.
- Membangun kumpulan data pelatihan dan evaluasi untuk model pemrosesan bahasa alami dan pembelajaran mesin.
Cara kerjanya
Cara kerjanya
Peneliti mendefinisikan target data: situs web atau URL mana yang berisi informasi yang dibutuhkan, bidang spesifik apa yang diperlukan (misalnya, judul artikel, tanggal publikasi, penulis), dan apakah kontennya adalah HTML statis atau dimuat secara dinamis oleh JavaScript. Langkah ini juga melibatkan peninjauan file robots.txt situs dan persyaratan layanan untuk menilai kelayakan hukum dan etis.
Skrip scraping (umumnya ditulis dalam Python menggunakan pustaka seperti Requests, Scrapy, atau Selenium) mengirimkan permintaan HTTP GET ke URL target, mensimulasikan perilaku peramban yang mengambil respons HTML mentah atau JSON dari server. Untuk halaman yang dirender JavaScript, peramban tanpa kepala (misalnya, Playwright atau Selenium) harus digunakan untuk memungkinkan halaman dirender sepenuhnya sebelum konten ditangkap.
Respons HTML mentah diurai menjadi struktur pohon yang dapat dinavigasi menggunakan pustaka seperti BeautifulSoup atau lxml. Pengurai mengidentifikasi elemen berdasarkan nama tag, kelas CSS, atau ekspresi XPath, yang memungkinkan skrip untuk menemukan node persis yang menampung data yang diminati dalam model objek dokumen halaman.
Elemen yang diidentifikasi dilalui dan teks target, atribut, atau tautan diekstrak dan dikonversi ke dalam format terstruktur — baris bidang. Untuk kumpulan data multi-halaman, skrip mengikuti tautan paginasi atau menghasilkan pola URL untuk berulang di semua halaman yang relevan, mengumpulkan kontribusi setiap halaman ke dalam kumpulan data.
Catatan yang diekstraksi ditulis ke format penyimpanan persisten: file CSV atau JSON untuk kumpulan data yang lebih kecil, atau basis data relasional atau dokumen (misalnya, PostgreSQL, MongoDB) untuk koleksi besar atau berkelanjutan. Metadata seperti sumber URL dan stempel waktu pengumpulan dicatat bersama data untuk mendukung reproduktibilitas dan pelacakan asal.
Kumpulan data yang disusun diperiksa kelengkapan, duplikasi, masalah pengkodean, dan anomali struktural. Sampel catatan yang di-scrape diverifikasi secara manual terhadap halaman sumbernya untuk memastikan logika ekstraksi benar. Jika situs web target memperbarui strukturnya, scraper mungkin memerlukan pemeliharaan untuk memulihkan akurasi.
Kesalahan umum
- Mengabaikan robots.txt dan persyaratan layanan — men-scrape halaman yang secara eksplisit dilarang oleh pemilik situs dapat mengakibatkan pemblokiran IP, tindakan hukum, atau penarikan publikasi penelitian.
- Mengumpulkan data pribadi tanpa pengawasan etis — men-scrape profil publik yang berisi nama, lokasi, atau informasi kesehatan masih memerlukan tinjauan dewan etika institusional dalam sebagian besar konteks penelitian.
- Membebani server — mengirimkan permintaan terlalu cepat dapat merupakan serangan penolakan layanan; selalu sertakan penundaan perayapan yang sopan dan hormati sinyal pembatasan laju.
- Mengasumsikan data yang di-scrape representatif — konten web hanya mencerminkan apa yang dipublikasikan dan dapat diakses; pemfilteran algoritmik, paywall, dan pembatasan geografis memperkenalkan bias sistematis yang harus diakui.
- Mengabaikan asal-usul — gagal mencatat URL, tanggal scrape, dan versi situs membuat kumpulan data tidak dapat direproduksi dan sulit diaudit.
Pertanyaan yang sering diajukan
Apakah web scraping legal?
Legalitas bergantung pada yurisdiksi, data spesifik yang dikumpulkan, dan persyaratan layanan situs target. Men-scrape data yang terlihat publik, non-pribadi umumnya diperlakukan sebagai sah di banyak yurisdiksi, tetapi ini tidak universal. Putusan hiQ v. LinkedIn (AS, 2022) menawarkan beberapa perlindungan untuk data publik, tetapi GDPR (UE) dan undang-undang yang setara memberlakukan batasan ketat pada data pribadi. Selalu tinjau robots.txt situs dan persyaratan layanan, konsultasikan kantor hukum institusi Anda untuk kasus sensitif, dan dapatkan persetujuan dewan etika ketika data pribadi terlibat.
Kapan saya harus menggunakan API daripada scraping?
Kapan pun API resmi mencakup kebutuhan data Anda, gunakanlah. API secara eksplisit dirancang untuk akses terprogram, jelas secara hukum, menawarkan data terstruktur dengan skema yang ditentukan, dan jauh lebih stabil daripada scraper berbasis HTML. Web scraping harus dicadangkan untuk kasus di mana tidak ada API yang memadai atau di mana batas laju API atau cakupan data tidak memenuhi persyaratan penelitian.
Bagaimana cara menangani konten yang dirender JavaScript?
Pustaka permintaan HTTP standar mengambil HTML mentah sebelum JavaScript dieksekusi, yang berarti konten yang dimuat secara dinamis (dirender oleh kerangka kerja seperti React atau Vue) tidak terlihat oleh mereka. Untuk situs semacam itu, gunakan alat peramban tanpa kepala — Playwright atau Selenium — yang meluncurkan mesin peramban sungguhan, menunggu halaman dirender sepenuhnya, dan kemudian mengekspos DOM lengkap untuk diurai.
Bagaimana cara memastikan kumpulan data yang saya scrape dapat direproduksi?
Catat URL lengkap, stempel waktu scrape yang tepat, dan versi scraper untuk setiap catatan. Arsipkan sampel respons HTML mentah. Kontrol versi kode scraping Anda dan dokumentasikan setiap perubahan pada logika ekstraksi. Jika situs sumber mengubah struktur dan Anda men-scrape ulang, perlakukan sebagai gelombang pengumpulan data baru dan dokumentasikan diskontinuitasnya.
Masalah etis apa yang muncul di luar kepatuhan hukum?
Bahkan ketika scraping secara teknis sah, peneliti harus mempertimbangkan apakah subjek data memiliki harapan yang wajar bahwa konten mereka akan digunakan untuk penelitian, apakah agregasi posting publik dapat mengidentifikasi kembali individu, apakah publikasi kutipan yang di-scrape dapat membahayakan peserta, dan apakah beban server dari scraping menimbulkan biaya pada situs kecil atau yang dikelola komunitas. Ikuti pedoman etis ACM atau AoIR untuk penelitian internet.
Metode terkait
Sumber
Mitchell, R. (2018). Web Scraping with Python: Collecting More Data from the Modern Web (2nd ed.). O'Reilly Media.
ISBN: 978-1491985571Disalin.Web scraping. Wikipedia.
Buka referensi publikasiDisalin.