Web Scraping — Otomatik Web Veri Toplama
- Ortaya koyan
- Early internet practitioners; systematised in research contexts from the late 1990s onward
- Yıl
- Late 1990s–2000s
- Tür
- Automated digital data collection technique
- Aile
- Data collection
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Web scraping, web sitelerinden otomatik olarak yapılandırılmış veya yarı yapılandırılmış içeriği alan ve çıkaran bir hesaplamalı veri toplama tekniğidir.
Sosyal bilimler, hesaplamalı dilbilim, ekonomi ve bilgi biliminde yaygın olarak kullanılan bu yöntem, araştırmacıların haber arşivleri, sosyal medya platformları, devlet portalları ve çevrimiçi pazar yerleri gibi kamuya açık web kaynaklarından manuel olarak toplamanın pratik olmayacağı büyük veri kümeleri oluşturmasını sağlar.
Yöntemin mantığı
Web scraping'i, asla kapanmayan ve asla bir kütüphaneci gerektirmeyen bir kütüphaneyi okumak gibi düşünün: bir betik web sayfalarını ziyaret eder, HTML'lerini okur, ihtiyacınız olan parçaları — fiyatlar, makale başlıkları, gönderi zaman damgaları, kullanıcı yorumları — ayıklar ve bunları bir elektronik tabloya veya veritabanına yazar. Bu süreç, bir insan araştırmacının web sayfalarından bilgi kopyalarken yaptığına benzer, ancak çalıştırma başına binlerce ila milyonlarca kayıt ölçeğinde gerçekleşir. Temel fikir, çoğu web içeriğinin, otomatik çıkarma için güvenilir çapalar görevi gören HTML etiketleri ve CSS sınıfları tarafından yapılandırılmış olmasıdır.
Tarih
Web içeriğinin otomatik olarak alınması, arama motoru dizinlerini oluşturmak için kullanılan ilk web tarayıcılarıyla (örneğin, World Wide Web Wanderer, 1993) 1990'ların başına dayanmaktadır. 'Web scraping' terimi, araştırmacılar ve uygulayıcılar dizin oluşturma dışındaki amaçlar için yapılandırılmış veri çıkarmaya başladığında 1990'ların sonlarında ortaya çıktı. BeautifulSoup (2004) ve Scrapy (2008) gibi Python kütüphaneleri bu uygulamayı demokratikleştirdi. Hesaplamalı sosyal bilimin yükselişiyle birlikte 2010'larda akademik benimseme hızlandı ve web scraping, siyaset bilimi, ekonomi ve iletişim çalışmaları gibi disiplinlerde standart bir veri toplama yöntemi haline geldi.
Ne zaman kullanılır?
Web scraping, araştırma sorusunun resmi bir API veya indirilebilir veri kümesi aracılığıyla kullanılamayan, kamuya açık çevrimiçi kaynaklardan büyük ölçekli, zaman damgalı veya sürekli güncellenen verilere ihtiyaç duyduğunda uygundur. Özellikle hesaplamalı sosyal bilimlerde, medya çalışmalarında, ekonomide ve halk sağlığında haber makaleleri, sosyal medya gönderileri, ürün incelemeleri, iş ilanları veya politika belgeleri derlemek için değerlidir. Manuel toplamanın aşırı derecede yavaş olacağı ve hedef verinin makine tarafından okunabilir HTML olduğu durumlarda kullanın. Hedef platform ihtiyaçlarınız olan verileri kapsayan resmi bir API sağlıyorsa web scraping kullanmayın — API'ler daha hızlı, daha kararlı ve yasal olarak daha nettir. Hizmet şartlarının otomatik erişimi yasakladığı, araştırma izniyle elde edilmemiş kimlik doğrulamasının arkasındaki verilerin olduğu veya uygun bir etik inceleme ve yasal dayanak olmadan kişisel olarak tanımlanabilir bilgilerin söz konusu olduğu durumlarda bundan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Yasallık ve etik garanti edilmez: hizmet şartları, telif hakkı yasası ve veri koruma düzenlemeleri (örneğin, GDPR) scraping'i kısıtlayabilir veya yasaklayabilir ve her hedef site için uyumluluk değerlendirilmelidir.
- Scraper'lar kırılgandır: web sitesi yeniden tasarımları veya bot önleme önlemleri, uyarı vermeden çıkarma mantığını bozabilir ve sürekli bakım gerektirebilir.
- Veri kalitesi, kaynak sitenin tutarlılığına bağlıdır; eksik alanlar, kodlama hataları ve HTML düzensizlikleri yaygındır.
- JavaScript ağırlıklı siteler ve oturum açma gerektiren içerikler teknik karmaşıklığı önemli ölçüde artırır.
- Katılımcı onayı gerektiren veya hassas kişisel bilgiler içeren veri türleri için uygun değildir, açık etik onay olmadan.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Manuel yöntemlerin makul bir şekilde oluşturamayacağı çok büyük veri kümelerinin — milyonlarca kaydın — toplanmasını sağlar.
- Zaman damgalarını, biçimlendirmeyi ve bağlamsal meta verileri koruyarak verileri çevrimiçi göründüğü gibi yakalar.
- Uzunlamasına ve gerçek zamanlı araştırma tasarımlarını destekleyerek zaman içinde sürekli veri toplamak üzere zamanlanabilir.
- Scraper yazılıp doğrulandıktan sonra kayıt başına nispeten düşük marjinal maliyet.
- Son derece esnektir: alan veya dilden bağımsız olarak kamuya açık yapılandırılmış web içeriğine uygulanabilir.
Uygulama alanları
- Hesaplamalı metin analizi için haber makaleleri veya siyasi konuşmaların uzunlamasına derlemlerini oluşturma.
- Ekonomik veya tüketici davranışı araştırmaları için e-ticaret platformlarındaki fiyat dinamiklerini izleme.
- Kamuoyu tartışmalarını, yanlış bilgileri veya sağlık iletişimini incelemek için sosyal medya platformlarını izleme (API erişiminin mevcut olmadığı veya sınırlı olduğu durumlarda).
- İşgücü piyasası eğilimlerini ve beceri talebini analiz etmek için iş ilanlarını ölçekte toplama.
- Yasal ve politika araştırmaları için hükümet veya parlamento kayıtlarını, yasama metinlerini ve mahkeme kararlarını derleme.
- Doğal dil işleme ve makine öğrenimi modelleri için eğitim ve değerlendirme veri kümeleri oluşturma.
Nasıl çalışır?
Nasıl çalışır?
Araştırmacı, veri hedefini tanımlar: gerekli bilgileri içeren hangi web siteleri veya URL'ler, hangi belirli alanların gerekli olduğu (örneğin, makale başlığı, yayın tarihi, yazar) ve içeriğin statik HTML mi yoksa JavaScript tarafından dinamik olarak mı yüklendiği. Bu adım ayrıca, yasal ve etik izinleri değerlendirmek için sitenin robots.txt dosyasını ve hizmet şartlarını gözden geçirmeyi içerir.
Yaygın olarak İstekler (Requests), Scrapy veya Selenium gibi kütüphaneler kullanılarak Python'da yazılan bir scraping betiği, sunucudan ham HTML veya JSON yanıtlarını alan hedef URL'lere HTTP GET istekleri gönderir. JavaScript ile işlenen sayfalar için, içeriğin yakalanmadan önce sayfanın tam olarak işlenmesine izin vermek üzere bir başsız tarayıcı (örneğin, Playwright veya Selenium) kullanılmalıdır.
Ham HTML yanıtı, BeautifulSoup veya lxml gibi bir kütüphane kullanılarak gezilebilir bir ağaç yapısına ayrıştırılır. Ayrıştırıcı, betiğin sayfanın belge nesne modeli içindeki ilgilenilen verileri tutan tam düğümleri bulmasını sağlayan öğeleri etiket adlarına, CSS sınıflarına veya XPath ifadelerine göre tanımlar.
Tanımlanan öğeler taranır ve hedef metin, öznitelikler veya bağlantılar çıkarılarak yapılandırılmış bir formata — alan satırlarına — dönüştürülür. Çok sayfalı veri kümeleri için betik, sayfalama bağlantılarını izler veya ilgili tüm sayfalar arasında yineleme yapmak için URL desenleri oluşturarak her sayfanın veri kümesine katkısını toplar.
Çıkarılan kayıtlar kalıcı bir depolama biçimine yazılır: daha küçük veri kümeleri için bir CSV veya JSON dosyası veya büyük veya devam eden koleksiyonlar için ilişkisel veya belge veritabanı (örneğin, PostgreSQL, MongoDB). URL kaynağı ve toplama zaman damgası gibi meta veriler, tekrarlanabilirlik ve köken takibini desteklemek için verilerin yanında kaydedilir.
Toplanan veri kümesi, eksiksizlik, yinelenenler, kodlama sorunları ve yapısal anormallikler açısından incelenir. Çıkarma mantığının doğru olduğunu doğrulamak için scraped kayıtların bir örneği manuel olarak kaynak sayfalarına karşı doğrulanır. Hedef web sitesi yapısını güncellerse, scraper doğruluğu geri yüklemek için bakım gerektirebilir.
Sık yapılan hatalar
- robots.txt ve hizmet şartlarının göz ardı edilmesi — site sahibi tarafından açıkça yasaklanan sayfaları kazımak IP yasaklarına, yasal işlemlere veya yayınlanmış araştırmaların geri çekilmesine neden olabilir.
- Etik gözetim olmadan kişisel veri toplama — adları, konumları veya sağlık bilgilerini içeren genel profilleri kazımak çoğu araştırma bağlamında kurum etik kurul incelemesi gerektirir.
- Sunucuyu aşırı yükleme — çok hızlı istek göndermek hizmet reddi saldırısı oluşturabilir; her zaman nazik tarama gecikmeleri ekleyin ve hız sınırı sinyallerine saygı gösterin.
- Kazınmış verilerin temsili olduğunu varsaymak — web içeriği yalnızca yayınlanan ve erişilebilir olanı yansıtır; algoritmik filtreleme, ödeme duvarları ve coğrafi kısıtlamalar sistematik yanlılıklar getirir ve bunlar kabul edilmelidir.
- Kökeni ihmal etme — URL'yi, kazıma tarihini ve site sürümünü kaydetmemek, veri kümelerini tekrarlanamaz hale getirir ve denetimi zorlaştırır.
Sık sorulan sorular
Web scraping yasal mıdır?
Yasallık yargı alanına, toplanan belirli verilere ve hedef sitenin hizmet şartlarına bağlıdır. Kamuoyuna açık, kişisel olmayan verileri kazımak genellikle birçok yargı alanında yasal kabul edilir, ancak bu evrensel değildir. hiQ v. LinkedIn kararı (ABD, 2022), kamuya açık veriler için bir miktar koruma sunar, ancak GDPR (AB) ve eşdeğer yasalar kişisel veriler üzerinde katı sınırlar getirir. Her zaman sitenin robots.txt ve hizmet şartlarını gözden geçirin, hassas durumlar için kurumunuzun hukuk ofisine danışın ve kişisel veriler söz konusu olduğunda etik kurul onayını alın.
Kazıma yerine ne zaman bir API kullanmalıyım?
Resmi bir API veri ihtiyaçlarınızı kapsadığı sürece onu kullanın. API'ler açıkça programlı erişim için tasarlanmıştır, yasal olarak nettir, tanımlanmış şemalara sahip yapılandırılmış veriler sunar ve HTML tabanlı kazıyıcılardan çok daha kararlıdır. Web scraping, yeterli bir API'nin bulunmadığı veya API'nin hız sınırlarının veya veri kapsamının araştırma gereksinimlerini karşılamadığı durumlar için saklanmalıdır.
JavaScript ile işlenen içerikle nasıl başa çıkarım?
Standart HTTP istek kütüphaneleri, JavaScript yürütülmeden önce ham HTML'yi çeker, bu da dinamik olarak yüklenen içeriğin (React veya Vue gibi çerçeveler tarafından işlenen) onlar tarafından görünmez olduğu anlamına gelir. Bu tür siteler için, sayfanın tam olarak işlenmesini bekleyen ve ardından ayrıştırma için eksiksiz DOM'u sunan bir tarayıcı motoru başlatan bir başsız tarayıcı aracı — Playwright veya Selenium — kullanın.
Kazınmış veri kümemin tekrarlanabilir olmasını nasıl sağlarım?
Her kayıt için tam URL'yi, kesin kazıma zaman damgasını ve kazıyıcı sürümünü kaydedin. Ham HTML yanıtlarının bir örneğini arşivleyin. Kazıma kodunuzu sürüm denetimine alın ve çıkarma mantığındaki değişiklikleri belgeleyin. Kaynak site yapıyı değiştirirse ve yeniden kazırsanız, bunu yeni bir veri toplama dalgası olarak ele alın ve süreksizliği belgeleyin.
Yasal uyumluluğun ötesinde hangi etik sorunlar ortaya çıkıyor?
Kazıma teknik olarak yasal olsa bile, araştırmacılar veri öznelerinin içeriklerinin araştırma için kullanılmasını makul bir şekilde bekleyip beklemediğini, genel gönderilerin toplamasının bireyleri yeniden tanımlayabileceğini, kazınmış alıntıların yayınlanmasının katılımcılara zarar verebileceğini ve kazımadan kaynaklanan sunucu yükünün küçük veya topluluk tarafından işletilen sitelere maliyet getirdiğini dikkate almalıdır. İnternet araştırmaları için ACM veya AoIR etik yönergelerini izleyin.
İlgili yöntemler
Kaynaklar
Mitchell, R. (2018). Web Scraping with Python: Collecting More Data from the Modern Web (2nd ed.). O'Reilly Media.
ISBN: 978-1491985571Kopyalandı.Web scraping. Wikipedia.
Yayın kaynağını açKopyalandı.