الانتقال إلى المحتوى
العودة إلى نتائج البحث

تجميع الويب (Web Scraping) — جمع بيانات الويب الآلي

قدّمه
Early internet practitioners; systematised in research contexts from the late 1990s onward
السنة
Late 1990s–2000s
النوع
Automated digital data collection technique
العائلة
Data collection

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تجميع الويب هو أسلوب حاسوبي لجمع البيانات، حيث يقوم برنامج حاسوبي باسترداد واستخلاص المحتوى المنظم أو شبه المنظم من مواقع الويب تلقائيًا. يُستخدم على نطاق واسع في العلوم الاجتماعية، واللسانيات الحاسوبية، والاقتصاد، وعلوم المعلومات، ويمكّن الباحثين من تجميع مجموعات بيانات ضخمة من مصادر الويب المتاحة للجمهور — مثل أرشيفات الأخبار، ومنصات التواصل الاجتماعي، والبوابات الحكومية، والأسواق الإلكترونية — والتي سيكون جمعها يدويًا غير عملي.

الفكرة الحدسية وراء الطريقة

تخيل تجميع الويب كقراءة مكتبة لا تغلق أبدًا ولا تتطلب أمين مكتبة: يزور نص برمجي صفحات الويب، ويقرأ لغة ترميز النص التشعبي (HTML) الخاصة بها، ويختار الأجزاء التي تحتاجها — الأسعار، وعناوين المقالات، وطوابع وقت المنشورات، ومراجعات المستخدمين — ويكتبها في جدول بيانات أو قاعدة بيانات. تعكس هذه العملية ما يفعله الباحث البشري عند نسخ المعلومات من صفحات الويب، ولكن على نطاق يتراوح من آلاف إلى ملايين السجلات في كل تشغيل. الفكرة الرئيسية هي أن معظم محتوى الويب منظم بواسطة وسوم HTML وفئات CSS، والتي تعمل كمرتكزات موثوقة للاستخراج الآلي.

التاريخ

يعود الاسترداد الآلي لمحتوى الويب إلى أوائل التسعينيات مع أول برامج زحف الويب المستخدمة لبناء فهارس محركات البحث (مثل World Wide Web Wanderer، 1993). ظهر مصطلح 'تجميع الويب' في أواخر التسعينيات عندما بدأ الباحثون والممارسون في استخراج البيانات المنظمة لأغراض تتجاوز الفهرسة. أدت مكتبات بايثون مثل BeautifulSoup (2004) و Scrapy (2008) إلى إضفاء الطابع الديمقراطي على هذه الممارسة. تسارع التبني الأكاديمي في العقد الأول من القرن الحادي والعشرين جنبًا إلى جنب مع صعود العلوم الاجتماعية الحاسوبية، حيث أصبح تجميع الويب طريقة قياسية لجمع البيانات في تخصصات تشمل العلوم السياسية والاقتصاد ودراسات الاتصال.

متى تُستخدم

تجميع الويب مناسب عندما يتطلب سؤال البحث بيانات كبيرة الحجم، أو ذات طابع زمني، أو محدثة باستمرار من مصادر عامة على الإنترنت غير متاحة عبر واجهة برمجة تطبيقات (API) رسمية أو مجموعة بيانات قابلة للتنزيل. وهو ذو قيمة خاصة في العلوم الاجتماعية الحاسوبية، ودراسات الإعلام، والاقتصاد، والصحة العامة لتجميع مجموعات من المقالات الإخبارية، ومنشورات وسائل التواصل الاجتماعي، ومراجعات المنتجات، وقوائم الوظائف، أو وثائق السياسات. استخدمه عندما يكون الجمع اليدوي بطيئًا بشكل غير مقبول وعندما تكون البيانات المستهدفة بتنسيق HTML قابل للقراءة آليًا. لا تستخدم تجميع الويب عندما توفر المنصة المستهدفة واجهة برمجة تطبيقات (API) رسمية تغطي احتياجاتك من البيانات — واجهات برمجة التطبيقات أسرع وأكثر استقرارًا وأوضح من الناحية القانونية. تجنبه عندما تحظر شروط خدمة الموقع الوصول الآلي، أو عندما تكون البيانات خلف مصادقة لم يتم الحصول عليها بموافقة بحثية، أو عندما تتضمن معلومات تعريف شخصية دون مراجعة أخلاقية مناسبة وأساس قانوني.

الحدود والاعتبارات

  • الشرعية والأخلاقيات غير مضمونة: قد تقيد أو تحظر شروط الخدمة، وقانون حقوق النشر، ولوائح حماية البيانات (مثل اللائحة العامة لحماية البيانات GDPR) التجميع، ويجب تقييم الامتثال لكل موقع مستهدف.
  • برامج التجميع هشة: قد تؤدي إعادة تصميم المواقع أو إجراءات مكافحة الروبوتات إلى تعطيل منطق الاستخراج دون سابق إنذار، مما يتطلب صيانة مستمرة.
  • تعتمد جودة البيانات على اتساق الموقع المصدر؛ فالحقول المفقودة، وأخطاء الترميز، وشذوذات HTML شائعة.
  • المواقع التي تعتمد بشكل كبير على JavaScript والمحتوى المحمي بتسجيل الدخول تزيد بشكل كبير من التعقيد التقني.
  • غير مناسب لأنواع البيانات التي تتطلب موافقة المشاركين أو التي تتضمن معلومات شخصية حساسة دون موافقة أخلاقية صريحة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يمكّن من جمع مجموعات بيانات ضخمة جدًا — ملايين السجلات — لا يمكن تجميعها يدويًا بشكل عملي.
  • يلتقط البيانات تمامًا كما تظهر على الإنترنت، مع الحفاظ على الطوابع الزمنية والتنسيق والبيانات الوصفية السياقية.
  • يمكن جدولته لجمع البيانات باستمرار بمرور الوقت، مما يدعم تصميمات البحث الطولية والوقت الفعلي.
  • تكلفة هامشية منخفضة نسبيًا لكل سجل بمجرد كتابة برنامج التجميع والتحقق منه.
  • مرن للغاية: ينطبق على أي محتوى ويب منظم ومتاح للجمهور بغض النظر عن المجال أو اللغة.

التطبيقات

  • تجميع مجموعات طولية من المقالات الإخبارية أو الخطب السياسية لتحليل النصوص الحاسوبي.
  • تتبع ديناميكيات الأسعار على منصات التجارة الإلكترونية لأبحاث الاقتصاد أو سلوك المستهلك.
  • مراقبة منصات التواصل الاجتماعي (حيث يكون الوصول إلى واجهة برمجة التطبيقات غير متاح أو محدود) لدراسة الخطاب العام، أو المعلومات المضللة، أو التواصل الصحي.
  • جمع إعلانات الوظائف على نطاق واسع لتحليل اتجاهات سوق العمل والطلب على المهارات.
  • تجميع السجلات الحكومية أو البرلمانية، والنصوص التشريعية، وقرارات المحاكم للبحث القانوني والسياسي.
  • بناء مجموعات بيانات للتدريب والتقييم لنماذج معالجة اللغة الطبيعية والتعلم الآلي.

كيف يعمل

كيف يعمل

1

يحدد الباحث الهدف من البيانات: أي مواقع الويب أو عناوين URL تحتوي على المعلومات المطلوبة، وما هي الحقول المحددة المطلوبة (مثل: عنوان المقال، تاريخ النشر، المؤلف)، وما إذا كان المحتوى ثابتًا بلغة HTML أو يتم تحميله ديناميكيًا بواسطة JavaScript. تتضمن هذه الخطوة أيضًا مراجعة ملف robots.txt الخاص بالموقع وشروط الخدمة لتقييم الإذن القانوني والأخلاقي.

2

يرسل نص التجميع (المكتوب عادةً بلغة بايثون باستخدام مكتبات مثل Requests أو Scrapy أو Selenium) طلبات HTTP GET إلى عناوين URL المستهدفة، محاكيًا سلوك المتصفح الذي يسترد استجابات HTML الخام أو JSON من الخادم. بالنسبة للصفحات المعروضة بواسطة JavaScript، يجب استخدام متصفح بلا واجهة رسومية (headless browser) (مثل Playwright أو Selenium) للسماح للصفحة بالعرض بالكامل قبل التقاط المحتوى.

3

يتم تحليل استجابة HTML الخام إلى بنية شجرية قابلة للتصفح باستخدام مكتبة مثل BeautifulSoup أو lxml. يحدد المحلل العناصر بواسطة أسماء وسومها، أو فئات CSS، أو تعبيرات XPath، مما يسمح للنص البرمجي بتحديد العقد الدقيقة التي تحتوي على البيانات محل الاهتمام ضمن نموذج كائن المستند (document object model) للصفحة.

4

يتم اجتياز العناصر المحددة واستخلاص النص المستهدف، أو السمات، أو الروابط وتحويلها إلى تنسيق منظم — صفوف من الحقول. بالنسبة لمجموعات البيانات متعددة الصفحات، يتبع النص البرمجي روابط ترقيم الصفحات أو ينشئ أنماط URL للتكرار عبر جميع الصفحات ذات الصلة، ويجمع مساهمة كل صفحة في مجموعة البيانات.

5

تُكتب السجلات المستخرجة إلى تنسيق تخزين دائم: ملف CSV أو JSON لمجموعات البيانات الأصغر، أو قاعدة بيانات علائقية أو مستندية (مثل PostgreSQL، MongoDB) للمجموعات الكبيرة أو المستمرة. تُسجل البيانات الوصفية مثل مصدر URL وطابع وقت التجميع جنبًا إلى جنب مع البيانات لدعم قابلية الاستنساخ وتتبع المصدر.

6

يتم فحص مجموعة البيانات المجمعة للتأكد من اكتمالها، وخلوها من التكرارات، ومشاكل الترميز، والشذوذات الهيكلية. يتم التحقق يدويًا من عينة من السجلات المجمعة مقابل صفحاتها المصدر للتأكد من صحة منطق الاستخراج. عندما يقوم موقع الويب المستهدف بتحديث هيكله، قد يتطلب برنامج التجميع صيانة لاستعادة الدقة.

الأخطاء الشائعة

  • تجاهل ملف robots.txt وشروط الخدمة — قد يؤدي تجميع الصفحات المحظورة صراحة من قبل مالك الموقع إلى حظر عنوان IP، أو اتخاذ إجراءات قانونية، أو سحب الأبحاث المنشورة.
  • جمع البيانات الشخصية دون إشراف أخلاقي — لا يزال تجميع الملفات الشخصية العامة التي تحتوي على أسماء أو مواقع أو معلومات صحية يتطلب مراجعة من مجلس الأخلاقيات المؤسسي في معظم السياقات البحثية.
  • إثقال الخادم — إرسال الطلبات بسرعة كبيرة يمكن أن يشكل هجوم حجب الخدمة؛ قم دائمًا بتضمين تأخيرات زحف مهذبة واحترم إشارات حدود المعدل.
  • افتراض أن البيانات المجمعة تمثيلية — يعكس محتوى الويب فقط ما هو منشور ومتاح؛ فالتصفية الخوارزمية، والجدران المدفوعة، والقيود الجغرافية تُدخل تحيزات منهجية يجب الاعتراف بها.
  • إهمال المصدر — عدم تسجيل عنوان URL وتاريخ التجميع وإصدار الموقع يجعل مجموعات البيانات غير قابلة للاستنساخ ويصعب تدقيقها.

الأسئلة الشائعة

هل تجميع الويب قانوني؟

تعتمد الشرعية على الولاية القضائية، والبيانات المحددة التي تم جمعها، وشروط خدمة الموقع المستهدف. يُعامل تجميع البيانات العامة غير الشخصية على أنه قانوني بشكل عام في العديد من الولايات القضائية، ولكن هذا ليس عالميًا. يوفر حكم hiQ ضد LinkedIn (الولايات المتحدة، 2022) بعض الحماية للبيانات العامة، لكن اللائحة العامة لحماية البيانات (GDPR) (الاتحاد الأوروبي) والقوانين المماثلة تفرض قيودًا صارمة على البيانات الشخصية. قم دائمًا بمراجعة ملف robots.txt وشروط الخدمة الخاصة بالموقع، واستشر المكتب القانوني لمؤسستك للحالات الحساسة، واحصل على موافقة مجلس الأخلاقيات عند التعامل مع البيانات الشخصية.

متى يجب أن أستخدم واجهة برمجة تطبيقات (API) بدلاً من التجميع؟

كلما غطت واجهة برمجة تطبيقات (API) رسمية احتياجاتك من البيانات، استخدمها. تم تصميم واجهات برمجة التطبيقات صراحة للوصول البرمجي، وهي واضحة قانونيًا، وتوفر بيانات منظمة مع مخططات محددة، وهي أكثر استقرارًا بكثير من برامج التجميع المستندة إلى HTML. يجب أن يقتصر تجميع الويب على الحالات التي لا توجد فيها واجهة برمجة تطبيقات كافية أو عندما لا تلبي حدود معدل واجهة برمجة التطبيقات أو نطاق البيانات متطلبات البحث.

كيف أتعامل مع المحتوى المعروض بواسطة JavaScript؟

تقوم مكتبات طلبات HTTP القياسية بجلب HTML الخام قبل تنفيذ JavaScript، مما يعني أن المحتوى الذي يتم تحميله ديناميكيًا (والمُعرض بواسطة أطر عمل مثل React أو Vue) يكون غير مرئي لها. لمثل هذه المواقع، استخدم أداة متصفح بلا واجهة رسومية (headless browser) — مثل Playwright أو Selenium — والتي تطلق محرك متصفح حقيقي، وتنتظر حتى يتم عرض الصفحة بالكامل، ثم تكشف عن نموذج كائن المستند (DOM) الكامل للتحليل.

كيف أضمن أن مجموعة البيانات المجمعة قابلة للاستنساخ؟

سجل عنوان URL الكامل، والطابع الزمني الدقيق للتجميع، وإصدار برنامج التجميع لكل سجل. أرشف عينة من استجابات HTML الخام. تحكم في إصدار رمز التجميع الخاص بك ووثق أي تغييرات في منطق الاستخراج. إذا غير الموقع المصدر هيكله وقمت بإعادة التجميع، فتعامل مع ذلك كموجة جديدة لجمع البيانات ووثق الانقطاع.

ما هي القضايا الأخلاقية التي تنشأ بخلاف الامتثال القانوني؟

حتى عندما يكون التجميع قانونيًا من الناحية الفنية، يجب على الباحثين النظر فيما إذا كان لدى أصحاب البيانات توقع معقول بأن محتواهم سيُستخدم للبحث، وما إذا كان تجميع المنشورات العامة يمكن أن يعيد تحديد هوية الأفراد، وما إذا كان نشر الاقتباسات المجمعة يمكن أن يضر المشاركين، وما إذا كان حمل الخادم الناتج عن التجميع يفرض تكاليف على المواقع الصغيرة أو التي يديرها المجتمع. اتبع الإرشادات الأخلاقية لـ ACM أو AoIR للبحث عبر الإنترنت.

طرق ذات صلة

المصادر

  1. Mitchell, R. (2018). Web Scraping with Python: Collecting More Data from the Modern Web (2nd ed.). O'Reilly Media.

    ردمك: 978-1491985571
    تم النسخ.
  2. Web scraping. Wikipedia.

    افتح مرجع المنشور
    تم النسخ.