Skip to content
بازگشت به نتایج جست‌وجو

وب اسکرپینگ — گردآوری خودکار داده از وب

معرفی‌شده توسط
Early internet practitioners; systematised in research contexts from the late 1990s onward
سال
Late 1990s–2000s
نوع
Automated digital data collection technique
خانواده
Data collection

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

وب اسکرپینگ یک تکنیک محاسباتی گردآوری داده است که در آن نرم‌افزار به طور خودکار محتوای ساختاریافته یا نیمه‌ساختاریافته را از وب‌سایت‌ها بازیابی و استخراج می‌کند. این روش که به طور گسترده در علوم اجتماعی، زبان‌شناسی محاسباتی، اقتصاد و علوم اطلاعات استفاده می‌شود، به پژوهشگران امکان می‌دهد تا مجموعه داده‌های بزرگی را از منابع عمومی وب — مانند آرشیوهای خبری، پلتفرم‌های رسانه‌های اجتماعی، پورتال‌های دولتی و بازارهای آنلاین — گردآوری کنند که جمع‌آوری دستی آن‌ها غیرعملی خواهد بود.

شهود پشت روش

وب اسکرپینگ را مانند خواندن کتابخانه‌ای در نظر بگیرید که هرگز بسته نمی‌شود و هرگز به کتابدار نیاز ندارد: یک اسکریپت به صفحات وب سر می‌زند، HTML آن‌ها را می‌خواند، قطعات مورد نیاز شما — قیمت‌ها، عناوین مقالات، مُهرهای زمانی پست‌ها، نظرات کاربران — را انتخاب کرده و آن‌ها را در یک صفحه گسترده یا پایگاه داده می‌نویسد. این فرآیند مشابه کاری است که یک پژوهشگر انسانی هنگام کپی کردن اطلاعات از صفحات وب انجام می‌دهد، اما در مقیاس هزاران تا میلیون‌ها رکورد در هر بار اجرا. نکته کلیدی این است که بیشتر محتوای وب توسط تگ‌های HTML و کلاس‌های CSS ساختار یافته است که به عنوان نقاط اتکای قابل اعتماد برای استخراج خودکار عمل می‌کنند.

تاریخ

بازیابی خودکار محتوای وب به اوایل دهه ۱۹۹۰ با اولین خزنده‌های وب که برای ساخت شاخص‌های موتور جستجو استفاده می‌شدند (مانند World Wide Web Wanderer، ۱۹۹۳) بازمی‌گردد. اصطلاح «وب اسکرپینگ» در اواخر دهه ۱۹۹۰ ظهور کرد زیرا پژوهشگران و دست‌اندرکاران شروع به استخراج داده‌های ساختاریافته برای اهدافی فراتر از نمایه‌سازی کردند. کتابخانه‌های پایتون مانند BeautifulSoup (۲۰۰۴) و Scrapy (۲۰۰۸) این عمل را دموکراتیزه کردند. پذیرش دانشگاهی در دهه ۲۰۱۰ همراه با ظهور علوم اجتماعی محاسباتی شتاب گرفت و وب اسکرپینگ به یک روش استاندارد گردآوری داده در رشته‌هایی از جمله علوم سیاسی، اقتصاد و مطالعات ارتباطات تبدیل شد.

چه زمانی استفاده شود

وب اسکرپینگ زمانی مناسب است که سؤال پژوهش به داده‌های در مقیاس بزرگ، مُهر زمانی شده، یا به‌روز شده مداوم از منابع آنلاین عمومی که از طریق API رسمی یا مجموعه داده قابل دانلود در دسترس نیستند، نیاز دارد. این روش به ویژه در علوم اجتماعی محاسباتی، مطالعات رسانه‌ای، اقتصاد و بهداشت عمومی برای گردآوری مجموعه‌های مقالات خبری، پست‌های رسانه‌های اجتماعی، نظرات محصولات، آگهی‌های شغلی یا اسناد سیاستی ارزشمند است. زمانی از آن استفاده کنید که جمع‌آوری دستی به طور غیرقابل تحملی کند باشد و داده‌های هدف قابل خواندن توسط ماشین (HTML) باشند. زمانی از وب اسکرپینگ استفاده نکنید که پلتفرم هدف یک API رسمی ارائه می‌دهد که نیازهای داده شما را پوشش می‌دهد — APIها سریع‌تر، پایدارتر و از نظر قانونی واضح‌تر هستند. از آن زمانی اجتناب کنید که شرایط خدمات سایت دسترسی خودکار را ممنوع می‌کند، زمانی که داده‌ها پشت احراز هویتی قرار دارند که بدون رضایت پژوهشی به دست نیامده است، یا زمانی که اطلاعات قابل شناسایی شخصی بدون بررسی اخلاقی مناسب و مبنای قانونی درگیر است.

محدودیت‌ها و ملاحظات

  • قانونی بودن و اخلاقی بودن تضمین شده نیست: شرایط خدمات، قانون کپی رایت و مقررات حفاظت از داده (مانند GDPR) ممکن است اسکرپینگ را محدود یا ممنوع کنند و انطباق باید برای هر سایت هدف ارزیابی شود.
  • اسکرپرها شکننده هستند: بازطراحی وب‌سایت‌ها یا اقدامات ضد ربات می‌تواند منطق استخراج را بدون هشدار از کار بیندازد و نیاز به نگهداری مداوم دارد.
  • کیفیت داده به ثبات سایت منبع بستگی دارد؛ فیلدهای گمشده، خطاهای رمزگذاری و ناهنجاری‌های HTML رایج هستند.
  • سایت‌های سنگین جاوا اسکریپت و محتوای قفل شده با ورود به سیستم، پیچیدگی فنی را به طور قابل توجهی افزایش می‌دهند.
  • برای انواع داده‌هایی که نیاز به رضایت شرکت‌کنندگان دارند یا شامل اطلاعات شخصی حساس بدون تأییدیه اخلاقی صریح هستند، مناسب نیست.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • امکان گردآوری مجموعه داده‌های بسیار بزرگ — میلیون‌ها رکورد — که روش‌های دستی قادر به گردآوری عملی آن‌ها نیستند را فراهم می‌کند.
  • داده‌ها را دقیقاً همانطور که به صورت آنلاین ظاهر می‌شوند، ثبت می‌کند و مُهرهای زمانی، قالب‌بندی و فراداده‌های متنی را حفظ می‌کند.
  • می‌تواند برای جمع‌آوری مداوم داده در طول زمان برنامه‌ریزی شود و از طرح‌های پژوهشی طولی و بی‌درنگ پشتیبانی می‌کند.
  • هزینه حاشیه‌ای نسبتاً پایین به ازای هر رکورد پس از نوشتن و اعتبارسنجی اسکرپر.
  • بسیار انعطاف‌پذیر: قابل اعمال به هر محتوای وب ساختاریافته عمومی، صرف نظر از دامنه یا زبان.

کاربردها

  • گردآوری مجموعه‌های طولی از مقالات خبری یا سخنرانی‌های سیاسی برای تحلیل متنی محاسباتی.
  • پیگیری پویایی قیمت در پلتفرم‌های تجارت الکترونیک برای تحقیقات اقتصادی یا رفتار مصرف‌کننده.
  • نظارت بر پلتفرم‌های رسانه‌های اجتماعی (در جایی که دسترسی به API در دسترس نیست یا محدود است) برای مطالعه گفتمان عمومی، اطلاعات نادرست یا ارتباطات بهداشتی.
  • گردآوری آگهی‌های شغلی در مقیاس برای تجزیه و تحلیل روندهای بازار کار و تقاضای مهارت.
  • تدوین سوابق دولتی یا پارلمانی، متون قانونی و تصمیمات دادگاه برای تحقیقات حقوقی و سیاستی.
  • ساخت مجموعه داده‌های آموزشی و ارزیابی برای مدل‌های پردازش زبان طبیعی و یادگیری ماشین.

چگونه کار می‌کند

چگونه کار می‌کند

1

پژوهشگر هدف داده را تعریف می‌کند: کدام وب‌سایت‌ها یا URLها حاوی اطلاعات مورد نیاز هستند، چه فیلدهای خاصی مورد نیاز است (به عنوان مثال، عنوان مقاله، تاریخ انتشار، نویسنده)، و آیا محتوا HTML ایستا است یا توسط جاوا اسکریپت به صورت پویا بارگذاری می‌شود. این مرحله همچنین شامل بررسی فایل robots.txt سایت و شرایط خدمات برای ارزیابی قانونی و اخلاقی بودن آن است.

2

یک اسکریپت اسکرپینگ (معمولاً به زبان پایتون با استفاده از کتابخانه‌هایی مانند Requests، Scrapy یا Selenium نوشته می‌شود) درخواست‌های HTTP GET را به URLهای هدف ارسال می‌کند و رفتار مرورگر را شبیه‌سازی می‌کند که پاسخ‌های خام HTML یا JSON را از سرور بازیابی می‌کند. برای صفحات رندر شده با جاوا اسکریپت، باید از یک مرورگر بدون رابط کاربری (مانند Playwright یا Selenium) استفاده شود تا صفحه قبل از ثبت محتوا به طور کامل رندر شود.

3

پاسخ خام HTML با استفاده از کتابخانه‌ای مانند BeautifulSoup یا lxml به یک ساختار درختی قابل پیمایش تجزیه می‌شود. تجزیه‌کننده عناصر را بر اساس نام تگ، کلاس‌های CSS یا عبارات XPath شناسایی می‌کند و به اسکریپت اجازه می‌دهد تا گره‌های دقیقی را که داده‌های مورد علاقه را در مدل شیء سند صفحه نگه می‌دارند، پیدا کند.

4

عناصر شناسایی شده پیمایش شده و متن، ویژگی‌ها یا پیوندهای هدف استخراج و به یک فرمت ساختاریافته تبدیل می‌شوند — ردیف‌هایی از فیلدها. برای مجموعه داده‌های چند صفحه‌ای، اسکریپت پیوندهای صفحه‌بندی را دنبال می‌کند یا الگوهای URL را برای تکرار در تمام صفحات مرتبط تولید می‌کند و سهم هر صفحه را در مجموعه داده جمع‌آوری می‌کند.

5

رکورد‌های استخراج شده در یک فرمت ذخیره‌سازی پایدار نوشته می‌شوند: یک فایل CSV یا JSON برای مجموعه داده‌های کوچکتر، یا یک پایگاه داده رابطه‌ای یا سندی (مانند PostgreSQL، MongoDB) برای مجموعه‌های بزرگ یا در حال انجام. فراداده‌هایی مانند منبع URL و مُهر زمانی جمع‌آوری در کنار داده‌ها ثبت می‌شوند تا از تکرارپذیری و ردیابی منشأ پشتیبانی کنند.

6

مجموعه داده مونتاژ شده برای کامل بودن، تکراری بودن، مسائل رمزگذاری و ناهنجاری‌های ساختاری بررسی می‌شود. نمونه‌ای از رکوردهای اسکرپ شده به صورت دستی با صفحات منبع آن‌ها تأیید می‌شود تا اطمینان حاصل شود که منطق استخراج صحیح است. در مواردی که وب‌سایت هدف ساختار خود را به‌روز می‌کند، ممکن است اسکرپر برای بازیابی دقت نیاز به نگهداری داشته باشد.

دام‌های رایج

  • نادیده گرفتن robots.txt و شرایط خدمات — اسکرپ کردن صفحاتی که به صراحت توسط مالک سایت ممنوع شده‌اند، ممکن است منجر به مسدود شدن IP، اقدامات قانونی یا پس گرفتن تحقیقات منتشر شده شود.
  • گردآوری داده‌های شخصی بدون نظارت اخلاقی — اسکرپ کردن پروفایل‌های عمومی که حاوی نام، مکان یا اطلاعات بهداشتی هستند، همچنان در اکثر زمینه‌های پژوهشی نیاز به بررسی هیئت اخلاق موسسه دارد.
  • بارگذاری بیش از حد سرور — ارسال سریع درخواست‌ها می‌تواند به عنوان حمله محروم‌سازی از سرویس تلقی شود؛ همیشه تأخیرهای مودبانه خزیدن را لحاظ کنید و سیگنال‌های محدودیت نرخ را رعایت کنید.
  • فرض کردن اینکه داده‌های اسکرپ شده نماینده هستند — محتوای وب فقط آنچه را که منتشر شده و قابل دسترسی است منعکس می‌کند؛ فیلترینگ الگوریتمی، دیوارهای پرداخت و محدودیت‌های جغرافیایی سوگیری‌های سیستماتیک را معرفی می‌کنند که باید اذعان شوند.
  • نادیده گرفتن منشأ — عدم ثبت URL، تاریخ اسکرپ و نسخه سایت، مجموعه داده‌ها را غیرقابل تکرار و ممیزی دشوار می‌کند.

پرسش‌های متداول

آیا وب اسکرپینگ قانونی است؟

قانونی بودن به حوزه قضایی، داده‌های خاص جمع‌آوری شده و شرایط خدمات سایت هدف بستگی دارد. اسکرپ کردن داده‌های عمومی قابل مشاهده و غیرشخصی در بسیاری از حوزه‌های قضایی به طور کلی قانونی تلقی می‌شود، اما این موضوع جهانی نیست. حکم hiQ v. LinkedIn (ایالات متحده، ۲۰۲۲) برخی حمایت‌ها را برای داده‌های عمومی ارائه می‌دهد، اما GDPR (اتحادیه اروپا) و قوانین معادل آن محدودیت‌های شدیدی را برای داده‌های شخصی اعمال می‌کنند. همیشه robots.txt و شرایط خدمات سایت را بررسی کنید، در موارد حساس با دفتر حقوقی موسسه خود مشورت کنید و در صورت درگیر بودن داده‌های شخصی، تأییدیه هیئت اخلاق را دریافت کنید.

چه زمانی باید به جای اسکرپینگ از API استفاده کنم؟

هر زمان که یک API رسمی نیازهای داده شما را پوشش می‌دهد، از آن استفاده کنید. APIها به طور صریح برای دسترسی برنامه‌ای طراحی شده‌اند، از نظر قانونی واضح هستند، داده‌های ساختاریافته با طرح‌های تعریف شده ارائه می‌دهند و بسیار پایدارتر از اسکرپرهای مبتنی بر HTML هستند. وب اسکرپینگ باید برای مواردی که API مناسبی وجود ندارد یا محدودیت‌های نرخ یا دامنه داده API نیازهای شما را برآورده نمی‌کند، رزرو شود.

چگونه محتوای رندر شده با جاوا اسکریپت را مدیریت کنم؟

کتابخانه‌های درخواست HTTP استاندارد، HTML خام را قبل از اجرای جاوا اسکریپت واکشی می‌کنند، به این معنی که محتوای پویا (رندر شده توسط فریم‌ورک‌هایی مانند React یا Vue) برای آن‌ها نامرئی است. برای چنین سایت‌هایی، از ابزار مرورگر بدون رابط کاربری — Playwright یا Selenium — استفاده کنید که یک موتور مرورگر واقعی را راه‌اندازی می‌کند، منتظر می‌ماند تا صفحه به طور کامل رندر شود و سپس DOM کامل را برای تجزیه در دسترس قرار می‌دهد.

چگونه از تکرارپذیری مجموعه داده اسکرپ شده خود اطمینان حاصل کنم؟

URL کامل، مُهر زمانی دقیق اسکرپ و نسخه اسکرپر را برای هر رکورد ثبت کنید. نمونه‌ای از پاسخ‌های خام HTML را بایگانی کنید. کد اسکرپینگ خود را با کنترل نسخه مدیریت کنید و هرگونه تغییر در منطق استخراج را مستند کنید. اگر سایت منبع ساختار خود را تغییر داد و شما دوباره اسکرپ کردید، آن را به عنوان یک موج جدید گردآوری داده در نظر بگیرید و ناپیوستگی را مستند کنید.

چه مسائل اخلاقی فراتر از انطباق قانونی مطرح می‌شود؟

حتی زمانی که اسکرپینگ از نظر فنی قانونی است، پژوهشگران باید در نظر بگیرند که آیا افراد مورد مطالعه انتظار معقولی دارند که محتوای آن‌ها برای تحقیق استفاده شود، آیا تجمیع پست‌های عمومی می‌تواند افراد را دوباره شناسایی کند، آیا انتشار نقل قول‌های اسکرپ شده می‌تواند به شرکت‌کنندگان آسیب برساند، و آیا بار سرور ناشی از اسکرپینگ هزینه‌هایی را به سایت‌های کوچک یا اداره شده توسط جامعه تحمیل می‌کند. از دستورالعمل‌های اخلاقی ACM یا AoIR برای تحقیقات اینترنتی پیروی کنید.

روش‌های مرتبط

منابع

  1. Mitchell, R. (2018). Web Scraping with Python: Collecting More Data from the Modern Web (2nd ed.). O'Reilly Media.

    شابک: 978-1491985571
    کپی شد.
  2. Web scraping. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.