Skip to content
กลับไปยังผลการค้นหา

การขูดข้อมูลเว็บ — การรวบรวมข้อมูลเว็บโดยอัตโนมัติ

ผู้เสนอ
Early internet practitioners; systematised in research contexts from the late 1990s onward
ปี
Late 1990s–2000s
ประเภท
Automated digital data collection technique
กลุ่มวิธี
Data collection

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การขูดข้อมูลเว็บ (Web scraping) เป็นเทคนิคการรวบรวมข้อมูลเชิงคำนวณที่ซอฟต์แวร์ดึงและแยกเนื้อหาที่มีโครงสร้างหรือกึ่งโครงสร้างจากเว็บไซต์โดยอัตโนมัติ เป็นที่นิยมใช้กันอย่างแพร่หลายในสังคมศาสตร์ ภาษาศาสตร์เชิงคำนวณ เศรษฐศาสตร์ และสารสนเทศศาสตร์ ช่วยให้นักวิจัยสามารถรวบรวมชุดข้อมูลขนาดใหญ่จากแหล่งข้อมูลเว็บที่เข้าถึงได้แบบสาธารณะ เช่น คลังข่าวสาร แพลตฟอร์มโซเชียลมีเดีย พอร์ทัลของรัฐบาล และตลาดออนไลน์ ซึ่งการรวบรวมด้วยตนเองนั้นไม่สามารถทำได้จริง

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการขูดข้อมูลเว็บเหมือนกับการอ่านห้องสมุดที่ไม่เคยปิดและไม่ต้องใช้บรรณารักษ์: สคริปต์จะเข้าเยี่ยมชมหน้าเว็บ อ่าน HTML ของหน้าเว็บนั้น เลือกส่วนที่คุณต้องการ เช่น ราคา ชื่อบทความ เวลาโพสต์ รีวิวจากผู้ใช้ และบันทึกลงในสเปรดชีตหรือฐานข้อมูล กระบวนการนี้เลียนแบบสิ่งที่นักวิจัยที่เป็นมนุษย์ทำเมื่อคัดลอกข้อมูลจากหน้าเว็บ แต่ในระดับหลายพันถึงหลายล้านรายการต่อการทำงานหนึ่งครั้ง ข้อคิดสำคัญคือเนื้อหาส่วนใหญ่บนเว็บถูกจัดโครงสร้างด้วยแท็ก HTML และคลาส CSS ซึ่งทำหน้าที่เป็นจุดยึดที่เชื่อถือได้สำหรับการดึงข้อมูลโดยอัตโนมัติ

ประวัติศาสตร์

การดึงเนื้อหาเว็บโดยอัตโนมัติมีมาตั้งแต่ช่วงต้นทศวรรษ 1990 พร้อมกับเว็บครอว์เลอร์ตัวแรกที่ใช้สร้างดัชนีของเครื่องมือค้นหา (เช่น World Wide Web Wanderer, 1993) คำว่า 'web scraping' ปรากฏในช่วงปลายทศวรรษ 1990 เมื่อนักวิจัยและผู้ปฏิบัติงานเริ่มแยกข้อมูลที่มีโครงสร้างเพื่อวัตถุประสงค์นอกเหนือจากการทำดัชนี ไลบรารี Python เช่น BeautifulSoup (2004) และ Scrapy (2008) ทำให้การปฏิบัตินี้เป็นที่แพร่หลาย การยอมรับในวงการวิชาการเร่งตัวขึ้นในช่วงทศวรรษ 2010 ควบคู่ไปกับการเติบโตของสังคมศาสตร์เชิงคำนวณ โดยการขูดข้อมูลเว็บกลายเป็นวิธีการรวบรวมข้อมูลมาตรฐานในสาขาวิชาต่างๆ รวมถึงรัฐศาสตร์ เศรษฐศาสตร์ และวารสารศาสตร์

ควรใช้เมื่อใด

การขูดข้อมูลเว็บมีความเหมาะสมเมื่อคำถามวิจัยต้องการข้อมูลขนาดใหญ่ ข้อมูลที่มีการประทับเวลา หรือข้อมูลที่อัปเดตอย่างต่อเนื่องจากแหล่งข้อมูลออนไลน์ที่เข้าถึงได้แบบสาธารณะซึ่งไม่มีให้ผ่าน API อย่างเป็นทางการหรือชุดข้อมูลที่ดาวน์โหลดได้ มีคุณค่าอย่างยิ่งในสาขาสังคมศาสตร์เชิงคำนวณ การศึกษาเกี่ยวกับสื่อ เศรษฐศาสตร์ และสาธารณสุข สำหรับการรวบรวมคลังบทความข่าว โพสต์โซเชียลมีเดีย รีวิวผลิตภัณฑ์ รายการงาน หรือเอกสารนโยบาย ใช้เมื่อการรวบรวมด้วยตนเองจะช้าเกินไปและเมื่อข้อมูลเป้าหมายเป็น HTML ที่เครื่องอ่านได้ อย่าใช้การขูดข้อมูลเว็บเมื่อแพลตฟอร์มเป้าหมายมี API อย่างเป็นทางการที่ครอบคลุมความต้องการข้อมูลของคุณ — API เร็วกว่า เสถียรกว่า และชัดเจนกว่าในทางกฎหมาย หลีกเลี่ยงเมื่อข้อกำหนดในการให้บริการของเว็บไซต์ห้ามการเข้าถึงโดยอัตโนมัติ เมื่อข้อมูลอยู่เบื้องหลังการรับรองความถูกต้องที่ไม่ได้ได้รับความยินยอมในการวิจัย หรือเมื่อข้อมูลที่สามารถระบุตัวบุคคลได้เกี่ยวข้องโดยไม่มีการตรวจสอบจริยธรรมที่เหมาะสมและพื้นฐานทางกฎหมาย

ข้อจำกัดและข้อควรพิจารณา

  • ไม่รับประกันความเป็นไปได้ทางกฎหมายและจริยธรรม: ข้อกำหนดในการให้บริการ กฎหมายลิขสิทธิ์ และกฎระเบียบการคุ้มครองข้อมูล (เช่น GDPR) อาจจำกัดหรือห้ามการขูดข้อมูล และต้องประเมินการปฏิบัติตามกฎสำหรับแต่ละเว็บไซต์เป้าหมาย
  • สคริปต์การขูดข้อมูลมีความเปราะบาง: การออกแบบเว็บไซต์ใหม่หรือมาตรการป้องกันบอทสามารถทำให้ตรรกะการดึงข้อมูลเสียหายได้โดยไม่มีการเตือนล่วงหน้า ต้องมีการบำรุงรักษาอย่างต่อเนื่อง
  • คุณภาพของข้อมูลขึ้นอยู่กับความสอดคล้องของเว็บไซต์ต้นทาง: ฟิลด์ที่ขาดหายไป ข้อผิดพลาดในการเข้ารหัส และความผิดปกติของ HTML เป็นเรื่องปกติ
  • เว็บไซต์ที่ใช้ JavaScript จำนวนมากและเนื้อหาที่ต้องเข้าสู่ระบบจะเพิ่มความซับซ้อนทางเทคนิคอย่างมาก
  • ไม่เหมาะสมสำหรับข้อมูลประเภทที่ต้องได้รับความยินยอมจากผู้เข้าร่วม หรือเกี่ยวข้องกับข้อมูลส่วนบุคคลที่ละเอียดอ่อนโดยไม่มีการอนุมัติทางจริยธรรมที่ชัดเจน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ช่วยให้สามารถรวบรวมชุดข้อมูลขนาดใหญ่มาก — หลายล้านรายการ — ซึ่งวิธีการด้วยตนเองไม่สามารถทำได้จริง
  • จับข้อมูลตามที่ปรากฏบนอินเทอร์เน็ตอย่างแม่นยำ รักษาการประทับเวลา การจัดรูปแบบ และข้อมูลเมตาตามบริบท
  • สามารถตั้งเวลาเพื่อรวบรวมข้อมูลอย่างต่อเนื่องเมื่อเวลาผ่านไป สนับสนุนการออกแบบการวิจัยตามระยะเวลาและการวิจัยแบบเรียลไทม์
  • ต้นทุนส่วนเพิ่มต่อรายการค่อนข้างต่ำเมื่อสคริปต์การขูดข้อมูลถูกเขียนและตรวจสอบแล้ว
  • มีความยืดหยุ่นสูง: สามารถนำไปใช้กับเนื้อหาเว็บที่มีโครงสร้างที่เข้าถึงได้แบบสาธารณะใดๆ โดยไม่คำนึงถึงโดเมนหรือภาษา

การประยุกต์ใช้

  • การรวบรวมคลังข่าวสารหรือสุนทรพจน์ทางการเมืองตามระยะเวลาสำหรับการวิเคราะห์ข้อความเชิงคำนวณ
  • การติดตามพลวัตราคาบนแพลตฟอร์มอีคอมเมิร์ซสำหรับการวิจัยทางเศรษฐศาสตร์หรือพฤติกรรมผู้บริโภค
  • การตรวจสอบแพลตฟอร์มโซเชียลมีเดีย (ที่การเข้าถึง API ไม่พร้อมใช้งานหรือมีข้อจำกัด) เพื่อศึกษาการสนทนาสาธารณะ ข้อมูลที่บิดเบือน หรือการสื่อสารด้านสุขภาพ
  • การรวบรวมประกาศรับสมัครงานในวงกว้างเพื่อวิเคราะห์แนวโน้มตลาดแรงงานและความต้องการทักษะ
  • การรวบรวมบันทึกของรัฐบาลหรือรัฐสภา เอกสารกฎหมาย และคำตัดสินของศาลสำหรับการวิจัยทางกฎหมายและนโยบาย
  • การสร้างชุดข้อมูลสำหรับการฝึกอบรมและการประเมินผลสำหรับแบบจำลองการประมวลผลภาษาธรรมชาติและแมชชีนเลิร์นนิง

วิธีการทำงาน

วิธีการทำงาน

1

นักวิจัยกำหนดเป้าหมายข้อมูล: เว็บไซต์หรือ URL ใดที่มีข้อมูลที่ต้องการ ฟิลด์เฉพาะที่ต้องการ (เช่น หัวข้อข่าว วันที่เผยแพร่ ผู้เขียน) และเนื้อหานั้นเป็น HTML แบบคงที่หรือถูกโหลดแบบไดนามิกโดย JavaScript ขั้นตอนนี้ยังเกี่ยวข้องกับการตรวจสอบไฟล์ robots.txt และข้อกำหนดในการให้บริการของเว็บไซต์เพื่อประเมินความเป็นไปได้ทางกฎหมายและจริยธรรม

2

สคริปต์การขูดข้อมูล (โดยทั่วไปเขียนด้วยภาษา Python โดยใช้ไลบรารี เช่น Requests, Scrapy หรือ Selenium) จะส่งคำขอ HTTP GET ไปยัง URL เป้าหมาย จำลองพฤติกรรมของเบราว์เซอร์ที่ดึงข้อมูล HTML ดิบหรือการตอบสนอง JSON จากเซิร์ฟเวอร์ สำหรับหน้าเว็บที่แสดงผลด้วย JavaScript จำเป็นต้องใช้เบราว์เซอร์แบบไร้ส่วนหัว (headless browser) (เช่น Playwright หรือ Selenium) เพื่อให้หน้าเว็บแสดงผลได้อย่างสมบูรณ์ก่อนที่จะจับเนื้อหา

3

การตอบสนอง HTML ดิบจะถูกแยกวิเคราะห์เป็นโครงสร้างแบบต้นไม้ที่สามารถนำทางได้โดยใช้ไลบรารี เช่น BeautifulSoup หรือ lxml ตัวแยกวิเคราะห์จะระบุองค์ประกอบตามชื่อแท็ก คลาส CSS หรือนิพจน์ XPath ทำให้สคริปต์สามารถระบุโหนดที่แน่นอนซึ่งมีข้อมูลที่สนใจภายใน Document Object Model ของหน้าเว็บ

4

องค์ประกอบที่ระบุจะถูกสำรวจและข้อความ แอตทริบิวต์ หรือลิงก์เป้าหมายจะถูกดึงออกมาและแปลงเป็นรูปแบบที่มีโครงสร้าง — แถวของฟิลด์ สำหรับชุดข้อมูลหลายหน้า สคริปต์จะติดตามลิงก์การแบ่งหน้า (pagination) หรือสร้างรูปแบบ URL เพื่อวนซ้ำผ่านทุกหน้าที่เกี่ยวข้อง รวบรวมส่วนร่วมของแต่ละหน้าในชุดข้อมูล

5

รายการที่ดึงออกมาจะถูกเขียนลงในรูปแบบการจัดเก็บถาวร: ไฟล์ CSV หรือ JSON สำหรับชุดข้อมูลขนาดเล็ก หรือฐานข้อมูลเชิงสัมพันธ์หรือฐานข้อมูลเอกสาร (เช่น PostgreSQL, MongoDB) สำหรับคอลเลกชันขนาดใหญ่หรือต่อเนื่อง ข้อมูลเมตา เช่น แหล่งที่มาของ URL และเวลาที่รวบรวมจะถูกบันทึกควบคู่ไปกับข้อมูลเพื่อสนับสนุนความสามารถในการทำซ้ำและการติดตามแหล่งที่มา

6

ชุดข้อมูลที่รวบรวมได้จะถูกตรวจสอบความสมบูรณ์ ความซ้ำซ้อน ปัญหาการเข้ารหัส และความผิดปกติของโครงสร้าง ตัวอย่างรายการที่ขูดข้อมูลจะได้รับการตรวจสอบด้วยตนเองเทียบกับหน้าต้นฉบับเพื่อยืนยันว่าตรรกะการดึงข้อมูลถูกต้อง ในกรณีที่เว็บไซต์เป้าหมายอัปเดตโครงสร้าง อาจจำเป็นต้องบำรุงรักษาสคริปต์การขูดข้อมูลเพื่อคืนค่าความถูกต้อง

ข้อผิดพลาดที่พบบ่อย

  • การละเลย robots.txt และข้อกำหนดในการให้บริการ — การขูดข้อมูลหน้าเว็บที่ถูกปฏิเสธอย่างชัดเจนโดยเจ้าของเว็บไซต์อาจส่งผลให้ถูกบล็อก IP ถูกดำเนินการทางกฎหมาย หรือการเพิกถอนการวิจัยที่เผยแพร่
  • การรวบรวมข้อมูลส่วนบุคคลโดยไม่มีการกำกับดูแลด้านจริยธรรม — การขูดข้อมูลโปรไฟล์สาธารณะที่มีชื่อ ที่อยู่ หรือข้อมูลสุขภาพ ยังคงต้องได้รับการตรวจสอบจากคณะกรรมการจริยธรรมของสถาบันในบริบทการวิจัยส่วนใหญ่
  • การทำให้เซิร์ฟเวอร์ทำงานหนักเกินไป — การส่งคำขอเร็วเกินไปอาจถือเป็นการโจมตีแบบปฏิเสธการให้บริการ (denial-of-service attack); ควรใส่ความล่าช้าในการเข้าถึงอย่างสุภาพเสมอและเคารพสัญญาณจำกัดอัตรา
  • การสันนิษฐานว่าข้อมูลที่ขูดได้เป็นตัวแทน — เนื้อหาเว็บสะท้อนเฉพาะสิ่งที่เผยแพร่และเข้าถึงได้เท่านั้น การกรองด้วยอัลกอริทึม กำแพงการจ่ายเงิน และข้อจำกัดทางภูมิศาสตร์ทำให้เกิดอคติที่เป็นระบบซึ่งต้องได้รับการยอมรับ
  • การละเลยแหล่งที่มา — การไม่บันทึก URL วันที่ขูด และเวอร์ชันของเว็บไซต์ ทำให้ชุดข้อมูลไม่สามารถทำซ้ำได้และตรวจสอบได้ยาก

คำถามที่พบบ่อย

การขูดข้อมูลเว็บถูกกฎหมายหรือไม่?

ความเป็นไปได้ทางกฎหมายขึ้นอยู่กับเขตอำนาจศาล ข้อมูลเฉพาะที่รวบรวม และข้อกำหนดในการให้บริการของเว็บไซต์เป้าหมาย การขูดข้อมูลที่มองเห็นได้แบบสาธารณะและไม่ใช่ข้อมูลส่วนบุคคล โดยทั่วไปถือว่าถูกกฎหมายในหลายเขตอำนาจศาล แต่ก็ไม่เป็นสากล คำตัดสิน hiQ v. LinkedIn (สหรัฐอเมริกา, 2022) ให้การคุ้มครองข้อมูลสาธารณะบางส่วน แต่ GDPR (สหภาพยุโรป) และกฎหมายที่เทียบเท่ามีข้อจำกัดที่เข้มงวดเกี่ยวกับข้อมูลส่วนบุคคล ควรตรวจสอบ robots.txt และข้อกำหนดในการให้บริการของเว็บไซต์เสมอ ปรึกษาสำนักงานกฎหมายของสถาบันของคุณสำหรับกรณีที่ละเอียดอ่อน และขออนุมัติจากคณะกรรมการจริยธรรมเมื่อเกี่ยวข้องกับข้อมูลส่วนบุคคล

เมื่อใดที่ฉันควรใช้ API แทนการขูดข้อมูล?

เมื่อใดก็ตามที่ API อย่างเป็นทางการครอบคลุมความต้องการข้อมูลของคุณ ให้ใช้ API API ได้รับการออกแบบมาโดยเฉพาะสำหรับการเข้าถึงแบบโปรแกรม มีความชัดเจนทางกฎหมาย นำเสนอข้อมูลที่มีโครงสร้างพร้อมสคีมาที่กำหนดไว้ และมีความเสถียรกว่าสคริปต์การขูดข้อมูลที่ใช้ HTML มาก การขูดข้อมูลเว็บควรกระทำในกรณีที่ไม่มี API ที่เพียงพอ หรือเมื่อข้อจำกัดอัตรา (rate limits) หรือขอบเขตข้อมูลของ API ไม่ตรงตามข้อกำหนดการวิจัย

ฉันจะจัดการกับเนื้อหาที่แสดงผลด้วย JavaScript ได้อย่างไร?

ไลบรารีคำขอ HTTP มาตรฐานจะดึง HTML ดิบก่อนที่ JavaScript จะทำงาน ซึ่งหมายความว่าเนื้อหาที่โหลดแบบไดนามิก (แสดงผลโดยเฟรมเวิร์ก เช่น React หรือ Vue) จะมองไม่เห็นสำหรับไลบรารีเหล่านั้น สำหรับเว็บไซต์ดังกล่าว ให้ใช้เครื่องมือเบราว์เซอร์แบบไร้ส่วนหัว — Playwright หรือ Selenium — ซึ่งจะเปิดเครื่องมือเบราว์เซอร์จริง รอให้หน้าเว็บแสดงผลได้อย่างสมบูรณ์ จากนั้นจึงเปิดเผย DOM ที่สมบูรณ์สำหรับการแยกวิเคราะห์

ฉันจะแน่ใจได้อย่างไรว่าชุดข้อมูลที่ขูดได้ของฉันสามารถทำซ้ำได้?

บันทึก URL แบบเต็ม การประทับเวลาการขูดที่แน่นอน และเวอร์ชันของสคริปต์สำหรับแต่ละรายการ เก็บตัวอย่างการตอบสนอง HTML ดิบ จัดการเวอร์ชันของโค้ดการขูดข้อมูลของคุณ และจัดทำเอกสารการเปลี่ยนแปลงใดๆ ในตรรกะการดึงข้อมูล หากโครงสร้างเว็บไซต์ต้นทางเปลี่ยนแปลงและคุณขูดข้อมูลใหม่ ให้ปฏิบัติต่อเหมือนเป็นรอบการรวบรวมข้อมูลใหม่และจัดทำเอกสารความไม่ต่อเนื่อง

มีประเด็นทางจริยธรรมอะไรบ้างนอกเหนือจากการปฏิบัติตามกฎหมาย?

แม้ว่าการขูดข้อมูลจะถูกกฎหมายในทางเทคนิค แต่นักวิจัยควรพิจารณาว่าเจ้าของข้อมูลมีความคาดหวังตามสมควรหรือไม่ว่าเนื้อหาของตนจะถูกนำไปใช้เพื่อการวิจัยหรือไม่ การรวมโพสต์สาธารณะอาจระบุตัวบุคคลใหม่ได้หรือไม่ การเผยแพร่คำพูดที่ขูดได้อาจเป็นอันตรายต่อผู้เข้าร่วมหรือไม่ และภาระงานของเซิร์ฟเวอร์จากการขูดข้อมูลก่อให้เกิดต้นทุนต่อเว็บไซต์ขนาดเล็กหรือที่ดำเนินการโดยชุมชนหรือไม่ ปฏิบัติตามแนวทางจริยธรรม ACM หรือ AoIR สำหรับการวิจัยอินเทอร์เน็ต

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Mitchell, R. (2018). Web Scraping with Python: Collecting More Data from the Modern Web (2nd ed.). O'Reilly Media.

    ISBN: 978-1491985571
    คัดลอกแล้ว
  2. Web scraping. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว