Skip to content
กลับไปยังผลการค้นหา

การเก็บรวบรวมข้อมูลด้วย API — การดึงข้อมูลวิจัยด้วยโปรแกรม

ผู้เสนอ
Emerged from computational social science and web 2.0 platform practices
ปี
2000s–2010s (formalized as a research method)
ประเภท
Digital data collection technique
กลุ่มวิธี
Data collection

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเก็บรวบรวมข้อมูลด้วย API (Application Programming Interface) เป็นเทคนิคที่เป็นระบบซึ่งนักวิจัยส่งคำขอที่มีโครงสร้างไปยัง API เพื่อดึงข้อมูลโดยอัตโนมัติจากแพลตฟอร์มดิจิทัล ฐานข้อมูล หรือบริการต่างๆ เป็นวิธีการหลักที่ใช้ในสังคมศาสตร์เชิงคำนวณเพื่อรวบรวมบันทึกโซเชียลมีเดียขนาดใหญ่ ข้อมูลเปิดของรัฐบาล กระแสข้อมูลทางการเงิน และเนื้อหาในคลังข้อมูลทางวิทยาศาสตร์ในรูปแบบที่เครื่องอ่านได้ เช่น JSON หรือ XML ซึ่งช่วยให้สามารถได้มาซึ่งข้อมูลที่ทำซ้ำได้และปรับขนาดได้ ซึ่งการเก็บรวบรวมด้วยตนเองไม่สามารถทำได้

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพ API เป็นเคาน์เตอร์ที่เป็นทางการในห้องสมุดข้อมูล: แทนที่จะเรียกดูชั้นวางด้วยตัวเอง (เช่นเดียวกับการทำ web scraping) คุณส่งแบบฟอร์มคำขอที่เป็นมาตรฐาน และเคาน์เตอร์จะส่งคืนบันทึกที่คุณขอมาอย่างถูกต้องในรูปแบบที่เป็นระเบียบและมีโครงสร้าง นักวิจัยเขียนสคริปต์ที่ส่งคำขอหลายพันรายการโดยอัตโนมัติ ซึ่งรวบรวมข้อมูลได้มากกว่าวิธีการด้วยตนเองใดๆ เนื่องจากข้อมูลมาในรูปแบบที่มีโครงสร้างล่วงหน้าจากแหล่งที่มา การแยกวิเคราะห์และการทำความสะอาดจึงง่ายกว่าการใช้ HTML ที่ถูก scrape ข้อจำกัดที่สำคัญคือคุณสามารถขอได้เฉพาะสิ่งที่ API อนุญาตเท่านั้น — แพลตฟอร์มจะตัดสินใจว่าฟิลด์ข้อมูลใดที่สามารถเข้าถึงได้ ในอัตราใด และภายใต้เงื่อนไขใด

ประวัติศาสตร์

การเก็บรวบรวมข้อมูลด้วย API กลายเป็นวิธีการวิจัยควบคู่ไปกับการเพิ่มขึ้นของแพลตฟอร์มเว็บ 2.0 ในช่วงกลางทศวรรษ 2000 เมื่อ Twitter, Facebook และอื่นๆ เริ่มเปิดเผยข้อมูลที่มีโครงสร้างผ่าน API สาธารณะ นักวิชาการในสังคมศาสตร์เชิงคำนวณตระหนักถึงศักยภาพสำหรับการวิจัยพฤติกรรมขนาดใหญ่อย่างรวดเร็ว หนังสือ Bit by Bit: Social Research in the Digital Age ของ Matthew Salganik ในปี 2018 ได้ประมวลผลการเก็บรวบรวมข้อมูลด้วยโปรแกรม — รวมถึงการเข้าถึง API — เป็นประเภทที่ถูกต้องและแตกต่างของการออกแบบการวิจัยทางสังคม นโยบายการเข้าถึง API ของแพลตฟอร์มมีการเปลี่ยนแปลงอย่างมีนัยสำคัญตั้งแต่นั้นมา กระตุ้นให้เกิดการถกเถียงทางระเบียบวิธีอย่างต่อเนื่องเกี่ยวกับความพร้อมใช้งานของข้อมูล การเป็นตัวแทน และการทำซ้ำ

ควรใช้เมื่อใด

ใช้การเก็บรวบรวมข้อมูลด้วย API เมื่อคำถามวิจัยต้องการข้อมูลดิจิทัลที่มีโครงสร้างขนาดใหญ่จากแพลตฟอร์มหรือฐานข้อมูลที่เสนอการเข้าถึงด้วยโปรแกรม — พฤติกรรมโซเชียลมีเดีย เมตาดาต้าสิ่งพิมพ์ อนุกรมเวลาทางการเงิน บันทึกเชิงพื้นที่ หรือการเผยแพร่สถิติของรัฐบาล เหมาะอย่างยิ่งสำหรับสถานการณ์การเก็บรวบรวมข้อมูลแบบอนุกรมและแบบเรียลไทม์ และสำหรับการศึกษาที่การทำซ้ำได้และระบบอัตโนมัติเป็นสิ่งสำคัญ อย่าใช้เมื่อแพลตฟอร์มเป้าหมายไม่มี API หรือบล็อกการเข้าถึงด้วยโปรแกรมอย่างแข็งขัน (web scraping อาจเป็นทางเลือกหนึ่ง โดยมีข้อควรระวังของตัวเอง) เมื่อข้อกำหนดในการให้บริการห้ามการใช้งานข้อมูลที่ดึงมาเพื่อการวิจัย หรือเมื่อคำถามวิจัยได้รับการแก้ไขได้ดีกว่าด้วยข้อมูลที่ผู้เข้าร่วมรายงานโดยตรง (การสัมภาษณ์ การสำรวจ) มากกว่าร่องรอยพฤติกรรม

ข้อจำกัดและข้อควรพิจารณา

  • การเข้าถึงถูกจำกัดโดยแพลตฟอร์ม: ฟิลด์ข้อมูล ความลึกของข้อมูลย้อนหลัง และปริมาณการสืบค้นถูกกำหนดโดยผู้ให้บริการ API ไม่ใช่นักวิจัย
  • ข้อจำกัดอัตราจำกัดความเร็วในการรวบรวม ข้อมูลชุดเต็มอาจใช้เวลาหลายวันหรือหลายสัปดาห์ในการดึงข้อมูล
  • API เปลี่ยนแปลงหรือเลิกใช้ปลายทาง บางครั้งมีการแจ้งเตือนเพียงเล็กน้อย ซึ่งคุกคามความต่อเนื่องของการศึกษาแบบอนุกรม
  • ต้องใช้ทักษะการเขียนโปรแกรม (Python, R หรือคล้ายกัน) และความคุ้นเคยกับโปรโตคอล HTTP และรูปแบบข้อมูล
  • ความครอบคลุมของข้อมูลอาจไม่เป็นตัวแทน: ตัวอย่าง API มักจะสะท้อนผู้ใช้ที่ใช้งานแพลตฟอร์ม ไม่ใช่ประชากรทั่วไป

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ช่วยให้สามารถรวบรวมข้อมูลปริมาณมาก (บันทึกนับล้าน) ที่วิธีการด้วยตนเองไม่สามารถทำซ้ำได้
  • ส่งคืนข้อมูลที่มีโครงสร้างล่วงหน้า (JSON, XML) ลดความซับซ้อนในการแยกวิเคราะห์ที่เกี่ยวข้องกับการทำ web scraping
  • สนับสนุนการทำซ้ำได้: สคริปต์การสืบค้นที่จัดทำเป็นเอกสารสามารถเรียกใช้ซ้ำหรือแบ่งปันกับนักวิจัยคนอื่นๆ ได้
  • อนุญาตให้มีกระแสข้อมูลแบบเรียลไทม์หรือใกล้เคียงเรียลไทม์สำหรับคำถามวิจัยที่อ่อนไหวต่อเวลา
  • โดยทั่วไปเป็นไปตามข้อกำหนดในการให้บริการของแพลตฟอร์มเมื่อใช้ผ่านช่องทาง API อย่างเป็นทางการ

การประยุกต์ใช้

  • การรวบรวมโพสต์โซเชียลมีเดียและเมตริกการมีส่วนร่วมเพื่อศึกษาพลวัตของความคิดเห็น การแพร่กระจายของข้อมูลที่ผิด หรือการสื่อสารทางการเมือง
  • การดึงเมตาดาต้าสิ่งพิมพ์จาก PubMed, CrossRef หรือ OpenAlex สำหรับการศึกษาบรรณานุกรมหรือการทบทวนอย่างเป็นระบบ
  • การเข้าถึง API ข้อมูลเปิดของรัฐบาลสำหรับตัวชี้วัดทางเศรษฐกิจ สถิติสาธารณสุข หรือการวัดสิ่งแวดล้อม
  • การเก็บเกี่ยวข้อมูลอนุกรมเวลาทางการเงินจาก API ของโบรกเกอร์หรือธนาคารกลางสำหรับการวิจัยทางเศรษฐกิจ
  • การรวบรวมข้อมูลตำแหน่งทางภูมิศาสตร์หรือการเคลื่อนที่จาก API ของแพลตฟอร์มแผนที่สำหรับการศึกษาเมืองหรือระบาดวิทยา
  • การดาวน์โหลดข้อมูลทางวิทยาศาสตร์จาก API ของคลังข้อมูล (เช่น NASA Earthdata, Copernicus) สำหรับวิทยาศาสตร์สิ่งแวดล้อม

วิธีการทำงาน

วิธีการทำงาน

1

นักวิจัยระบุ API ที่เหมาะสมซึ่งให้การเข้าถึงข้อมูลที่เกี่ยวข้องกับคำถามวิจัย — ตัวอย่างเช่น Twitter/X Academic Research API สำหรับโพสต์โซเชียลมีเดีย, PubMed E-utilities API สำหรับวรรณกรรมชีวการแพทย์ หรือ API ข้อมูลเปิดของหน่วยงานสถิติแห่งชาติ เอกสารประกอบของ API จะถูกตรวจสอบเพื่อทำความเข้าใจปลายทางที่มีอยู่ ฟิลด์ข้อมูล พารามิเตอร์การสืบค้น และข้อจำกัดอัตรา

2

ข้อมูลประจำตัวการเข้าถึงจะได้รับจากแพลตฟอร์ม — โดยทั่วไปคือ API key, OAuth token หรือ client ID และ secret — และฝังไว้อย่างปลอดภัยในสคริปต์การเก็บรวบรวมข้อมูล ขอบเขตการตรวจสอบสิทธิ์ต้องเหมาะสมกับการใช้งานข้อมูลที่ตั้งใจไว้ ปลายทางบางแห่งต้องใช้ระดับการเข้าถึงที่สูงขึ้นหรือความเกี่ยวข้องกับสถาบัน

3

นักวิจัยสร้างพารามิเตอร์การสืบค้น — คำค้นหา ช่วงวันที่ ตัวกรองทางภูมิศาสตร์ รหัสวัตถุ — และส่งคำขอ HTTP (โดยทั่วไปคือ GET หรือ POST) ไปยังปลายทาง API การสืบค้นจะถูกปรับปรุงซ้ำๆ เพื่อเพิ่มการเรียกคืนสูงสุดในขณะที่ยังคงอยู่ภายในข้อจำกัดอัตรา และมีการใช้ตรรกะการแบ่งหน้าเพื่อรวบรวมผลลัพธ์ที่ครอบคลุมหลายหน้าการตอบกลับ

4

การตอบกลับ API แต่ละรายการ (โดยปกติคือ JSON หรือ XML) จะถูกแยกวิเคราะห์ด้วยโปรแกรมเพื่อดึงฟิลด์ที่สนใจ นักวิจัยใช้การกรอง การลบข้อมูลซ้ำ และการทำความสะอาดเบื้องต้นในขั้นตอนนี้เพื่อให้แน่ใจว่ามีเพียงบันทึกที่ตรงตามเกณฑ์การรวมเท่านั้นที่ถูกเก็บไว้ ข้อผิดพลาดในการแยกวิเคราะห์และฟิลด์ว่างที่ไม่คาดคิดจะถูกบันทึกไว้เพื่อตรวจสอบในภายหลัง

5

บันทึกที่รวบรวมจะถูกเขียนลงในรูปแบบการจัดเก็บถาวร — ฐานข้อมูลเชิงสัมพันธ์ ไฟล์ CSV/JSONL แบบแบน หรือที่เก็บข้อมูลบนคลาวด์ การตรวจสอบความถูกต้องยืนยันว่าจำนวนบันทึกตรงกับปริมาณการสืบค้นที่คาดไว้ ฟิลด์หลักไม่เป็นค่าว่าง และไม่มีช่องว่างที่เป็นระบบ เมตาดาต้าที่บันทึกวันที่รวบรวม พารามิเตอร์การสืบค้น เวอร์ชัน API และข้อจำกัดความครอบคลุมที่ทราบจะถูกบันทึกไว้พร้อมกับข้อมูล

ข้อผิดพลาดที่พบบ่อย

  • การละเลยข้อกำหนดในการให้บริการ — บางแพลตฟอร์มห้ามการจัดเก็บ การแจกจ่ายซ้ำ หรือการใช้งานข้อมูลที่ดึงมาเพื่อการวิจัยบางประเภท การละเมิดอาจส่งผลให้ถูกเพิกถอนการเข้าถึงหรือความเสี่ยงทางกฎหมาย
  • การไม่จัดทำเอกสารเวอร์ชัน API และพารามิเตอร์การสืบค้น — หากไม่มีเมตาดาต้านี้ ชุดข้อมูลจะไม่สามารถสร้างใหม่หรือประเมินข้อจำกัดความครอบคลุมได้
  • การถือว่าข้อมูล API เป็นการสำรวจสำมะโนประชากร — API มักจะส่งคืนชุดย่อยที่ถูกกรองหรือสุ่มตัวอย่าง การศึกษาต้องคำนึงถึงอคติในการเลือกที่เกิดจากอัลกอริทึมของแพลตฟอร์มเอง
  • การละเลยการปฏิบัติตามข้อจำกัดอัตรา — การสืบค้นที่รุนแรงเกินข้อจำกัดอัตราอาจส่งผลให้ถูกระงับการเข้าถึง API ชั่วคราวหรือถาวร
  • การมองข้ามรูปแบบข้อมูลที่ขาดหายไป — ฟิลด์ที่ปรากฏใน schema อาจเป็นค่าว่างอย่างเป็นระบบสำหรับประเภทบันทึกบางประเภท ทำให้เกิดช่องว่างที่ซ่อนอยู่

คำถามที่พบบ่อย

การเก็บรวบรวมข้อมูลด้วย API แตกต่างจากการทำ web scraping อย่างไร?

การเก็บรวบรวมด้วย API ใช้ส่วนต่อประสานโปรแกรมที่จัดหาให้อย่างเป็นทางการซึ่งส่งคืนข้อมูลที่มีโครงสร้าง — แพลตฟอร์มสนับสนุนโหมดการเข้าถึงนี้อย่างชัดเจนและระบุเงื่อนไข การทำ web scraping ดึงข้อมูลโดยการแยกวิเคราะห์ HTML ดิบโดยไม่มีช่องทางข้อมูลอย่างเป็นทางการ มักจะขัดต่อข้อกำหนดในการให้บริการ และให้ข้อมูลที่ไม่เป็นระเบียบซึ่งต้องมีการทำความสะอาดมากขึ้น เมื่อมี API อยู่ โดยทั่วไปแล้วจะเป็นแนวทางที่ต้องการและปลอดภัยกว่า

ฉันจำเป็นต้องมีทักษะการเขียนโปรแกรมเพื่อใช้ API หรือไม่?

ในกรณีส่วนใหญ่ ใช่ การสร้างคำขอ HTTP การจัดการการตรวจสอบสิทธิ์ การแยกวิเคราะห์การตอบกลับ JSON/XML และการจัดการการแบ่งหน้าโดยทั่วไปต้องใช้การเขียนสคริปต์ใน Python, R หรือภาษาที่คล้ายกัน แพลตฟอร์มบางแห่งมีส่วนต่อประสานกราฟิกสำหรับคำขอที่จำกัด แต่สำหรับการเก็บรวบรวมระดับการวิจัย วิธีการที่ใช้สคริปต์เกือบจะจำเป็นเสมอ

ข้อมูลที่รวบรวมด้วย API เป็นตัวแทนของประชากรในวงกว้างหรือไม่?

ไม่โดยอัตโนมัติ ข้อมูล API สะท้อนผู้ใช้และกิจกรรมที่มีอยู่ในแพลตฟอร์ม ซึ่งขึ้นอยู่กับการเลือกด้วยตนเอง อัลกอริทึมของแพลตฟอร์มอาจกรองสิ่งที่ปรากฏในการตอบกลับ API เพิ่มเติม นักวิจัยควรกำหนดกรอบการสุ่มตัวอย่างให้ชัดเจนและหลีกเลี่ยงการสรุปผลเกินจริงไปยังประชากรนอกเหนือจากผู้ใช้แพลตฟอร์ม

ฉันควรจะอ้างอิงหรือจัดเก็บชุดข้อมูลที่รวบรวมด้วย API อย่างไร?

บันทึกชื่อและเวอร์ชัน API, URL ปลายทาง, พารามิเตอร์การสืบค้น, ช่วงวันที่รวบรวม และการกรองหลังการรวบรวมใดๆ ในส่วนวิธีการของคุณ หากข้อมูลสามารถแบ่งปันได้อย่างถูกกฎหมาย ให้ฝากไว้ในคลังข้อมูลสาธารณะ (เช่น OSF, Zenodo) พร้อมกับสคริปต์การรวบรวม หากข้อกำหนดในการให้บริการห้ามการแจกจ่ายซ้ำ ให้แบ่งปันเฉพาะสคริปต์การรวบรวมและพารามิเตอร์เพื่อให้ผู้อื่นสามารถสร้างชุดข้อมูลซ้ำได้

จะเกิดอะไรขึ้นหาก API เปลี่ยนแปลงหรือถูกยกเลิกหลังจากที่ฉันเริ่มการศึกษา?

นี่เป็นความเสี่ยงที่แท้จริง — แพลตฟอร์มหลักหลายแห่งได้จำกัดหรือยกเลิก API การวิจัยกลางโครงการ กลยุทธ์การบรรเทาผลกระทบรวมถึงการบันทึกการตอบกลับดิบที่สมบูรณ์ในขณะที่รวบรวม การจัดทำเอกสารเวอร์ชัน API ที่ใช้ และการหลีกเลี่ยงการออกแบบที่ต้องมีการเข้าถึง API อย่างต่อเนื่องสำหรับการวัดแบบอนุกรม นักวิจัยควรติดตามประกาศการเปลี่ยนแปลง API ตลอดการศึกษา

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Salganik, M. J. (2018). Bit by Bit: Social Research in the Digital Age. Princeton University Press.

    ISBN: 9780691158648
    คัดลอกแล้ว
  2. Ruths, D., & Pfeffer, J. (2014). Social media for large studies of behavior. Science, 346(6213), 1063–1064.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว