Skip to content
กลับไปยังผลการค้นหา

แผนภูมิตัดสินใจแบบเรียนรู้ด้วยตนเอง

ผู้เสนอ
Multiple authors (active research area, 2010s–2020s)
ปี
2015–present
ประเภท
Self-supervised ensemble/single tree model
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเรียนรู้แผนภูมิตัดสินใจแบบเรียนรู้ด้วยตนเอง (Self-supervised Decision Tree learning) ผสมผสานความสามารถในการตีความของแผนภูมิตัดสินใจแบบดั้งเดิมเข้ากับความสามารถในการใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับจำนวนมากผ่านงานอ้างอิงแบบเรียนรู้ด้วยตนเอง (self-supervised pretext tasks) แบบจำลองนี้เรียนรู้การนำเสนอคุณลักษณะที่เป็นประโยชน์หรือเกณฑ์การแยกโหนดจากตัวอย่างที่ไม่มีป้ายกำกับ ก่อนที่จะปรับปรุงการคาดการณ์บนชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก ซึ่งเชื่อมช่องว่างระหว่างแผนภูมิต้นไม้แบบมีผู้สอนเต็มรูปแบบกับการจัดกลุ่มแบบไม่มีผู้สอนอย่างแท้จริง

แนวคิดเบื้องหลังวิธีการ

แผนภูมิตัดสินใจมาตรฐานต้องการตัวอย่างที่มีป้ายกำกับในทุกโหนด ในสถานการณ์จริงหลายกรณี การเก็บรวบรวมป้ายกำกับมีค่าใช้จ่ายสูง แต่ข้อมูลดิบมีอยู่มากมาย แผนภูมิตัดสินใจแบบเรียนรู้ด้วยตนเองแก้ปัญหานี้โดยการให้แผนภูมิต้นไม้แก้ปัญหางานเสริมก่อน เช่น การทำนายว่าตัวอย่างสองตัวอย่างอยู่ในกลุ่มเดียวกันหรือไม่ หรือการสร้างคุณลักษณะที่ถูกปิดบังขึ้นใหม่ โดยใช้เฉพาะข้อมูลที่ไม่มีป้ายกำกับเท่านั้น ระยะอ้างอิงนี้สอนให้แผนภูมิต้นไม้รู้ว่าคุณลักษณะและเกณฑ์ใดมีข้อมูลที่เป็นประโยชน์ในภาพรวม เมื่อป้ายกำกับมาถึงในที่สุด แผนภูมิต้นไม้ก็มีความได้เปรียบอยู่แล้วและต้องการป้ายกำกับน้อยลงมากเพื่อให้ได้ความแม่นยำที่ดี

ประวัติศาสตร์

การเรียนรู้แบบเรียนรู้ด้วยตนเองในฐานะกระบวนทัศน์ได้รับความนิยมอย่างมากในการเรียนรู้เชิงลึกผ่านงานเกี่ยวกับวัตถุประสงค์เชิงเปรียบเทียบและงานอ้างอิงในช่วงทศวรรษ 2010 นักวิจัยได้นำแนวคิดเหล่านี้มาประยุกต์ใช้กับแบบจำลองที่ใช้แผนภูมิต้นไม้เพื่อฟื้นฟูข้อได้เปรียบด้านความสามารถในการตีความในสภาวะที่ขาดแคลนป้ายกำกับ สูตรเริ่มต้นยืมการติดป้ายกำกับเทียมมาจากการเรียนรู้แบบกึ่งมีผู้สอน ในขณะที่รุ่นต่อมาได้นำวัตถุประสงค์เชิงเปรียบเทียบและการสร้างขึ้นใหม่มาใช้โดยตรงภายในเกณฑ์การสร้างแผนภูมิต้นไม้ ทำให้สาขานี้เป็นพื้นที่วิจัยที่กำลังดำเนินอยู่ตลอดทศวรรษ 2020

ควรใช้เมื่อใด

แนะนำเมื่อตัวอย่างการฝึกอบรมที่มีป้ายกำกับหายาก แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากจากการแจกแจงเดียวกัน และเมื่อยังคงต้องการความสามารถในการตีความในระดับหนึ่ง (ซึ่งไม่รวมวิธีการเรียนรู้เชิงลึก) นอกจากนี้ยังเหมาะสมเมื่อผู้เชี่ยวชาญในสาขาสามารถออกแบบงานอ้างอิงที่มีความหมายซึ่งสอดคล้องกับเป้าหมายการทำนาย ไม่เหมาะสมเมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่แล้ว (แผนภูมิต้นไม้แบบมีผู้สอนมาตรฐานจะให้ประสิทธิภาพที่เท่ากันหรือดีกว่า) เมื่อข้อมูลที่ไม่มีป้ายกำกับมาจากการแจกแจงที่แตกต่างกัน หรือเมื่อความแม่นยำในการทำนายสูงสุดบนเกณฑ์มาตรฐานแบบตารางเป็นข้อกังวลเดียว (การเพิ่มประสิทธิภาพแบบไล่ระดับสีโดยทั่วไปจะให้ประสิทธิภาพที่ดีกว่า)

ข้อจำกัดและข้อควรพิจารณา

  • ประสิทธิภาพขึ้นอยู่กับการออกแบบงานอ้างอิง งานที่เลือกไม่ดีอาจทำให้โครงสร้างแผนภูมิต้นไม้เข้าใจผิดได้
  • ข้อผิดพลาดของป้ายกำกับเทียมสะสมผ่านการแยกหากการแจกแจงที่ไม่มีป้ายกำกับแตกต่างจากข้อมูลที่มีป้ายกำกับ
  • ต้นทุนการคำนวณสูงกว่าแผนภูมิต้นไม้แบบมีผู้สอนมาตรฐานเนื่องจากขั้นตอนการฝึกอบรมงานอ้างอิง
  • การรับประกันทางทฤษฎีเกี่ยวกับคุณภาพของป้ายกำกับเทียมและการบรรจบกันยังไม่เป็นที่ยอมรับเท่าแผนภูมิต้นไม้แบบมีผู้สอนเต็มรูปแบบ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับจำนวนมากเพื่อปรับปรุงการสรุปผลเมื่อตัวอย่างที่มีป้ายกำกับหายาก
  • รักษาความสามารถในการตีความของแผนภูมิตัดสินใจ: การแยกยังคงอ่านได้และตรวจสอบได้โดยมนุษย์
  • กรอบการทำงานที่ยืดหยุ่นซึ่งรองรับงานอ้างอิงที่หลากหลายซึ่งปรับให้เข้ากับความรู้เฉพาะด้าน
  • ลดต้นทุนการติดป้ายกำกับโดยไม่ลดทอนลักษณะ white-box ของการคาดการณ์แบบแผนภูมิต้นไม้
  • เข้ากันได้กับการขยายแบบกลุ่ม (random forest, boosting) เพื่อเพิ่มความแม่นยำ

การประยุกต์ใช้

  • การวินิจฉัยทางการแพทย์ที่บันทึกผู้ป่วยที่มีป้ายกำกับหายาก แต่ข้อมูลภาพหรือข้อมูลทางคลินิกที่ไม่มีป้ายกำกับมีอยู่มากมาย
  • การตรวจจับข้อผิดพลาดทางอุตสาหกรรมโดยใช้บันทึกเซ็นเซอร์การทำงานปกติจำนวนมากและเหตุการณ์ข้อผิดพลาดที่มีป้ายกำกับน้อย
  • การจำแนกประเภทภาษาธรรมชาติด้วยคลังข้อมูลที่มีคำอธิบายประกอบจำกัด แต่มีแหล่งข้อมูลข้อความดิบขนาดใหญ่
  • การตรวจจับการฉ้อโกงทางการเงินที่ป้ายกำกับการฉ้อโกงที่ได้รับการยืนยันมีน้อยเมื่อเทียบกับปริมาณธุรกรรม
  • การวิเคราะห์ข้อมูลทางวิทยาศาสตร์ (จีโนมิกส์ ภูมิอากาศ) ที่การใส่คำอธิบายประกอบโดยผู้เชี่ยวชาญเป็นคอขวด

วิธีการทำงาน

วิธีการทำงาน

1

งานอ้างอิง (pretext task) ได้รับการออกแบบมาเพื่อให้แผนภูมิตัดสินใจสามารถฝึกฝนกับข้อมูลที่ไม่มีป้ายกำกับด้วยสัญญาณกำกับดูแลที่สร้างขึ้นโดยอัตโนมัติ ตัวเลือกทั่วไปได้แก่ การทำนายการเป็นสมาชิกกลุ่มจากการผ่าน k-means ก่อนหน้า การทำนายค่าคุณลักษณะที่ถูกปิดบังหรือเสียหาย หรือการกำหนดป้ายกำกับการหมุน/การแปลงให้กับอินสแตนซ์ งานอ้างอิงบังคับให้โครงสร้างแผนภูมิต้นไม้ค้นพบการแยกข้อมูลที่เป็นประโยชน์โดยไม่มีป้ายกำกับที่มนุษย์ให้มา

2

หลังจากระยะอ้างอิง ป้ายกำกับเทียม (pseudo-labels) ที่มีความเชื่อมั่นสูงจะถูกกำหนดให้กับอินสแตนซ์ที่ไม่มีป้ายกำกับโดยใช้การนำเสนอหรือการกำหนดกลุ่มที่เรียนรู้ไว้แล้ว ป้ายกำกับเทียมเหล่านี้จะถูกพิจารณาว่าเป็นเป้าหมายแบบอ่อน (soft targets) ในการฝึกอบรมครั้งต่อไป ซึ่งเป็นการขยายกลุ่มข้อมูลที่มีป้ายกำกับจากชุดเริ่มต้นขนาดเล็กไปสู่ชุดการทำงานที่ใหญ่ขึ้นมาก ในขณะเดียวกันก็เผยแพร่การประมาณค่าความไม่แน่นอนเชิงโครงสร้างควบคู่ไปกับแต่ละป้ายกำกับ

3

เมื่อใช้สัญญาณรวมจากป้ายกำกับเทียมและป้ายกำกับจริงที่มีอยู่ แผนภูมิตัดสินใจจะถูกสร้างขึ้นโดยใช้อัลกอริทึมการแยกมาตรฐาน (เช่น CART, ID3, หรือ C4.5) คุณลักษณะที่ได้จากงานอ้างอิงหรือคะแนนกลุ่มสามารถทำหน้าที่เป็นมิติข้อมูลนำเข้าเพิ่มเติม ซึ่งช่วยเพิ่มพื้นที่คุณลักษณะนอกเหนือจากข้อมูลนำเข้าดิบ และช่วยให้เกิดการแยกที่อาจถูกมองข้ามโดยแผนภูมิต้นไม้แบบมีผู้สอนอย่างแท้จริงบนป้ายกำกับที่กระจัดกระจาย

4

การแยกโหนดถูกเลือกเพื่อเพิ่มเกณฑ์ข้อมูลให้สูงสุด ไม่ว่าจะเป็น information gain, Gini impurity หรือวัตถุประสงค์เชิงเปรียบเทียบแบบเรียนรู้ด้วยตนเอง ซึ่งประเมินจากชุดข้อมูลการฝึกอบรมที่เพิ่มขึ้น เนื่องจากป้ายกำกับเทียมสะท้อนโครงสร้างโดยรวมที่เรียนรู้จากตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก การแยกจึงมีแนวโน้มที่จะสรุปผลได้ดีกว่าการแยกที่เรียนรู้จากชุดข้อมูลที่มีป้ายกำกับขนาดเล็กเพียงอย่างเดียว

5

หลังจากสร้างแผนภูมิต้นไม้เริ่มต้นแล้ว ขั้นตอนการปรับแต่ง (fine-tuning) จะทำการตัดแต่งใหม่หรือถ่วงน้ำหนักการคาดการณ์ของใบใหม่โดยใช้เฉพาะตัวอย่างที่มีป้ายกำกับที่ได้รับการยืนยันเท่านั้น ซึ่งจะแก้ไขข้อผิดพลาดของป้ายกำกับเทียมที่เกิดขึ้นในขั้นตอนก่อนหน้า และทำให้มั่นใจว่าการคาดการณ์สุดท้ายสอดคล้องกับขอบเขตของคลาสที่เป็นจริง แทนที่จะเป็นขอบเขตของป้ายกำกับเทียมโดยประมาณ

ข้อผิดพลาดที่พบบ่อย

  • การออกแบบงานอ้างอิงที่ไม่เกี่ยวข้องกับเป้าหมายปลายทาง ซึ่งนำไปสู่การนำเสนอที่ไม่สามารถถ่ายทอดได้
  • การใช้ป้ายกำกับเทียมโดยไม่มีการกำหนดเกณฑ์ความเชื่อมั่น ซึ่งทำให้ชุดข้อมูลการฝึกอบรมเต็มไปด้วยตัวอย่างที่มีข้อผิดพลาด
  • การข้ามขั้นตอนการปรับแต่งและปรับใช้แผนภูมิต้นไม้ที่ฝึกด้วยป้ายกำกับเทียมโดยตรง ซึ่งยังคงมีข้อผิดพลาดในการติดป้ายกำกับที่เป็นระบบ
  • การละเลยการเปลี่ยนแปลงการแจกแจงระหว่างกลุ่มข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ — ป้ายกำกับเทียมจะสะท้อนโครงสร้างข้อมูลที่ไม่ถูกต้อง
  • การถือว่าความสามารถในการตีความเป็นสิ่งรับประกันโดยไม่ต้องตรวจสอบว่าการแยกที่ได้จากป้ายกำกับเทียมยังคงมีความหมายเชิงความหมายหรือไม่

คำถามที่พบบ่อย

แตกต่างจากการเรียนรู้แบบกึ่งมีผู้สอนด้วยแผนภูมิตัดสินใจอย่างไร?

วิธีการแบบกึ่งมีผู้สอนมักจะเผยแพร่ป้ายกำกับจากโหนดที่มีป้ายกำกับไปยังโหนดที่ไม่มีป้ายกำกับโดยตรง แผนภูมิตัดสินใจแบบเรียนรู้ด้วยตนเองจะกำหนดงานอ้างอิงก่อน ซึ่งสร้างสัญญาณกำกับดูแลสังเคราะห์จากข้อมูลที่ไม่มีป้ายกำกับเพียงอย่างเดียว ทำให้แผนภูมิต้นไม้มีคำแนะนำเชิงโครงสร้างที่สมบูรณ์ยิ่งขึ้นก่อนที่จะเห็นป้ายกำกับปลายทางใดๆ

ฉันควรเลือกงานอ้างอิงแบบใด?

งานอ้างอิงที่ดีที่สุดจะสะท้อนเป้าหมายปลายทาง สำหรับการจำแนกประเภทแบบตาราง การทำนายกลุ่ม k-means หรือการสร้างคุณลักษณะที่ถูกปิดบังขึ้นใหม่เป็นจุดเริ่มต้นทั่วไป หากมีความรู้เฉพาะด้าน เช่น ลำดับเวลาในข้อมูลอนุกรมเวลา งานที่ใช้ประโยชน์จากโครงสร้างนั้นจะถ่ายทอดได้ดีกว่า

สิ่งนี้ใช้ได้กับเป้าหมายการถดถอยหรือไม่?

ได้ ป้ายกำกับเทียมสามารถเป็นจุดศูนย์กลางกลุ่มต่อเนื่องหรือค่าคุณลักษณะที่สร้างขึ้นใหม่ และแผนภูมิต้นไม้สามารถสร้างขึ้นด้วยเกณฑ์ค่าเฉลี่ยกำลังสองของความคลาดเคลื่อนในขั้นตอนการปรับแต่ง งานอ้างอิงเพียงแค่ต้องสร้างสัญญาณที่สัมพันธ์กับผลลัพธ์ต่อเนื่อง

ฉันสามารถรวมสิ่งนี้กับ random forests หรือ boosting ได้หรือไม่?

ได้ แผนภูมิต้นไม้แต่ละต้นในกลุ่มสามารถสร้างขึ้นได้อย่างอิสระด้วยกระบวนการเรียนรู้ด้วยตนเอง และกลุ่มสุดท้ายจะรวมคะแนนหรือการคาดการณ์ตามปกติ ซึ่งมักจะช่วยลดช่องว่างความแม่นยำเมื่อเทียบกับการเพิ่มประสิทธิภาพแบบไล่ระดับสี ในขณะที่ยังคงรักษาความสามารถในการตีความในระดับแผนภูมิต้นไม้แต่ละต้น

ฉันจะประเมินคุณภาพของป้ายกำกับเทียมได้อย่างไร?

เปรียบเทียบความแม่นยำของป้ายกำกับเทียมบนชุดย่อยที่มีป้ายกำกับขนาดเล็กกับป้ายกำกับที่เป็นจริงก่อนการปรับแต่ง ความแม่นยำของป้ายกำกับเทียมที่ต่ำกว่า 70% บนชุดข้อมูลที่มีป้ายกำกับที่แยกไว้เป็นสัญญาณเตือนว่างานอ้างอิงไม่สอดคล้องกันหรือไม่ก็มีการเปลี่ยนแปลงการแจกแจง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Self-supervised learning. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Decision tree learning. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว