Skip to content
กลับไปยังผลการค้นหา

โครงข่ายประสาทเทียมแบบสังวัตนาการ (การจำแนกประเภท)

ผู้เสนอ
LeCun, Y. et al.
ปี
1998
ประเภท
Deep neural network (convolutional)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

โครงข่ายประสาทเทียมแบบสังวัตนาการ (Convolutional Neural Network - CNN) เป็นแบบจำลองการเรียนรู้เชิงลึก (deep learning model) ที่ LeCun และคณะ ได้พัฒนาขึ้นในปี 1998 ซึ่งเรียนรู้รูปแบบเฉพาะที่ (local patterns) จากรูปภาพและข้อมูลที่มีโครงสร้างโดยตรงเพื่อจำแนกประเภท ข้อมูลที่ได้จากชั้นกรองสังวัตนาการ (convolutional filters) ที่ซ้อนกันจะช่วยค้นหารูปแบบนามธรรมที่ซับซ้อนขึ้นเรื่อยๆ ดังนั้น การออกแบบคุณลักษณะด้วยมือ (manual feature engineering) จึงสามารถลดลงได้อย่างมาก

แนวคิดเบื้องหลังวิธีการ

แทนที่จะออกแบบคุณลักษณะด้วยมือ CNN จะเลื่อนตัวกรองขนาดเล็กที่สามารถเรียนรู้ได้ไปทั่วข้อมูลนำเข้าเพื่อตรวจจับรูปแบบเฉพาะที่ เช่น ขอบ พื้นผิว หรือลวดลาย โดยไม่คำนึงถึงตำแหน่งที่ปรากฏ ชั้นแรกๆ จะจับสัญญาณที่เรียบง่าย ส่วนชั้นที่ลึกกว่าจะรวมสัญญาณเหล่านั้นเข้ากับแนวคิดระดับสูงขึ้น เนื่องจากตัวกรองเดียวกันถูกนำกลับมาใช้ใหม่ทั่วทั้งข้อมูลนำเข้า โครงข่ายจึงเรียนรู้ได้อย่างมีประสิทธิภาพและจดจำรูปแบบได้ไม่ว่าจะปรากฏที่ใดก็ตาม

ประวัติศาสตร์

โครงข่ายประสาทเทียมแบบสังวัตนาการถูกรวบรวมในรูปแบบสมัยใหม่โดย Yann LeCun และคณะ ในงานปี 1998 เกี่ยวกับการเรียนรู้แบบไล่ระดับที่นำไปใช้กับการรู้จำเอกสาร ซึ่งสถาปัตยกรรม LeNet สามารถอ่านลายมือตัวเลขได้ การผสมผสานระหว่างการสังวัตนาการ การรวมกลุ่ม และการฝึกอบรมแบบไล่ระดับแบบ end-to-end ได้กลายเป็นแม่แบบสำหรับการจำแนกประเภทรูปภาพ และด้วยชุดข้อมูลที่ใหญ่ขึ้นและฮาร์ดแวร์ที่เร็วขึ้น ได้ขับเคลื่อนการปฏิวัติการเรียนรู้เชิงลึกในด้านคอมพิวเตอร์วิทัศน์

ควรใช้เมื่อใด

ใช้ CNN สำหรับการจำแนกประเภทหรือการทำนายจากรูปภาพและข้อมูลที่มีโครงสร้างคล้ายตาราง เมื่อคุณมีชุดข้อมูลที่มีป้ายกำกับขนาดใหญ่ — ประมาณ 1,000 รายการขึ้นไป — และต้องการให้แบบจำลองเรียนรู้คุณลักษณะโดยอัตโนมัติ แทนที่จะออกแบบด้วยมือ แบบจำลองนี้ไม่ต้องการข้อมูลที่มีการแจกแจงปกติ (normally distributed data) และสามารถจัดการกับข้อมูลต่อเนื่องและข้อมูลประเภทหมวดหมู่ได้ หากมีข้อมูลน้อยกว่าประมาณ 500 รายการ โครงข่ายจะเกิดภาวะเรียนรู้เกิน (overfits) และ Random Forest จะปลอดภัยกว่า หากมีข้อมูลน้อยกว่าประมาณ 200 รายการ ตัวกรองสังวัตนาการจะไม่สามารถเรียนรู้รูปแบบที่มีความหมายได้ และ SVM จะเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการชุดข้อมูลที่มีป้ายกำกับขนาดใหญ่ (ประมาณ 1,000 รายการขึ้นไป) เพื่อฝึกอบรมได้อย่างน่าเชื่อถือ
  • ในกลุ่มตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 500) โครงข่ายมีแนวโน้มที่จะเกิดภาวะเรียนรู้เกิน (overfits) และประสิทธิภาพการจำแนกประเภทจะลดลง
  • ต่ำกว่าประมาณ 200 รายการ ตัวกรองสังวัตนาการจะไม่สามารถเรียนรู้รูปแบบที่มีความหมายได้เลย
  • ต้องใช้ทรัพยากรในการคำนวณสูงในการฝึกอบรม และการตีความการแสดงผลที่เรียนรู้ได้นั้นทำได้ยาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียนรู้รูปแบบเฉพาะที่โดยอัตโนมัติ ลดความจำเป็นในการออกแบบคุณลักษณะด้วยมือได้อย่างมาก
  • การแชร์น้ำหนักช่วยให้จดจำรูปแบบได้ไม่ว่าจะปรากฏที่ใด และทำให้จำนวนพารามิเตอร์สามารถจัดการได้
  • สร้างลำดับชั้นของคุณลักษณะ ตั้งแต่ขอบที่เรียบง่ายไปจนถึงแนวคิดที่เป็นนามธรรม เหมาะสำหรับรูปภาพ
  • ข้อสมมติฐานน้อย: ไม่จำเป็นต้องมีการแจกแจงปกติ และยอมรับข้อมูลต่อเนื่องและข้อมูลประเภทหมวดหมู่
  • ความแม่นยำระดับ State-of-the-art สำหรับงานจำแนกประเภทรูปภาพและข้อมูลที่มีโครงสร้างแบบตารางขนาดใหญ่ที่มีป้ายกำกับ

การประยุกต์ใช้

  • งานจำแนกประเภทและรู้จำรูปภาพ
  • การจำแนกประเภทข้อมูลที่มีโครงสร้างคล้ายตารางซึ่งรูปแบบเฉพาะที่ (local patterns) มีความสำคัญ
  • การรู้จำเอกสารและอักขระลายมือ
  • การเรียนรู้คุณลักษณะ (Feature learning) ที่การออกแบบคุณลักษณะด้วยมือ (manual feature engineering) ไม่สามารถทำได้จริง

วิธีการทำงาน

วิธีการทำงาน

1

ตัวกรองที่สามารถเรียนรู้ได้ (kernels) จะถูกนำมาสังวัตนาการ (convolved) ไปทั่วข้อมูลนำเข้า โดยคำนวณผลรวมถ่วงน้ำหนักเฉพาะที่เพื่อสร้างแผนที่คุณลักษณะ (feature maps) ตัวกรองแต่ละตัวจะตอบสนองต่อรูปแบบเฉพาะที่ เช่น ขอบ พื้นผิว หรือส่วนประกอบของรูปทรง และเนื่องจากน้ำหนักเดียวกันถูกแชร์ในทุกตำแหน่ง โครงข่ายจึงตรวจจับรูปแบบนั้นได้ทุกที่ในข้อมูลนำเข้า ขณะที่ยังคงรักษาจำนวนพารามิเตอร์ให้ต่ำ

สูตร
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

ชั้นการรวมกลุ่ม (Pooling layers) (เช่น max pooling) จะลดขนาดของแผนที่คุณลักษณะแต่ละอัน โดยสรุปข้อมูลในบริเวณใกล้เคียงให้เป็นค่าเดียว สิ่งนี้จะลดมิติเชิงพื้นที่ ทำให้การแสดงผลมีความทนทานต่อการเลื่อนตำแหน่งและการบิดเบือนเล็กน้อย และช่วยให้ชั้นที่อยู่ถัดไปสามารถสร้างคุณลักษณะที่เป็นนามธรรมมากขึ้นเรื่อยๆ ในขอบเขตการรับรู้ (receptive field) ที่กว้างขึ้น

3

แผนที่ของคุณลักษณะระดับสูงจะถูกทำให้แบน (flattened) และส่งผ่านไปยังชั้นที่เชื่อมต่อกันโดยสมบูรณ์ (fully connected layers) ซึ่งลงท้ายด้วยชั้น softmax ที่ให้ความน่าจะเป็นของแต่ละคลาส โครงข่ายทั้งหมด — ทั้งตัวกรองและน้ำหนัก — จะถูกฝึกอบรมแบบ end-to-end โดยใช้การเรียนรู้แบบไล่ระดับ (gradient-based learning) โดยลดค่าความสูญเสียในการจำแนกประเภท (classification loss) ผ่านกระบวนการแพร่กระจายย้อนกลับ (backpropagation)

สูตร
\hat{y} = \operatorname{softmax}(W h + b)

ข้อผิดพลาดที่พบบ่อย

  • การฝึกอบรมด้วยข้อมูลน้อยเกินไปและเกิดภาวะเรียนรู้เกิน (overfitting) แทนที่จะกลับไปใช้ Random Forest หรือ SVM
  • การข้ามการแบ่งข้อมูลสำหรับตรวจสอบ (validation) หรือทดสอบ (test) และเชื่อถือความแม่นยำจากการฝึกอบรม
  • การละเลยความไม่สมดุลของคลาส (class imbalance) แทนที่จะถ่วงน้ำหนักใหม่หรือสุ่มตัวอย่างคลาสใหม่
  • การรายงานเฉพาะความแม่นยำ (accuracy) โดยไม่มีค่า precision, recall, F1 หรือ confusion matrix
  • การลืมปรับข้อมูลนำเข้าให้เป็นมาตรฐาน (normalise) หรือการไม่ใช้ regularisation เพื่อป้องกันภาวะเรียนรู้เกิน (overfitting)

คำถามที่พบบ่อย

CNN ต้องการข้อมูลมากแค่ไหน?

CNN ต้องการข้อมูลจำนวนมาก โดยมีเกณฑ์ขั้นต่ำประมาณ 1,000 รายการที่มีป้ายกำกับ หากมีข้อมูลน้อยกว่าประมาณ 500 รายการ มักจะเกิดภาวะเรียนรู้เกิน (overfit) และหากมีข้อมูลน้อยกว่าประมาณ 200 รายการ ตัวกรองจะไม่สามารถเรียนรู้รูปแบบที่มีความหมายได้ ในกรณีเหล่านั้น Random Forest หรือ SVM จะเป็นทางเลือกที่ปลอดภัยกว่า

ทำไมต้องใช้การสังวัตนาการ (convolution) แทนโครงข่ายประสาทเทียมแบบธรรมดา?

การสังวัตนาการใช้ตัวกรองขนาดเล็กเดียวกันกับทุกตำแหน่งของข้อมูลนำเข้า ดังนั้นรูปแบบจะถูกตรวจจับได้ไม่ว่าจะปรากฏที่ใด และจำนวนพารามิเตอร์จะยังคงต่ำ โครงข่ายที่เชื่อมต่อกันโดยสมบูรณ์ (fully connected network) จะต้องใช้น้ำหนักมากกว่าอย่างมหาศาลและจะไม่ใช้ประโยชน์จากโครงสร้างเชิงพื้นที่ของข้อมูล

การรวมกลุ่ม (pooling) ทำหน้าที่อะไร?

การรวมกลุ่มจะลดขนาดแผนที่ของคุณลักษณะโดยการสรุปข้อมูลในบริเวณใกล้เคียง ซึ่งจะลดขนาดเชิงพื้นที่ เพิ่มความทนทานต่อการเลื่อนตำแหน่งเล็กน้อย และช่วยให้ชั้นที่ลึกกว่าสามารถสร้างคุณลักษณะที่เป็นนามธรรมมากขึ้นในขอบเขตการรับรู้ที่กว้างขึ้น

ฉันควรตรวจสอบอะไรบ้างก่อนที่จะเชื่อถือ CNN?

ยืนยันว่าคุณมีชุดข้อมูลที่มีป้ายกำกับเพียงพอ ปรับข้อมูลนำเข้าให้เป็นมาตรฐาน ตั้งค่าการแบ่งข้อมูลสำหรับฝึกอบรม/ตรวจสอบ/ทดสอบที่เหมาะสม จัดการกับความไม่สมดุลของคลาส และประเมินผลด้วยค่า precision, recall, F1 และ confusion matrix แทนที่จะใช้เพียงความแม่นยำ (accuracy) อย่างเดียว

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว