ทฤษฎีความจุช่องสัญญาณของแชนนอน
- ผู้เสนอ
- Claude Shannon
- ปี
- 1948
- ประเภท
- fundamental theoretical bound
- กลุ่มวิธี
- Information theory
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
ทฤษฎีความจุช่องสัญญาณของแชนนอน ซึ่งตีพิมพ์ในปี 1948 กำหนดอัตราสูงสุดที่ข้อมูลสามารถส่งได้อย่างน่าเชื่อถือผ่านช่องสัญญาณที่มีสัญญาณรบกวน แสดงด้วยสูตร C = B log2(1 + S/N) สำหรับสัญญาณรบกวนแบบเกาส์เซียนสีขาวแบบบวก (AWGN) ถือเป็นขีดจำกัดพื้นฐานในทฤษฎีสารสนเทศและวิศวกรรมการสื่อสาร แชนนอนพิสูจน์ว่าการสื่อสารที่น่าเชื่อถือเป็นไปได้ที่อัตราใดๆ ที่ต่ำกว่าความจุ และเป็นไปไม่ได้ที่อัตราที่สูงกว่านั้น ทฤษฎีนี้เป็นรากฐานของการออกแบบระบบสื่อสารสมัยใหม่ทั้งหมด และเป็นแรงผลักดันให้เกิดทฤษฎีการเข้ารหัส การมอดูเลต และเทคนิคการประมวลผลสัญญาณ
แนวคิดเบื้องหลังวิธีการ
โดยสัญชาตญาณ ความจุช่องสัญญาณตอบคำถามว่า: ฉันสามารถส่งข้อมูลได้เท่าใดต่อหน่วยเวลาอย่างน่าเชื่อถือแม้จะมีสัญญาณรบกวน? แชนนอนแสดงให้เห็นว่าคำตอบขึ้นอยู่กับสามปัจจัย: (1) แบนด์วิดท์ B (แบนด์วิดท์มากขึ้น -> ความจุมากขึ้น), (2) กำลังสัญญาณ S (สัญญาณแรงขึ้น -> ความจุมากขึ้น), และ (3) กำลังสัญญาณรบกวน N (สัญญาณรบกวนน้อยลง -> ความจุมากขึ้น) การแลกเปลี่ยนแบบลอการิทึม log2(1 + S/N) จับความจริงที่ลึกซึ้ง: การเพิ่มกำลังเป็นสองเท่าจะเพิ่มความจุเพียง 1 บิต/วินาที/เฮิรตซ์ ซึ่งเป็นการลดผลตอบแทนลงเรื่อยๆ สิ่งนี้อธิบายว่าทำไม แม้จะมีการปฏิบัติการสื่อสารมานานหลายศตวรรษ การสื่อสารที่น่าเชื่อถือจึงมีข้อจำกัดพื้นฐานจนกว่าอัตราส่วนสัญญาณต่อสัญญาณรบกวนจะสูงเพียงพอ นอกจากนี้ยังเป็นแรงผลักดันให้เกิดการมอดูเลตและการเข้ารหัสที่ซับซ้อน: พวกมันเข้าใกล้ความจุแบบไม่สิ้นสุดแต่ไม่เคยเกินกว่านั้น
ประวัติศาสตร์
บทความปี 1948 ของแชนนอน 'A Mathematical Theory of Communication' ก่อตั้งทฤษฎีสารสนเทศ เขาพิสูจน์ทฤษฎีการเข้ารหัสช่องสัญญาณที่มีสัญญาณรบกวน ซึ่งกำหนดว่าการสื่อสารที่น่าเชื่อถือต่ำกว่าความจุเป็นไปได้ แต่สูงกว่าความจุไม่สามารถเป็นไปได้ ผลลัพธ์ที่ปฏิวัติวงการนี้แสดงให้เห็นว่าสัญญาณรบกวนไม่ได้ขัดขวางการสื่อสารที่น่าเชื่อถือ เพียงแต่จำกัดอัตรา ในทศวรรษต่อมา นักทฤษฎีการเข้ารหัส (แฮมมิง, โกลเลย์, รหัสคอนโวลูชัน, รีด-โซโลมอน) ได้พัฒนารหัสที่ใช้งานได้จริงซึ่งเข้าใกล้ความจุ รหัสสมัยใหม่ (เทอร์โบ, LDPC, โพลาร์) บรรลุอัตราที่ใกล้เคียงความจุภายใน 0.5-0.7 dB งานของแชนนอนได้เปลี่ยนการสื่อสารจากการปฏิบัติทางวิศวกรรมเชิงประจักษ์ไปสู่ระเบียบวินัยทางคณิตศาสตร์ที่เข้มงวด
ควรใช้เมื่อใด
ความจุของแชนนอนใช้เพื่อกำหนดเป้าหมายการออกแบบและประเมินประสิทธิภาพของระบบ ก่อนที่จะออกแบบระบบสื่อสาร ให้คำนวณความจุเพื่อทำความเข้าใจขีดจำกัดทางทฤษฎีสูงสุด เมื่อประเมินระบบ ให้เปรียบเทียบปริมาณงานจริงกับความจุเพื่อวัดประสิทธิภาพ ความจุยังเป็นแนวทางในการจัดสรรทรัพยากร: การควบคุมกำลัง การจัดสรรแบนด์วิดท์ การเลือกอัตราการเข้ารหัส ใช้การวิเคราะห์ความจุเพื่อพิสูจน์การลงทุนในเทคโนโลยีขั้นสูง (MIMO, beamforming) โดยการวัดผลกำไรที่อาจเกิดขึ้น
ข้อจำกัดและข้อควรพิจารณา
- สูตรความจุ AWGN สมมติว่าความยาวรหัสคำไม่สิ้นสุด; รหัสที่มีความยาวจำกัดในทางปฏิบัติมีประสิทธิภาพต่ำกว่า
- ความจุเฟดดิ้งต้องการข้อมูลสถานะช่องสัญญาณที่สมบูรณ์ที่เครื่องส่งสำหรับการจัดสรรกำลังที่เหมาะสมที่สุด (water-pouring)
- สูตรสมมติว่าอินพุตเป็นแบบเกาส์เซียน; ช่องสัญญาณบางประเภทได้รับประโยชน์จากการมอดูเลตแบบไม่เกาส์เซียน (หายาก)
- ความจุไม่คำนึงถึงความหน่วง ความซับซ้อน หรือข้อจำกัดด้านพลังงาน; ระบบในทางปฏิบัติให้ความสำคัญกับสิ่งเหล่านี้
- ความจุหลายผู้ใช้มีความซับซ้อนมากกว่ามาก; ช่องสัญญาณที่มีการรบกวนไม่มีสูตรความจุแบบปิด
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้ขีดจำกัดพื้นฐานที่ไม่ขึ้นอยู่กับการออกแบบรหัส/การมอดูเลตเฉพาะ
- สูตรรูปแบบปิดที่สง่างามสำหรับช่องสัญญาณ AWGN
- ขยายไปยังช่องสัญญาณเฟดดิ้ง การรบกวน ช่องสัญญาณหลายผู้ใช้ ผ่านการขยายความหมายเชิงทฤษฎีสารสนเทศ
- เป็นแรงผลักดันให้เกิดทฤษฎีการเข้ารหัสทั้งหมด (รหัสเทอร์โบ, LDPC, โพลาร์ ล้วนเข้าใกล้ความจุ)
- ไม่เปลี่ยนแปลงตามเทคโนโลยี: สูตรความจุใช้ได้กับช่องสัญญาณแสง, RF, เสียง
- อนุญาตให้วิเคราะห์การแลกเปลี่ยน: สำรวจผลกำไรจากการขยายแบนด์วิดท์, การเพิ่มกำลัง, หรือความหลากหลาย
การประยุกต์ใช้
- การออกแบบระบบไร้สาย: การวิเคราะห์ความจุเป็นแนวทางในการเลือกเสาอากาศ งบประมาณกำลัง และเป้าหมายประสิทธิภาพเชิงสเปกตรัมใน LTE/5G
- การสื่อสารผ่านดาวเทียม: ขีดจำกัดความจุตั้งความคาดหวังที่สมจริงสำหรับอัตราการดาวน์โหลดจากยานสำรวจอวกาศห้วงลึก
- การสื่อสารใยแก้วนำแสง: สูตรความจุแจ้งกลยุทธ์การแบ่งความยาวคลื่นและการขยายสัญญาณ
- ระบบจัดเก็บข้อมูล: ขีดจำกัดความจุกำหนดปริมาณงานการแก้ไขข้อผิดพลาดที่จำเป็นสำหรับการเก็บถาวร HDD/SSD ที่น่าเชื่อถือ
- การออกแบบเครือข่าย: การวิเคราะห์ความจุหลายผู้ใช้เป็นแนวทางในการจัดสรรทรัพยากรและการควบคุมการยอมรับ
วิธีการทำงาน
วิธีการทำงาน
แหล่งกำเนิดสารสนเทศสร้างสัญลักษณ์ด้วยอัตรา R (บิตต่อวินาที) เพื่อส่ง
สำหรับช่องสัญญาณ AWGN: ความจุ C = B log2(1 + P/N0 B) โดยที่ B คือแบนด์วิดท์, P คือกำลังสัญญาณ, N0 คือความหนาแน่นสเปกตรัมของสัญญาณรบกวน
สำหรับช่องสัญญาณแบบเฟดดิ้ง: ความจุขึ้นอยู่กับสถานะของช่องสัญญาณ; ความจุเฉลี่ยคือ C = อินทิกรัลของการกระจายสถานะช่องสัญญาณของ B log2(1 + |h|^2 P / N0 B)
แบบจำลองช่องสัญญาณประกอบด้วย: สัญญาณที่ส่ง X, ช่องสัญญาณเฟดดิ้ง h, สัญญาณรบกวนแบบบวก Z. สัญญาณที่รับ Y = h*X + Z.
การส่งที่อัตรา R อย่างน่าเชื่อถือเป็นไปได้ก็ต่อเมื่อ R ≤ C. หาก R > C, ความน่าจะเป็นของข้อผิดพลาดที่น้อยมากไม่สามารถบรรลุได้ ไม่ว่าความซับซ้อนของรหัสจะเป็นอย่างไร
ข้อผิดพลาดที่พบบ่อย
- สมมติว่าความจุสามารถบรรลุได้ง่าย; ช่องว่างระหว่างทฤษฎีและการปฏิบัติมีขนาดใหญ่สำหรับแพ็กเก็ตสั้น
- ไม่คำนึงถึงผลกระทบของความยาวบล็อกจำกัด; ความจุเชิงเส้นกำกับสมมติว่าความยาวรหัสคำไม่สิ้นสุด
- ไม่คำนึงถึงการป้อนกลับ; การป้อนกลับที่จำกัดอาจเพิ่มความจุได้อย่างมาก
- สมมติว่าความจุเฟดดิ้งพร้อม CSI บางส่วน; ข้อผิดพลาดในการประมาณค่าช่องสัญญาณลดความจุที่มีประสิทธิภาพ
- คาดหวังว่าความจุจะสามารถบรรลุได้ด้วยแผนการที่เรียบง่าย; รหัสที่บรรลุความจุมีความซับซ้อน (เทอร์โบ, LDPC, โพลาร์)
คำถามที่พบบ่อย
ความสัมพันธ์ระหว่างความจุของแชนนอนและประสิทธิภาพเชิงสเปกตรัมคืออะไร?
ประสิทธิภาพเชิงสเปกตรัม (บิตต่อวินาทีต่อเฮิรตซ์) ถูกจำกัดโดยความจุหารด้วยแบนด์วิดท์: η ≤ C/B. สำหรับ AWGN, η ≤ log2(1 + S/N). หากแบนด์วิดท์ของระบบคือ B และกำลังคือ P, ประสิทธิภาพเชิงสเปกตรัมคือ η = C/B. เมื่อ SNR เพิ่มขึ้น, ประสิทธิภาพเชิงสเปกตรัมจะเพิ่มขึ้นแบบลอการิทึม; ไม่มีขีดจำกัดที่แน่นอน แต่มีผลตอบแทนที่ลดลง
การป้อนกลับส่งผลต่อความจุอย่างไร?
สำหรับช่องสัญญาณ AWGN ที่ไม่มีหน่วยความจำ แชนนอนพิสูจน์ว่าความจุไม่เปลี่ยนแปลงโดยการป้อนกลับ: ในเชิงทฤษฎีสารสนเทศ การป้อนกลับไม่สามารถเพิ่มความจุได้ อย่างไรก็ตาม การป้อนกลับช่วยให้สามารถเข้ารหัสแบบปรับได้ (ปรับอัตราตาม CSI) ซึ่งสามารถปรับปรุงประสิทธิภาพในทางปฏิบัติได้ สำหรับช่องสัญญาณที่มีหน่วยความจำหรือความหน่วงในการป้อนกลับ ความจุสามารถเพิ่มขึ้นได้
Water-pouring คืออะไร และเหตุใดจึงเหมาะสมที่สุดสำหรับช่องสัญญาณเฟดดิ้ง?
Water-pouring เป็นกลยุทธ์การจัดสรรกำลังที่เหมาะสมที่สุดสำหรับช่องสัญญาณเฟดดิ้ง: จัดสรรกำลังมากขึ้นเมื่อช่องสัญญาณดี (อัตราขยายสูง) และน้อยลงเมื่อช่องสัญญาณไม่ดี (อัตราขยายต่ำ) ในทางคณิตศาสตร์ กำลัง P(h) = max(0, λ - N0 / |h|^2) โดยที่ λ เป็นตัวคูณลากรองจ์ที่ตั้งค่าให้เป็นไปตามข้อจำกัดกำลังรวม สิ่งนี้จะเพิ่มความจุแบบ ergodic ให้สูงสุด
ความจุสามารถเกินได้ด้วยการเข้ารหัสที่ชาญฉลาดหรือไม่?
ไม่ ทฤษฎีการเข้ารหัสช่องสัญญาณที่มีสัญญาณรบกวนของแชนนอนเป็นขีดจำกัดพื้นฐาน: หากอัตราการส่งเกินความจุ ความน่าจะเป็นของข้อผิดพลาดไม่สามารถทำให้เล็กน้อยได้อย่างไม่มีที่สิ้นสุด โดยไม่คำนึงถึงความซับซ้อนของรหัสหรืออัลกอริทึมการถอดรหัส ทฤษฎีระบุว่าการบรรลุอัตรา R < C ด้วยความน่าจะเป็นของข้อผิดพลาด ε > 0 ที่กำหนด ต้องการความยาวบล็อกที่เป็นเอ็กซ์โพเนนเชียลของ 1/ε
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379-423.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วCover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. John Wiley & Sons.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว