Skip to content
กลับไปยังผลการค้นหา

การถดถอยโลจิสติก

ผู้เสนอ
David Roxbee Cox
ปี
1958
ประเภท
Method
กลุ่มวิธี
classification-prediction

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การถดถอยโลจิสติก (Logistic regression) เป็นวิธีการทางสถิติสำหรับการสร้างแบบจำลองความน่าจะเป็นของผลลัพธ์แบบไบนารี (เช่น มี/ไม่มีโรค, สำเร็จ/ไม่สำเร็จ) โดยเป็นฟังก์ชันของตัวพยากรณ์แบบต่อเนื่องและแบบจำแนกประเภท พัฒนาโดย David Roxbee Cox (1958) เพื่อแก้ปัญหาการพยากรณ์ผลลัพธ์เชิงจำแนกประเภท โดยการประยุกต์ใช้การแปลงโลจิสติกเพื่อจำกัดการพยากรณ์ให้อยู่ในช่วงความน่าจะเป็น [0,1] ซึ่งช่วยให้สามารถจำแนกความเสี่ยงได้อย่างแม่นยำ การพยากรณ์การวินิจฉัย และการอนุมานเชิงสาเหตุในสาขาวิชาระบาดวิทยา การแพทย์ และสังคมศาสตร์

แนวคิดเบื้องหลังวิธีการ

การถดถอยเชิงเส้นมาตรฐานจะพยากรณ์ผลลัพธ์ต่อเนื่องที่ไม่มีขอบเขต การนำไปใช้กับผลลัพธ์แบบไบนารี (0 หรือ 1) จะทำให้เกิดการพยากรณ์ที่เป็นไปไม่ได้ (เช่น ความน่าจะเป็น 1.5) การถดถอยโลจิสติกแก้ปัญหานี้โดยการสร้างแบบจำลอง log-odds (logit) ของผลลัพธ์ให้เป็นฟังก์ชันเชิงเส้นของตัวพยากรณ์: logit(p) = ln[p/(1−p)] = β₀ + β₁X₁ + β₂X₂ + ... การแปลงโลจิสติกจะเปลี่ยนการพยากรณ์เชิงเส้นกลับไปเป็นความน่าจะเป็น (0 ถึง 1) ซึ่งช่วยให้นักวิจัยสามารถประมาณความน่าจะเป็นของผลลัพธ์เมื่อกำหนดตัวพยากรณ์ วัดความสัมพันธ์ของปัจจัยเสี่ยงในรูปของอัตราส่วนออดส์ (odds ratio) และทำการจำแนกแบบไบนารีพร้อมกับความไม่แน่นอนที่วัดได้

ประวัติศาสตร์

David Roxbee Cox ได้นำเสนอการถดถอยโลจิสติกในปี 1958 ในฐานะส่วนขยายที่เป็นธรรมชาติของการถดถอยเชิงเส้นสำหรับผลลัพธ์แบบไบนารี งานของ Jerome Cornfield (1962) ทำให้อัตราส่วนออดส์เป็นที่นิยมในระบาดวิทยา การทดสอบความเหมาะสมของแบบจำลอง Hosmer-Lemeshow (ทศวรรษ 1980) ให้การวินิจฉัยสำหรับการประเมินแบบจำลอง ส่วนขยายที่ทันสมัยรวมถึงการถดถอยโลจิสติกแบบมีบทลงโทษ (ridge, lasso; Tibshirani, 1996), แบบจำลองเชิงเส้นทั่วไป (generalized linear models หรือ GLM; McCullagh & Nelder, 1989), และส่วนขยายแบบพหุนาม (multinomial) และแบบอันดับ (ordinal) (Agresti, 2015) วิธีการที่ต้องใช้คอมพิวเตอร์อย่างเข้มข้น (bootstrap, cross-validation) ช่วยให้สามารถอนุมานที่แข็งแกร่งและการตรวจสอบความถูกต้องภายนอกได้

ควรใช้เมื่อใด

ใช้การถดถอยโลจิสติกเมื่อพยากรณ์หรืออธิบายผลลัพธ์แบบไบนารี การประยุกต์ใช้ทางคลินิก: การพยากรณ์การวินิจฉัยโรค, การตอบสนองต่อการรักษา, อัตราการเสียชีวิต; การคำนวณคะแนนความเสี่ยง (เช่น คะแนน APACHE, ความรุนแรงของปอดบวม CURB-65) การศึกษาทางระบาดวิทยา: การประมาณอัตราส่วนออดส์ของโรคที่เกี่ยวข้องกับการสัมผัสในขณะที่ปรับตัวแปรกวน ความแม่นยำในการวินิจฉัย: การตรวจสอบความถูกต้องของการทดสอบวินิจฉัย (พยากรณ์โรคจากผลการตรวจทางคลินิก) การวิจัยสำรวจ: การสร้างแบบจำลองการตอบสนองใช่/ไม่ใช่สำหรับคำถามนโยบาย สำหรับผลลัพธ์ต่อเนื่องหรือหลายประเภท (มากกว่า 2 หมวดหมู่) ให้ใช้การถดถอยเชิงเส้น หรือการถดถอยโลจิสติกแบบพหุนาม/แบบอันดับ สำหรับข้อมูลการรอดชีวิต (เวลาถึงเหตุการณ์) ให้ใช้การถดถอย Cox

ข้อจำกัดและข้อควรพิจารณา

  • ไวต่อภาวะสหสัมพันธ์ร่วมเชิงเส้น: ตัวพยากรณ์ที่มีความสัมพันธ์กันสูงจะทำให้ค่าความคลาดเคลื่อนมาตรฐานสูงขึ้นและค่าสัมประสิทธิ์ไม่เสถียร; ตรวจสอบปัจจัยการเพิ่มความแปรปรวน (VIF)
  • สมมติความสัมพันธ์เชิงเส้นระหว่าง log-odds และตัวพยากรณ์; พลาดความสัมพันธ์ที่ไม่เป็นเชิงเส้นเว้นแต่จะมีการสร้างแบบจำลองอย่างชัดเจน (เช่น การแปลงพหุนาม, spline)
  • ผลลัพธ์ที่ไม่สมดุล (เหตุการณ์หายาก): หากสัดส่วนของผลลัพธ์สุดขีด (เช่น 5% เป็นบวก) ค่าประมาณพารามิเตอร์จะมีความลำเอียงและช่วงความเชื่อมั่นกว้าง; พิจารณาการถดถอยแบบมีบทลงโทษหรือการสุ่มตัวอย่างแบบกรณีควบคุม
  • สมมติความเป็นอิสระของการสังเกตการณ์; ข้อมูลที่มีการรวมกลุ่ม (เช่น ผู้ป่วยในโรงพยาบาล) ละเมิดสมมติฐานและต้องใช้การถดถอยโลจิสติกหลายระดับ
  • ประสิทธิภาพการจำแนกขึ้นอยู่กับจุดตัดความน่าจะเป็นที่เลือกอย่างมาก; จุดตัดที่แตกต่างกันจะปรับความไวเทียบกับความจำเพาะให้เหมาะสม และไม่มีจุดตัดใดที่เหมาะสมกับทุกบริบท

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ประมาณความน่าจะเป็นของผลลัพธ์โดยตรง ทำให้สามารถจำแนกความเสี่ยงและตัดสินใจได้อย่างมีข้อมูลในบริบททางคลินิกและนโยบาย
  • อัตราส่วนออดส์เป็นสิ่งที่เข้าใจง่ายสำหรับผู้ปฏิบัติงาน: เป็นมาตรวัดความสัมพันธ์แบบทวิภาคีที่สื่อสารกับแพทย์และสาธารณชนได้ง่าย
  • ทนทานต่อการละเมิดสมมติฐานการแจกแจงปกติ (ไม่เหมือนการถดถอยเชิงเส้น); ต้องการเพียงการแจกแจงแบบมีเงื่อนไขเป็นแบบทวินาม ไม่ใช่แบบปกติ
  • สามารถรวมตัวพยากรณ์แบบต่อเนื่องและแบบจำแนกประเภท ปฏิสัมพันธ์ และพจน์ที่ไม่เป็นเชิงเส้น (เช่น พหุนาม, spline) ได้อย่างยืดหยุ่นเพื่อจับความสัมพันธ์ที่ซับซ้อน
  • ผลลัพธ์เชิงความน่าจะเป็นและเส้นโค้ง ROC ช่วยให้สามารถปรับจุดตัดให้เหมาะสม: เลือกจุดตัดการจำแนกตามการแลกเปลี่ยนระหว่างความไว/ความจำเพาะที่เหมาะสมกับบริบทการใช้งาน

การประยุกต์ใช้

  • การพยากรณ์ความเสี่ยงทางคลินิก: การพัฒนาคะแนนความเสี่ยงที่ได้รับการตรวจสอบความถูกต้อง (เช่น ความเสี่ยงการกลับเข้ารับการรักษาใน 30 วัน, โอกาสเกิดภาวะติดเชื้อในกระแสเลือด) เพื่อเป็นแนวทางในการจัดสรรทรัพยากรและการแทรกแซงตั้งแต่เนิ่นๆ
  • ความแม่นยำในการวินิจฉัย: การพยากรณ์การวินิจฉัยโรคจากผลการตรวจทางคลินิก, ค่าทางห้องปฏิบัติการ, และภาพถ่าย; การประเมินความไวและความจำเพาะของอัลกอริทึมการวินิจฉัย
  • การตอบสนองต่อการรักษา: การสร้างแบบจำลองความน่าจะเป็นของความสำเร็จในการรักษา (การตอบสนองต่อยา, ผลลัพธ์การผ่าตัด) เพื่อแจ้งข้อมูลสำหรับการแพทย์เฉพาะบุคคลและการเลือกการรักษา
  • การศึกษาความสัมพันธ์ทางระบาดวิทยา: การประมาณอัตราส่วนออดส์ของโรคที่เกี่ยวข้องกับการสัมผัสทางสิ่งแวดล้อมหรือพฤติกรรม (การสูบบุหรี่, อาหาร, อันตรายจากการทำงาน) ในขณะที่ปรับตัวแปรทางประชากร
  • การปรับปรุงคุณภาพและการผลิต: การพยากรณ์ความน่าจะเป็นของข้อบกพร่องของผลิตภัณฑ์จากพารามิเตอร์การผลิต; การปรับการตั้งค่ากระบวนการให้เหมาะสมเพื่อลดความล้มเหลว

วิธีการทำงาน

วิธีการทำงาน

1

ดำเนินการถดถอยโลจิสติกโดยกำหนดผลลัพธ์แบบไบนารี (เข้ารหัส 0/1) และรวบรวมตัวแปรพยากรณ์ ตรวจสอบให้แน่ใจว่ามีขนาดตัวอย่างที่เพียงพอสำหรับการประมาณค่าที่เสถียร: อย่างน้อย 10–20 เหตุการณ์ต่อตัวพยากรณ์ (โดยที่เหตุการณ์ = จำนวนหมวดหมู่ผลลัพธ์ที่น้อยกว่า) ตรวจสอบความเป็นอิสระของการสังเกตการณ์; การถดถอยโลจิสติกสมมติว่าไม่มีการรวมกลุ่ม เข้ารหัสตัวพยากรณ์เชิงจำแนกประเภทโดยใช้ตัวแปรหุ่น (k−1 ตัวบ่งชี้สำหรับ k หมวดหมู่) อาจทำการปรับมาตรฐานตัวพยากรณ์ต่อเนื่องเพื่อการเปรียบเทียบที่ไม่ขึ้นกับมาตราส่วน ก่อนการปรับแบบจำลอง ให้สำรวจความสัมพันธ์แบบทวิภาคีระหว่างตัวพยากรณ์แต่ละตัวกับผลลัพธ์ (แผนภาพการถดถอยโลจิสติก, สหสัมพันธ์) เพื่อเป็นแนวทางในการกำหนดแบบจำลอง

2

ประมาณค่าสัมประสิทธิ์การถดถอยโลจิสติกโดยใช้วิธีการประมาณค่าความน่าจะเป็นสูงสุด (Maximum Likelihood Estimation หรือ MLE) ไม่ใช่วิธีกำลังสองน้อยที่สุดสามัญ ซอฟต์แวร์จะคำนวณค่าประมาณพารามิเตอร์ (สัมประสิทธิ์ β) ที่ทำให้ความน่าจะเป็นของการสังเกตข้อมูลจริงสูงสุด สถิติสำคัญ: (1) สัมประสิทธิ์ (β₀, β₁, ...): ค่าคงที่และค่าความชันในมาตราส่วน logit (2) อัตราส่วนออดส์ (Odds Ratio หรือ OR) = exp(β): การเปลี่ยนแปลงของอัตราส่วนออดส์ต่อหน่วยที่เพิ่มขึ้นของตัวพยากรณ์ OR = 1 หมายถึงไม่มีผล; OR = 2 หมายถึงอัตราส่วนออดส์เพิ่มขึ้นสองเท่า; OR = 0.5 หมายถึงอัตราส่วนออดส์ลดลงครึ่งหนึ่ง (3) ค่าความคลาดเคลื่อนมาตรฐานและสถิติ z (z = β/SE): ทดสอบว่าสัมประสิทธิ์แตกต่างจากศูนย์หรือไม่ (4) ช่วงความเชื่อมั่นสำหรับ ORs (โดยทั่วไป 95%): [exp(β − 1.96×SE), exp(β + 1.96×SE)] (5) การทดสอบความเหมาะสมของแบบจำลอง Hosmer-Lemeshow: การทดสอบ χ² ของผลลัพธ์ที่สังเกตได้เทียบกับที่พยากรณ์ไว้ในกลุ่มความเสี่ยงเดไซล์ (p > 0.05 บ่งชี้ว่าแบบจำลองเหมาะสม) (6) พื้นที่ใต้เส้นโค้ง Receiver Operating Characteristic (AUC): 0.5 = โอกาสสุ่ม, 0.7–0.8 = การจำแนกที่ยอมรับได้, >0.8 = ดี, >0.9 = ยอดเยี่ยม

3

การตีความมุ่งเน้นไปที่อัตราส่วนออดส์: OR เท่ากับ 1.5 สำหรับตัวพยากรณ์หมายความว่าทุกหน่วยที่เพิ่มขึ้นจะเพิ่มอัตราส่วนออดส์ของผลลัพธ์เป็น 1.5 เท่า (อัตราส่วนออดส์สูงขึ้น 50%) โดยที่ตัวพยากรณ์อื่น ๆ คงที่ หากช่วงความเชื่อมั่นไม่รวม 1 แสดงว่า OR มีนัยสำคัญทางสถิติ (p < 0.05) ความน่าจะเป็นที่พยากรณ์สำหรับแต่ละบุคคล = 1 / [1 + exp(−(β₀ + β₁X₁ + ...))] โดยที่ค่า X คือคะแนนตัวพยากรณ์ของแต่ละบุคคล สร้างเส้นโค้ง ROC (อัตราการเป็นบวกจริงเทียบกับอัตราการเป็นบวกปลอม) เพื่อประเมินประสิทธิภาพการจำแนกและเลือกจุดตัดความน่าจะเป็นที่เหมาะสมที่สุดสำหรับการจำแนกแบบไบนารี เปรียบเทียบแบบจำลอง (แบบเต็มเทียบกับแบบลดทอน) โดยใช้การทดสอบอัตราส่วนความน่าจะเป็น: −2 × (log-likelihood ของแบบจำลองลดทอน − log-likelihood ของแบบจำลองเต็ม) จะเป็นไปตามการแจกแจง χ² โดยมี df = จำนวนพารามิเตอร์ที่ถูกลบออก ตรวจสอบการวินิจฉัย: แผนภาพบางส่วน, มาตรวัดอิทธิพล (Pregibon influence), และส่วนเหลือแบบเพียร์สัน (Pearson residual) สำหรับค่าผิดปกติหรือการกำหนดแบบจำลองที่ไม่ถูกต้อง

ข้อผิดพลาดที่พบบ่อย

  • ความสับสนระหว่างความสัมพันธ์กับความเป็นเหตุเป็นผล: การถดถอยโลจิสติกประมาณความสัมพันธ์ที่ปรับแล้ว; ตัวแปรกวนที่ไม่รู้จักหรือความเป็นเหตุเป็นผลย้อนกลับยังคงเป็นภัยคุกคามต่อการตีความเชิงสาเหตุ
  • การใช้ความแม่นยำในการจำแนกเพียงอย่างเดียวในการประเมินแบบจำลอง: ด้วยผลลัพธ์ที่ไม่สมดุล แบบจำลองที่พยากรณ์ค่าลบทั้งหมดอาจดูแม่นยำ; ใช้ AUC, ความไว, ความจำเพาะ และค่าทำนายผลบวก
  • การรายงานค่า p โดยไม่มีช่วงความเชื่อมั่นหรือขนาดผลกระทบ; นัยสำคัญทางสถิติไม่ใช่ความสำคัญทางคลินิก ควรรายงาน ORs พร้อม 95% CI เสมอ
  • การไม่ตรวจสอบการทดสอบ Hosmer-Lemeshow และการวินิจฉัยส่วนเหลือ (residual); การละเมิดความเหมาะสมของแบบจำลองบ่งชี้ถึงการกำหนดแบบจำลองที่ไม่ถูกต้อง
  • การสร้างแบบจำลองที่มากเกินไป (Model overfitting): การปรับตัวพยากรณ์มากเกินไปเมื่อเทียบกับขนาดตัวอย่าง (โดยเฉพาะจำนวนเหตุการณ์ผลลัพธ์) ทำให้เกิดการประมาณประสิทธิภาพที่มองโลกในแง่ดี; ใช้การตรวจสอบความถูกต้องแบบไขว้
  • การแบ่งตัวพยากรณ์ต่อเนื่องเป็นสองส่วน (เช่น อายุ > 65 ปี) ทำให้ข้อมูลสูญหายและค่าสัมประสิทธิ์ไม่เสถียร; ควรคงรูปแบบต่อเนื่องไว้หรือใช้ restricted cubic splines

คำถามที่พบบ่อย

ฉันจะตีความอัตราส่วนออดส์ (odds ratio: OR) ที่ 2.5 พร้อมช่วงความเชื่อมั่น 95% [1.8, 3.5] ได้อย่างไร?

OR ที่ 2.5 หมายความว่าอัตราส่วนออดส์ของผลลัพธ์สูงขึ้น 2.5 เท่าสำหรับการเพิ่มขึ้น 1 หน่วยในตัวพยากรณ์นั้น (หรือสำหรับหมวดหมู่ที่ระบุเทียบกับหมวดหมู่อ้างอิง หากเป็นตัวแปรเชิงจำแนก) โดยปรับสำหรับตัวพยากรณ์อื่น ๆ ช่วงความเชื่อมั่น 95% [1.8, 3.5] บ่งชี้ว่าด้วยความเชื่อมั่น 95% OR ที่แท้จริงของประชากรอยู่ระหว่าง 1.8 ถึง 3.5 เนื่องจากช่วงความเชื่อมั่นไม่รวม 1 ความสัมพันธ์จึงมีนัยสำคัญทางสถิติ (p < 0.05) การตีความขนาด: OR 1–1.5 = ผลกระทบเล็กน้อย, 1.5–3 = ปานกลาง, >3 = มาก แพทย์มักจะถามว่า: อัตราส่วนออดส์ที่สูงขึ้น 2.5 เท่ามีความสำคัญทางคลินิกสำหรับผลลัพธ์นี้หรือไม่? บริบทมีความสำคัญ

การทดสอบ Hosmer-Lemeshow บอกอะไรฉัน และฉันควรกังวลเกี่ยวกับค่า p ที่ต่ำเมื่อใด?

การทดสอบ Hosmer-Lemeshow ประเมินว่าความน่าจะเป็นที่พยากรณ์ไว้ตรงกับสัดส่วนผลลัพธ์ที่สังเกตได้ในกลุ่มความเสี่ยงเดไซล์หรือไม่ ค่า p > 0.05 บ่งชี้ว่าการปรับเทียบดี; ค่า p < 0.05 บ่งชี้ว่าแบบจำลองพยากรณ์ผิดพลาดในบางกลุ่มความเสี่ยง ซึ่งบ่งชี้ถึงการกำหนดแบบจำลองที่ไม่ถูกต้อง ค่า p ที่ต่ำกระตุ้นให้เกิดการตรวจสอบ: ตรวจสอบแผนภาพการปรับเทียบแบบเดไซล์, ตรวจสอบความสัมพันธ์ที่ไม่เป็นเชิงเส้นที่ไม่ได้ถูกจับ, สำรวจปฏิสัมพันธ์, หรือตรวจสอบค่าผิดปกติ อย่างไรก็ตาม ด้วยตัวอย่างขนาดใหญ่มาก แม้แต่ความคลาดเคลื่อนเล็กน้อยจากการปรับเทียบที่สมบูรณ์แบบก็สามารถให้ค่า p ที่ต่ำได้; การตรวจสอบด้วยสายตาจากแผนภาพการปรับเทียบมักให้ข้อมูลมากกว่าการทดสอบเพียงอย่างเดียว

ฉันจะเลือกจุดตัดความน่าจะเป็นสำหรับการจำแนกบุคคลว่ามีความเสี่ยงหรือไม่ได้อย่างไร?

การเลือกขึ้นอยู่กับบริบททางคลินิกหรือนโยบาย และต้นทุนของผลบวกปลอมเทียบกับผลลบปลอม เส้นโค้ง ROC จะพล็อตความไว (อัตราการเป็นบวกจริง) เทียบกับ 1-ความจำเพาะ (อัตราการเป็นบวกปลอม) ในทุกจุดตัดความน่าจะเป็น จุดตัด 0.5 เป็นค่าเริ่มต้นแต่ไม่ค่อยเหมาะสม หากการพลาดกรณีที่เป็นบวกมีค่าใช้จ่ายสูง (เช่น การพลาดการวินิจฉัยมะเร็ง) ให้เลือกจุดตัดที่ต่ำกว่า (ความไวสูงขึ้น) หากสัญญาณเตือนที่ผิดพลาดมีค่าใช้จ่ายสูง (เช่น การแทรกแซงที่ไม่จำเป็น) ให้เลือกจุดตัดที่สูงขึ้น (ความจำเพาะสูงขึ้น) ใช้ดัชนี Youden (ความไว + ความจำเพาะ − 1) หรือตรวจสอบค่าทำนายผลบวก (PPV) และค่าทำนายผลลบ (NPV) ในประชากรของคุณเพื่อตัดสินใจ

การถดถอยโลจิสติกแตกต่างจากการถดถอยเชิงเส้นสำหรับการพยากรณ์ผลลัพธ์แบบไบนารีอย่างไร?

การถดถอยเชิงเส้นที่นำไปใช้กับผลลัพธ์แบบไบนารีจะสร้างค่าที่พยากรณ์ไว้นอกช่วง [0, 1] ละเมิดสมมติฐานการแจกแจงปกติ และสร้างค่าความคลาดเคลื่อนที่มีความแปรปรวนไม่คงที่ การถดถอยโลจิสติกจำกัดการพยากรณ์ให้อยู่ในรูปของความน่าจะเป็นผ่านการแปลงโลจิสติก สมมติการแจกแจงแบบทวินามแบบมีเงื่อนไข และสร้างค่าความคลาดเคลื่อนที่มีความแปรปรวนคงที่ ยิ่งไปกว่านั้น ค่าความคลาดเคลื่อนมาตรฐานจากการถดถอยเชิงเส้นมีความลำเอียง; การถดถอยโลจิสติกใช้วิธีความน่าจะเป็นสูงสุด ซึ่งให้การอนุมานที่ถูกต้องสำหรับข้อมูลไบนารี การถดถอยโลจิสติกได้รับการออกแบบมาโดยเฉพาะสำหรับผลลัพธ์แบบไบนารีและควรได้รับการเลือกใช้เสมอ; การถดถอยเชิงเส้นกับผลลัพธ์แบบไบนารีเป็นข้อผิดพลาดที่พบบ่อย

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied Logistic Regression (3rd ed.). John Wiley & Sons.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว