จากชั้นเรียนคณิตศาสตร์ระดับมัธยมศึกษาตอนปลาย เราทุกคนรู้สมการมาตรฐานของเส้นy = mx + bหรือy = a + bx ในสถิติ นี่เรียกว่าการถดถอยเชิงเส้นซึ่งมักใช้เพื่อสร้างแบบจำลองชุดของจุด ซึ่งมักจะจับคู่กันบนระนาบโดยใช้เส้นตรงที่เหมาะสมที่สุด อย่างไรก็ตาม จะเกิดอะไรขึ้นเมื่อเราต้องการวิเคราะห์ข้อมูลที่ไม่ได้มาเป็นคู่เหมือนในชุดข้อมูลจริงที่มีตัวแปรอิสระมากกว่าหนึ่งตัว เช่น ตัวแปรด้านล่าง

ตัวอย่างเช่น หากเราต้องการคาดการณ์ปริมาณการปล่อย CO2 โดยพิจารณาจากปริมาตรและน้ำหนักของรถยนต์บางคัน เราไม่สามารถทำเช่นนั้นได้ด้วยสมการมาตรฐานของเส้นตรง เนื่องจากเรามีตัวแปรอิสระ 2 ตัว (ปริมาตรและน้ำหนัก) แต่มีตัวแปร x เพียงตัวเดียว -ค่า. วิธีหนึ่งในการแก้ปัญหานี้คือ การถดถอยพหุคูณ

การถดถอยพหุคูณคืออะไร?

การถดถอยเชิงเส้นพหุคูณ (MLR) หรือการถดถอยพหุคูณเป็นเพียงวิธีการกำหนดเส้นที่เหมาะสมที่สุดเมื่อเราต้องการใช้ปัจจัยหรือตัวแปรหลายตัว (เรียกอีกอย่างว่าตัวแปรอธิบาย ) เพื่อทำนายผลลัพธ์ (เรียกอีกอย่างว่าตัวแปรตอบสนอง ) สามารถแสดงด้วยสมการทั่วไปสำหรับเส้นที่พอดีที่สุด:

ในที่นี้α0แทนค่าตัดแกน y αiและxi ทั้งหมด แทนค่าสัมประสิทธิ์และตัวแปรอธิบายตามลำดับ แสดงถึงระยะข้อผิดพลาด (เรียกอีกอย่างว่าข้อผิดพลาดที่เหลือ ) และ y แทนค่าตัวแปรตามหรือตัวแปรตอบสนอง

ต่างจากการถดถอยเชิงเส้นที่ไม่แปรผันตรง การถดถอยพหุคูณไม่มีการสร้างภาพข้อมูลโดยสัญชาตญาณ — อันที่จริง มันเป็นนามธรรมอย่างยิ่ง — สำหรับเส้นที่พอดีที่สุด (เช่น "เส้น 10 มิติ" มีลักษณะอย่างไร) อย่างไรก็ตาม เรายังคงสามารถรวบรวมข้อมูลเชิงปริมาณได้จากการทดสอบทางสถิติ เช่น ANOVA (การวิเคราะห์ความแปรปรวน) ซึ่งคุณสามารถหาข้อมูลเพิ่มเติมได้ที่นี่

สำหรับผู้ที่อยากรู้ว่าการถดถอยพหุคูณบน Excel สามารถทำได้อย่างไร มีดังต่อไปนี้! ขั้นแรก คุณต้องติดตั้งเครื่องมือวิเคราะห์ข้อมูล ขั้นตอนด้านล่างนี้เป็นคำแนะนำในการติดตั้งสำหรับคอมพิวเตอร์ Windows เท่านั้น (ขออภัยผู้ใช้ Mac!)

1. ใน Excel ไปที่แท็บไฟล์แล้วคลิก "ตัวเลือก"
2. มองหาเมนูเพิ่มเติม
3. เมื่ออยู่ในเมนู ไปที่ด้านล่างแล้วมองหาปุ่ม “ไป…” ทางด้านซ้ายของปุ่มนี้ ตรวจสอบให้แน่ใจว่าคุณเห็น จัดการ: Add-in ของ Excel
4. เมื่อคุณกดปุ่ม “ไป…” ให้ทำเครื่องหมายที่ช่องถัดจากตัวเลือก Analysis Toolpak (ไม่มี VBA) จากนั้นกดปุ่ม OK
5. ในการตรวจสอบว่า Add-in ของ Data Analysis เปิดใช้งานสำเร็จแล้ว ให้ไปที่แท็บ Data คุณควรจะสามารถหา Data Analysis ได้ที่ด้านขวาสุด

1. แทรกข้อมูลของคุณในรูปแบบคอลัมน์ โดยมีชื่อคอลัมน์เป็นส่วนหัว
2. คลิกปุ่มการวิเคราะห์ข้อมูลและมองหาตัวเลือกการถดถอย
3. คุณควรเห็นตัวเลือกบางอย่างดังที่แสดง:

คุณควรได้บางอย่างเช่นภาพที่แสดงด้านบน

ฉันไม่ต้องการที่จะเจาะลึกสถิติมากเกินไปแต่มันจะช่วยตีความว่าผลลัพธ์สรุปแสดงให้เราเห็นอะไร คอลัมน์ "สัมประสิทธิ์" สามารถบอกเราได้ว่าสมการของการถดถอยพหุคูณเป็นอย่างไร กลับไปที่สมการทั่วไปของ MLR เราสามารถสรุปได้ว่า:

ปริมาณการปล่อย CO2 = 102.76 + 0.01*ปริมาตร – 0.02*น้ำหนัก

(สำหรับผู้ชื่นชอบสถิติที่นั่น ฉันรู้ว่าสมการนี้ ผิดใน ทางเทคนิคแต่ฉันจะถือว่าสิ่งนี้โดยปกติเพื่อเป็นตัวอย่าง)

จากสมการข้างต้น หากเราต้องการคาดการณ์ปริมาณการปล่อย CO2 ของรถยนต์ที่มีปริมาตร 1100 และน้ำหนัก 1200 เราสามารถแทนค่าเหล่านี้ลงในสมการได้:

ปริมาณการปล่อย CO2 = 102.76 + 0.01*1100 – 0.02*1200 = 89.76

การถดถอยพหุคูณในการเรียนรู้ของเครื่อง

ดังที่ได้กล่าวไว้ก่อนหน้านี้ เราสามารถใช้การถดถอยพหุคูณสำหรับชุดข้อมูลขนาดใหญ่ ซึ่งกลายเป็นสิ่งที่แมชชีนเลิร์นนิงมีไว้เพื่อการประมวลผล! แต่ต้องถามคำถาม: โมเดลการเรียนรู้ของเครื่องสามารถทำนายสัมประสิทธิ์ ( αi ), y-intercept ( α0 ) และข้อผิดพลาด ( ε ) ได้อย่างไร คำตอบอยู่ในการไล่ระดับสีโคตร! คุณสามารถอ่านเพิ่มเติมเกี่ยวกับ gradient descent ได้ในบทความก่อนหน้าของฉัน ( ที่นี่ ) แต่ฉันจะอธิบายคร่าวๆ ที่นี่

โดยสรุป การไล่ระดับแบบไล่ระดับคือวิธีการปรับให้เหมาะสมเพื่อให้แน่ใจว่าถึงค่าต่ำสุดของฟังก์ชันต้นทุน ฟังก์ชันต้นทุนแสดงดังที่แสดงด้านล่าง:

โดยพื้นฐานแล้ว ด้วยตัวอย่างการฝึกอบรมที่มากขึ้น ในที่สุดโมเดลจะสร้างการคาดการณ์ที่ดีขึ้นของข้อมูลที่มองไม่เห็นเมื่อฟังก์ชันต้นทุนลดลง วิธีที่เข้าใจง่ายกว่าในการดูสิ่งนี้คือการคิดถึงสิ่งที่เกิดขึ้นในกรณีของการถดถอยเชิงเส้นแบบไม่แปรผัน จุดข้อมูลเพียงไม่กี่จุดอาจไม่สามารถทำให้เส้นที่เหมาะสมที่สุดได้แม่นยำนัก แต่การเพิ่มอีกหลายสิบหรือหลายร้อยจุดอาจแก้ไขปัญหานี้ได้เพียงพอ เนื่องจากแบบจำลองนี้มีข้อมูลที่ต้องพิจารณามากขึ้น

ในโมเดลแมชชีนเลิร์นนิงที่กำหนด จะพิจารณาตัวแปรประเภทต่างๆ (ซึ่งในกรณีนี้คือตัวแปรอธิบายของเรา) ซึ่งเรียกว่าคุณสมบัติ อย่างไรก็ตาม ในการสร้างโมเดลนี้ตั้งแต่แรก เราอาจต้องใช้ไลบรารี Python บางตัวเพื่อใช้งาน MLR ประการแรก เนื่องจากข้อมูลมักมาในรูปแบบของสเปรดชีตหรือไฟล์ CSV ไลบรารี แพนด้าจึงสามารถนำเข้าไฟล์ประเภทนี้ได้ เพื่อให้เราสามารถจัดการข้อมูลในไฟล์เหล่านั้นได้ ประการที่สอง เราสามารถใช้ ไลบรารี่ numpy และscikit-learn เพื่อดำเนินการฟังก์ชันทางคณิตศาสตร์ เช่น การถดถอย เพื่อให้เข้าใจได้ดีขึ้นว่าข้อมูลของคุณเป็นอย่างไร คุณอาจเลือกที่จะแสดงภาพผ่านmatplotlibและseabornไลบรารี ซึ่งทั้งสองแห่งมีเครื่องมือสร้างภาพข้อมูลที่ยอดเยี่ยม เช่น ฮิสโตแกรม กราฟแท่ง และอื่นๆ อีกมากมาย

บทส่งท้าย

ในบทความนี้ เราได้พูดถึงการถดถอยพหุคูณและการประยุกต์ในการเรียนรู้ของเครื่อง นอกจากนี้เรายังเจาะลึกถึงการปรับให้เหมาะสมและวิธีที่โมเดลการเรียนรู้ของเครื่องใช้การไล่ระดับสีในการดำเนินการถดถอยพหุคูณ

บทความนี้เป็นเพียงการขีดพื้นผิวของความซับซ้อนของการถดถอยพหุคูณเท่านั้น แต่ฉันหวังว่าบทนำสั้นๆ นี้จะช่วยให้คุณเข้าใจการใช้งานทางสถิติและการเรียนรู้ของเครื่องของ MLR อย่างลึกซึ้งยิ่งขึ้น

ขอบคุณที่อ่าน!