Apa yang membuat model overfitting dan bagaimana kita bisa menyelesaikan masalah ini

Kita semua memiliki teman yang menceritakan kisah dengan detail yang menyiksa. Ketika Anda bertanya kepada mereka tentang film yang baru-baru ini mereka tonton, Anda mungkin akhirnya belajar tidak hanya tentang film tersebut tetapi juga tentang jam tangan penjual popcorn di bioskop. Di sisi lain, kami memiliki teman tidak komunikatif yang hanya akan memberi tahu Anda bahwa film itu "baik" atau "buruk".

Overfitting dan underfitting mirip dengan jenis teman yang berbeda dalam hal jumlah detail. Model pembelajaran mesin yang overfit mencoba mengambil detail pada data pelatihan, sedangkan model yang kurang fit terlalu umum dan cenderung melewatkan tren penting dalam data pelatihan.

Contoh yang lebih mirip pembelajaran mesin adalah memprediksi objek dalam gambar. Asumsikan kita mencoba membuat model yang memprediksi tomat dalam gambar:

• Model A: Merah, lingkaran, bentuk bintang hijau di atas, sedikit tetesan air
• Model B: Merah, lingkaran

Di sisi lain, model B menganggap segala sesuatu yang berwarna merah dan berbentuk lingkaran adalah tomat yang tidak benar. Model ini terlalu umum, tidak dapat mendeteksi ciri-ciri kritis tomat. Ini kurang pas .

Contoh ini tidak persis seperti cara model pembelajaran mesin belajar dan memprediksi, tetapi memberikan ringkasan tentang overfitting dan underfitting. Dalam posting ini, saya akan membahas konsep-konsep berikut secara rinci:

• Bias dan varians
• Overfitting dan underfitting
• Regularisasi

Bias dan varians penting untuk memahami overfitting dan underfitting.

Bias adalah ukuran seberapa jauh prediksi rata-rata jauh dari nilai sebenarnya. Bias muncul jika kita mencoba memodelkan relasi yang kompleks dengan model yang sangat sederhana. Prediksi model dengan bias tinggi sangat mirip. Karena tidak sensitif terhadap variasi dalam data, keakuratan model sangat rendah pada data pelatihan dan data pengujian (data yang sebelumnya tidak terlihat).

Titik biru adalah pengamatan dalam set pelatihan dan garis merah adalah model bias kami yang tidak peduli dengan fluktuasi dalam dua fitur pengamatan dan melakukan prediksi yang sama.

Varians adalah kebalikan dari bias dalam hal peka terhadap perubahan dalam data. Model dengan varian tinggi sangat sensitif bahkan terhadap perubahan kecil dalam data pelatihan. Ia mencoba mengambil setiap detail kecil dan dengan demikian perubahan yang sangat kecil pada data pelatihan juga mengubah model. Model dengan varian tinggi juga cenderung menangkap noise dalam data. Pencilan akan berada dalam cakupan model.

Seperti yang Anda lihat, model mencoba menyesuaikan sesuai dengan semua variasi dalam data. Prediksi model dengan varian tinggi tersebar luas. Jelas bahwa model ini memiliki akurasi yang sangat tinggi pada set pelatihan. Namun, ini akan berkinerja buruk pada pengamatan baru yang sebelumnya tidak terlihat.

Model pembelajaran mesin dibuat untuk mengerjakan observasi yang sebelumnya tidak terlihat sehingga model dengan varians tinggi tidak dapat diterima. Kami juga tidak pernah bisa mengandalkan model dengan bias tinggi. Oleh karena itu, sangat penting untuk menemukan garis antara bias dan varians. Selalu ada trade-off antara bias dan varians. Kita dapat dengan mudah menemukan model dengan bias tinggi dan varians rendah atau bias rendah dan varians tinggi. Namun, keberhasilan model Anda bergantung pada menemukan cara optimal di antara bias dan varians. Misalnya, model di bawah ini sepertinya cocok.

Overfitting dan Underfitting

• Model dengan bias tinggi cenderung underfit.
• Model dengan varian tinggi cenderung overfit.

Dalam tugas pembelajaran yang diawasi, kita dapat mendeteksi overfitting dengan membandingkan akurasi model pada set data pelatihan dan pengujian. Jika akurasi pada set data pelatihan (pengamatan yang dilihat model) jauh lebih tinggi daripada akurasi pada set data uji (pengamatan tak terlihat), maka model tersebut overfitting.

Kerugian tersebut sebanding dengan perbedaan antara nilai target aktual dan nilai prediksi. Model pembelajaran yang diawasi melakukan beberapa iterasi untuk meminimalkan kerugian ini dengan memperbarui bobot fitur. Namun, setelah beberapa titik, model berperilaku berbeda pada data pengujian dan pelatihan. Kerugian terus menurun pada data pelatihan tetapi mulai meningkat pada data pengujian setelah beberapa titik. Sangat penting untuk mendeteksi titik ini untuk membuat model pembelajaran mesin yang luar biasa.

Overfitting adalah masalah seri untuk model machine learning, tetapi bagaimana cara mencegah model agar tidak overfitting? Jawabannya adalah regularisasi.

Regularisasi

Alasan utama overfitting adalah membuat model lebih kompleks dari yang diperlukan. Jika kami menemukan cara untuk mengurangi kompleksitas, maka masalah overfitting dapat diselesaikan.

Regularisasi menghukum model yang kompleks.

Regularisasi menambahkan penalti untuk persyaratan yang lebih tinggi dalam model dan dengan demikian mengontrol kompleksitas model. Jika istilah regularisasi ditambahkan, model mencoba meminimalkan kerugian dan kompleksitas model.

Regularisasi mengurangi varians tetapi tidak menyebabkan peningkatan bias yang luar biasa.

Dua metode umum regularisasi adalah regularisasi L1 dan L2. Kompleksitas model bergantung pada:

• Jumlah total fitur (ditangani oleh regularisasi L1), atau
• Bobot fitur (ditangani oleh regularisasi L2)

Ini juga disebut regularisasi untuk ketersebaran. Seperti namanya, ini digunakan untuk menangani vektor renggang. Jika kita memiliki ruang vektor fitur berdimensi tinggi, model menjadi sangat sulit untuk ditangani.

Regularisasi L1 memaksa bobot fitur yang tidak informatif menjadi nol. Regularisasi L1 bertindak seperti gaya yang mengurangi sejumlah kecil bobot pada setiap iterasi dan akhirnya membuat bobot menjadi nol.

Regularisasi L1 menghukum | bobot |.

Regularisasi L2

Ini juga disebut regularisasi untuk kesederhanaan. Jika kita mengambil kompleksitas model sebagai fungsi bobot, kompleksitas fitur sebanding dengan nilai absolut bobotnya.

Regularisasi L2 memaksa bobot menuju nol tetapi tidak membuatnya tepat nol. Regularisasi L2 bertindak seperti gaya yang menghilangkan sebagian kecil bobot pada setiap iterasi. Oleh karena itu, bobot tidak akan pernah sama dengan nol.

Regularisasi L2 menghukum (bobot) ²

Ada parameter tambahan untuk menyesuaikan istilah regularisasi L2 yang disebut tingkat regularisasi (lambda). Laju regularisasi adalah skalar dan dikalikan dengan istilah regularisasi L2.

Catatan: Memilih nilai yang optimal untuk lambda itu penting. Tujuan regularisasi L2 adalah kesederhanaan. Namun, jika lambda terlalu tinggi, modelnya menjadi terlalu sederhana dan cenderung untuk pakaian dalam. Di sisi lain, jika lambda terlalu rendah, efek regulatisasi dapat diabaikan dan model cenderung overfit. Jika lambda disetel ke nol, regularisasi akan sepenuhnya dihapus (risiko overfitting tinggi!).

Catatan: Regresi ridge menggunakan regularisasi L2 sedangkan regresi Lasso menggunakan regularisasi L1. Regresi jaring elastis menggabungkan regularisasi L1 dan L2.

Kesimpulan

Overfitting adalah masalah penting untuk model machine learning dan perlu ditangani dengan hati-hati. Kami membuat model pembelajaran mesin menggunakan data yang sudah kami ketahui, tetapi mencoba atau mengujinya pada data baru yang sebelumnya tidak terlihat. Kami ingin model mempelajari tren dalam data pelatihan tetapi, pada saat yang sama, tidak ingin model terlalu fokus pada data pelatihan. Keberhasilan model bergantung pada menemukan titik optimal antara overfitting dan underfitting.

Terima kasih telah membaca. Beri tahu saya jika Anda memiliki umpan balik.