Kurva belajar (pemelajaran mesin): Perbedaan antara revisi

Konten dihapus Konten ditambahkan

Sebaris

Revisi per 25 November 2023 11.58

Dalam pembalajaran mesin, suatu kurva pembelajaran (atau kurva latih, bahasa Inggris: learning curve atau training curve) menggambarkan nilai optimal dari fungsi kerugian suatu model untuk satu himpunan data latih dibandingkan dengan fungsi kerugian tersebut jika dievaluasi pada satu himpunan data uji dengan parameter yang sama yang menghasilkan fungsi yang optimal^[1]. Sinonimnya meliputi kurva kesalahan (error curve), kurva perkembangan (improvement curve), dan kurva generalisasi (generalization curve).

Lebih abstrak, kurva pembelajaran adalah kurva dari (usaha pembelajaran atau learning effort)-(kinerja prediktif atau predictive performance), di mana biasanya usaha pembelajaran berarti jumlah sampel latih dan kinerja prediktif berarti akurasi pada sampel uji.^[2]

Kurva pembelajaran dalam pembelajaran mesin bermanfaat untuk berbagai tujuan, termasuk membandingkan berbagai algoritma,^[3] memilih parameter model selama desain,^[4] menyesuaikan optimisasi untuk meningkatkan konvergensi, dan menentukan jumlah data yang digunakan untuk pelatihan.^[5]

Definisi forma

Salah satu model pembelajaran mesin menghasilkan suatu fungsi, $f(x)$ , yang memberikan beberapa informasi, $x$ , yang memprediksi suatu variabel, $y$ , dari data latih $X_{\text{latih}}$ and $Y_{\text{latih}}$ .Ini berbeda denganoptimisasi matematika karena $f$ harus dapat melakukan prediksi dengan baik untuk $x$ di luar $X_{\text{latih}}$ .

Seringkali kita membatasi fungsi-fungsi yang mungkin menjadi keluarga fungsi parameterized, $\{f_{\theta }(x):\theta \in \Theta \}$ , agar fungsi kita lebih dapat digeneralisasi^[6] atau agar fungsi tersebut memiliki properti tertentu, seperti properti yang membuat pencarian $f$ yang baik lebih mudah, atau karena kita memiliki alasan a priori untuk percaya bahwa properti-properti ini benar.^[6]^:172

Diberikan bahwa tidak mungkin menghasilkan fungsi yang sempurna sesuai dengan data kita, maka perlu untuk menghasilkan fungsi kerugian $L(f_{\theta }(X),Y')$ untuk mengukur seberapa baik prediksi kita. Kemudian kita mendefinisikan proses optimisasi yang menemukan suatu $\theta$ yang meminimalkan $L(f_{\theta }(X_{,}Y))$ yang disebut sebagai $\theta ^{*}(X,Y)$ .

Kurva latih untuk jumlah data

Lalu jika data latih kita adalah $\{x_{1},x_{2},\dots ,x_{n}\},\{y_{1},y_{2},\dots y_{n}\}$ dan data uji kita adalah $\{x_{1}',x_{2}',\dots x_{m}'\},\{y_{1}',y_{2}',\dots y_{m}'\}$ suatu kurva pembelajaran adalah plot dari dua kurva

$i\mapsto L(f_{\theta ^{*}(X_{i},Y_{i})}(X_{i}),Y_{i})$
$i\mapsto L(f_{\theta ^{*}(X_{i},Y_{i})}(X_{i}'),Y_{i}')$

di mana $X_{i}=\{x_{1},x_{2},\dots x_{i}\}$

Kurva latih untuk jumlah iterasi

Banyak proses optimisasi bersifat iteratif, mengulangi langkah yang sama hingga proses tersebut konvergen ke nilai optimal. Penurunan gradien dalah salah satu algoritma tersebut. Jika Anda mendefinisikan $\theta _{i}^{*}$ sebagai aproksimasi optimal dari $\theta$ setelah langkah $i$ , sebuah kurva pembelajaran adalah plot dari

$i\mapsto L(f_{\theta _{i}^{*}(X,Y)}(X),Y)$
$i\mapsto L(f_{\theta _{i}^{*}(X,Y)}(X'),Y')$

Memilih banyaknya data uji

Kurva pembelajaran digunakan untuk menilai seberapa besar keuntungan yang diperoleh oleh model mesin dengan menambahkan lebih banyak data latih dan apakah estimator tersebut lebih rentan terhadap kesalahan variansi atau kesalahan bias. Jika baik skor validasi maupun skor pelatihan konvergen ke nilai yang terlalu rendah dengan peningkatan ukuran himpunan latih, model tidak akan banyak mendapat keuntungan dari penambahan data pelatihan lebih lanjut.^[7]

Dalam domain pembelajaran mesin, terdapat dua implikasi dari kurva pembelajaran yang berbeda dalam kurva sumbu-x, dengan pengalaman model yang digambarkan baik sebagai jumlah contoh latih yang digunakan untuk pembelajaran atau jumlah iterasi yang digunakan dalam melatih model.^[8]

Lihat juga

Overfitting
kompromi antara bias dan varians
Seleksi model
Validasi silang (statistika)
Validitas (statistika)
Verifikasi and validasi
Penurunan ganda

Referensi

^ "Mohr, Felix and van Rijn, Jan N. "Learning Curves for Decision Making in Supervised Machine Learning - A Survey." arXiv preprint arXiv:2201.12150 (2022)". arXiv:2201.12150 .
^ Perlich, Claudia (2010), Sammut, Claude; Webb, Geoffrey I., ed., "Learning Curves in Machine Learning", Encyclopedia of Machine Learning (dalam bahasa Inggris), Boston, MA: Springer US: 577–580, doi:10.1007/978-0-387-30164-8_452, ISBN 978-0-387-30164-8, diakses tanggal 2023-07-06
^ Madhavan, P.G. (1997). "A New Recurrent Neural Network Learning Algorithm for Time Series Prediction" (PDF). Journal of Intelligent Systems. hlm. 113 Fig. 3.
^ "Machine Learning 102: Practical Advice". Tutorial: Machine Learning for Astronomy with Scikit-learn.
^ Meek, Christopher; Thiesson, Bo; Heckerman, David (Summer 2002). "The Learning-Curve Sampling Method Applied to Model-Based Clustering". Journal of Machine Learning Research. 2 (3): 397. Diarsipkan dari versi asli tanggal 2013-07-15.
^ ^a ^b Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016-11-18). Deep Learning (dalam bahasa Inggris). MIT Press. hlm. 108. ISBN 978-0-262-03561-3.
^ scikit-learn developers. "Validation curves: plotting scores to evaluate models — scikit-learn 0.20.2 documentation". Diakses tanggal February 15, 2019.
^ Sammut, Claude; Webb, Geoffrey I. (Eds.) (28 March 2011). Encyclopedia of Machine Learning (edisi ke-1st). Springer. hlm. 578. ISBN 978-0-387-30768-8.

[abs2201.121502-1] "Mohr, Felix and van Rijn, Jan N. "Learning Curves for Decision Making in Supervised Machine Learning - A Survey." arXiv preprint arXiv:2201.12150 (2022)". arXiv:2201.12150 .

[2] Perlich, Claudia (2010), Sammut, Claude; Webb, Geoffrey I., ed., "Learning Curves in Machine Learning", Encyclopedia of Machine Learning (dalam bahasa Inggris), Boston, MA: Springer US: 577–580, doi:10.1007/978-0-387-30164-8_452, ISBN 978-0-387-30164-8, diakses tanggal 2023-07-06

[3] Madhavan, P.G. (1997). "A New Recurrent Neural Network Learning Algorithm for Time Series Prediction" (PDF). Journal of Intelligent Systems. hlm. 113 Fig. 3.

[4] "Machine Learning 102: Practical Advice". Tutorial: Machine Learning for Astronomy with Scikit-learn.

[5] Meek, Christopher; Thiesson, Bo; Heckerman, David (Summer 2002). "The Learning-Curve Sampling Method Applied to Model-Based Clustering". Journal of Machine Learning Research. 2 (3): 397. Diarsipkan dari versi asli tanggal 2013-07-15.

[:0-6] Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016-11-18). Deep Learning (dalam bahasa Inggris). MIT Press. hlm. 108. ISBN 978-0-262-03561-3.

[scikit-learn_learning-curve-7] scikit-learn developers. "Validation curves: plotting scores to evaluate models — scikit-learn 0.20.2 documentation". Diakses tanggal February 15, 2019.

[8] Sammut, Claude; Webb, Geoffrey I. (Eds.) (28 March 2011). Encyclopedia of Machine Learning (edisi ke-1st). Springer. hlm. 578. ISBN 978-0-387-30768-8.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]