Bootstrap aggregating

Bootstrap aggregating atau yang sering disingkat bagging merupakan salah satu cara untuk mengurangi varians dari prediksi yang dimiliki, lalu menghasilkan data tambahan untuk pelatihan dari dataset asli. Bagging menggunakan metode kombinasi dengan perulangan untuk menghasilkan multiset dari kardinalitas atau ukuran yang sama dengan data asli, dengan meningkatkan ukuran set pelatihan. Bagging hanya dapat mengurangi varians dan tidak dapat meningkatkan kekuatan prediksi model .

atau ada pengertian lain adalah penggabungan algoritma pembelajaran mesin (machine learning) yang dirancang untuk meningkatkan stabilitas dan akurasi dari algoritma machine learning yang digunakan dalam klasifikasi statistik dan regresi. Bagging juga mengurangi varians dan membantu untuk menghindari terjadinya overfitting.

Perbedaan dengan boosting

Salah satu perbedaan utama adalah cara bagaimana menggunakan sampel setiap set pelatihan. Mengantongi memungkinkan penggantian dalam sampel bootstrapped tetapi Boosting tidak.

Dalam teori Bagging baik untuk mengurangi varians (Over-fitting) dimana Boosting membantu mengurangi Bias dan Variance sesuai dengan Boosting Vs Bagging ini, tetapi dalam prakteknya Boosting (Adaptive Boosting) tahu memiliki varian yang tinggi karena over-fitting

Sejarah

Bagging atau Agregasi Bootstrap ditemukan oleh Leo Breiman pada tahun 1994 dengan tujuan untuk meningkatkan klasifikasi dengan menggabungkan klasifikasi dari set pelatihan yang dihasilkan secara acak .

Referensi

• Breiman, Leo (1996). "Bagging predictors". Machine Learning. 24 (2): 123–140. CiteSeerX 10.1.1.32.9399 . doi:10.1007/BF00058655. 

• Alfaro, E., Gámez, M. and García, N. (2012). "adabag: An R package for classification with AdaBoost.M1, AdaBoost-SAMME and Bagging".