Penurunan gradien stokastik: Perbedaan antara revisi
Konten dihapus Konten ditambahkan
Membuat halaman stochastiv Tag: |
(Tidak ada perbedaan)
|
Revisi per 16 Desember 2023 05.57
| Bagian dari seri |
| Pemelajaran mesin dan Penggalian Data |
|---|
 |
Stochastic gradient descent (biasanya disingkat SGD) adalah sebuah metode iteratif yang digunakan untuk mengoptimasi fungsi objektif dengan sifat smoothness yang sesuai (misal diferensiabel atau subdiferensiabel). SGD dapat dianggap sebagai aproksimasi stokastik dari optimasi penurunan gradien karena SGD menggantikan gradien sebenarnya (dihitung dari keseluruhan himpunan data) dengan estimasi yang dihitung dari subset data yang dipilih secara acak. Terutama dalam masalah optimasi berdimensi tinggi, SGD dapat mengurangi kompleksitas komputasional yang sangat tinggi dan mencapai iterasi yang lebih cepat sebagai gantinya untuk tingkat konvergensi yang lebih rendah.[1]
- ^ Bottou, Léon; Bousquet, Olivier (2012). "The Tradeoffs of Large Scale Learning". Dalam Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. Optimization for Machine Learning. Cambridge: MIT Press. hlm. 351–368. ISBN 978-0-262-01646-9.