Pengarang: Saurabh Saxena
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
Gambar oleh Penulis
Fungsi Aktivasi memutuskan apakah neuron harus diaktifkan atau tidak, kadang-kadang juga disebut fungsi transfer. Peran utama dari fungsi aktivasi adalah untuk mengubah masukan berbobot yang dijumlahkan dari lapisan sebelumnya menjadi keluaran yang diumpankan ke neuron lapisan berikutnya.
Mari kita lihat arsitektur neuron di Neural Network.
Gambar oleh Penulis
Tujuan utama dari Fungsi Aktivasi adalah untuk menambahkan non-linearitas ke model linier. Ini memperkenalkan langkah tambahan pada setiap lapisan selama propagasi penerusan. Jika kita tidak menempatkan fungsi Aktivasi, setiap neuron akan bertindak sebagai fungsi linier yang pada gilirannya, seluruh jaringan menjadi model regresi linier.
Jenis Fungsi Aktivasi
Mari kita bahas fungsi aktivasi populer yang digunakan dalam jaringan saraf.
1) Fungsi Aktivasi Langkah Biner
Neuron harus diaktifkan atau tidak dalam lapisan tergantung pada nilai ambang tertentu.
Masukan yang diumpankan ke fungsi aktivasi dibandingkan dengan ambang batas. Jika input lebih besar dari itu, maka neuron diaktifkan, atau dinonaktifkan.
Fungsi Langkah Biner | Gambar oleh Penulis
Di bawah ini adalah turunan dari fungsi langkah biner:
Turunan Fungsi Langkah Biner | Gambar oleh Penulis
Di bawah ini adalah beberapa keterbatasan fungsi langkah biner:
Itu tidak dapat digunakan untuk masalah klasifikasi multi-kelas. Gradien fungsi adalah nol, yang menyebabkan hambatan dalam proses backpropagation.
2) Fungsi Aktivasi Linier
Fungsi aktivasi linier, juga dikenal sebagai tidak ada aktivasi atau fungsi identitas, adalah di mana aktivasi sebanding dengan input. Fungsi hanya mengeluarkan nilai yang diberikan.
Fungsi Linier | Gambar oleh Penulis
Di bawah ini adalah turunan pertama dari fungsi linier
Turunan Fungsi Linier | Gambar oleh Penulis
Berikut adalah beberapa batasan fungsi linier:
Tidak mungkin menggunakan backpropagation karena turunan dari fungsinya adalah konstanta dan tidak ada hubungannya dengan input. Berapa pun jumlah lapisan dalam jaringan saraf, lapisan terakhir akan tetap menjadi fungsi linier dari lapisan pertama. Jadi, fungsi aktivasi linier mengubah jaringan saraf menjadi hanya jaringan satu lapis.
3) Fungsi Aktivasi Sigmoid
Fungsi ini mengambil nilai real apa pun sebagai nilai input dan output dalam kisaran 0 hingga 1. Semakin besar input (semakin positif), semakin dekat nilai outputnya dengan 1, sedangkan semakin kecil input (semakin negatif), semakin dekat outputnya akan menjadi 0.
Fungsi Aktivasi Sigmoid | Gambar oleh Penulis
Berikut adalah turunan dari fungsi sigmoid
Turunan Fungsi Aktivasi Sigmoid | Gambar oleh Penulis Ini biasanya digunakan untuk model di mana kita harus memprediksi probabilitas sebagai output. Fungsinya terdiferensiasi dan memberikan gradien yang halus.
Berikut adalah beberapa keterbatasan fungsi sigmoid:
Nilai gradien hanya signifikan untuk rentang -3 hingga 3, dan grafik menjadi lebih datar di wilayah lain. Untuk nilai yang lebih besar dari 3 atau kurang dari -3, fungsi akan memiliki gradien yang sangat kecil. Saat nilai gradien mendekati nol, jaringan mengalami masalah gradien Vanishing. Output dari fungsi logistik tidak simetris di sekitar nol, yaitu nilainya selalu positif, yang membuat pelatihan menjadi sulit.
4) Fungsi Aktivasi Tanh
Fungsi Tanh sangat mirip dengan fungsi sigmoid, dengan perbedaan rentang keluaran -1 hingga 1. Dalam Tanh, semakin besar input, semakin dekat nilai outputnya dengan 1, sedangkan semakin kecil input, semakin dekat output akan menjadi -1 dari 0 di sigmoid.
Fungsi Aktivasi Tanh | Gambar oleh Penulis
Berikut adalah turunan dari fungsi tanh
Turunan dari Fungsi Aktivasi Tanh | Gambar oleh Penulis Output dari fungsi aktivasi tanh adalah Zero centered, ini membantu dalam memusatkan data dan membuat pembelajaran untuk lapisan berikutnya menjadi lebih mudah.
Di bawah ini adalah beberapa batasan dari fungsi tanh:
Saat nilai gradien mendekati nol, jaringan mengalami masalah gradien Vanishing. Gradien fungsi jauh lebih curam dibandingkan dengan fungsi sigmoid.
Fungsi Aktivasi di Neural Networks awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
