Pengarang: Chinmay Bhalerao
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
Privasi dan keamanan data dengan pembelajaran Federasi
Orang-orang di bidang AI-ML-DL sering bertanya tentang masalah privasi data dan keamanan data yang cukup logis karena setelah melatih model pada berbagai kumpulan data, apa strategi yang harus dilakukan untuk menangani data dan privasinya?
Dua kendala signifikan masih ada untuk AI modern. Salah satunya adalah bahwa data biasanya ada sebagai pulau terpencil di bisnis yang berbeda. Yang lainnya adalah peningkatan keamanan dan privasi data. Dalam metode pembelajaran dan pelatihan yang paling populer saat ini, kami membawa kumpulan data kami ke model yang tetap dan terpusat di mana ekstraksi wawasan terjadi. mentransfer data dari sistem ke sistem, database ke database, cukup menantang, dan kebocoran data dan pencurian data dapat dilakukan.
Federated Learning adalah metode pembelajaran model yang muncul yang memiliki solusi untuk semua masalah yang disebutkan di atas. Mari kita lihat Pembelajaran Federasi secara detail. Arti kasar atau arti kamus dari kata federasi adalah “bersatu di bawah pemerintah pusat atau organisasi sambil menjaga beberapa kontrol lokal” Bagaimana arti ini terkait dengan pembelajaran federasi yang sebenarnya, kita akan lihat di bagian blog selanjutnya.
Bagaimana jika saya dapat membawa model lokal saya ke data dan bukan data ke model? Mari kita pahami ini dengan contoh sederhana oleh blog pembelajaran federasi google.ai. Aplikasi seluler apa pun yang berinteraksi dengan pengguna dapat digunakan untuk melatih model pembelajaran mesin, yang mencoba belajar dari interaksi pengguna. Pada banyak perangkat seluler, model ML akan dilatih secara bersamaan. Model terlatih ini menyediakan pembaruan, yang kemudian ditransmisikan ke server atau model terpusat. Masukan yang diberikan oleh model induvial akan digunakan untuk memperbarui model terpusat. Sekali lagi, model yang diperbarui secara terpusat akan dikirim ke perangkat Anda.
Model berkelanjutan diperbarui secara lokal dan mengirim model yang diperbarui ke server untuk pembaruan baru [Source link]
Perangkat kami mengunduh model saat ini, menyempurnakannya dengan mempelajari data di ponsel Anda, lalu merangkum perubahannya sebagai pembaruan kecil yang terfokus. Hanya pembaruan model ini yang dikirim ke cloud, menggunakan komunikasi terenkripsi, yang segera dirata-ratakan dengan pembaruan pengguna lain untuk meningkatkan model bersama. Semua data pelatihan tetap ada di perangkat Anda, dan tidak ada pembaruan individual yang disimpan di cloud.
Menjelaskan hal ini, Anda tidak memiliki data terpusat. Anda memiliki data yang didistribusikan di berbagai lokasi dan perangkat, dan sekarang Anda ingin melatih model pembelajaran mesin.
Menurut saya, Kekhawatiran terbesar tentang privasi data dan keamanan data semakin tersalurkan di sini. Data berada di lokasi pengguna, dan model yang diperbarui dikirim ke sistem terpusat. Keuntungan dari pembelajaran federasi adalah Anda tidak membawa data ke model, tetapi Anda membawa model ke data. Melatih algoritme di tepi atau server lokal yang berbeda dan menggunakannya sebagai sampel data dari populasi.
Perusahaan dapat memperoleh manfaat dari model pembelajaran mesin yang akurat, tetapi sistem pembelajaran mesin terpusat yang khas memiliki keterbatasan, seperti tidak terus menerus belajar di perangkat edge dan menggabungkan data pribadi di server pusat. Pembelajaran gabungan membantu mengurangi masalah ini.
Dalam pembelajaran mesin konvensional, model ML pusat dibuat menggunakan semua data pelatihan yang dapat diakses dalam pengaturan terpusat. Ketika prediksi dapat dilayani oleh server pusat, ini beroperasi tanpa masalah.
Pengalaman pengguna yang menyenangkan dapat terganggu oleh penundaan komunikasi antara perangkat pengguna dan server pusat dalam komputasi seluler karena pengguna mengharapkan respons yang cepat. Model mungkin dipasang di perangkat pengguna akhir untuk mengatasi hal ini, tetapi karena model dilatih pada seluruh kumpulan data, pembelajaran berkelanjutan menjadi sulit.
Pembelajaran gabungan dalam industri perawatan kesehatan:
Kumpulan data yang besar, beragam, dan berkualitas tinggi memberikan pengalaman untuk algoritme AI. Statistik seperti itu, bagaimanapun, secara historis sulit ditemukan, terutama di industri perawatan kesehatan.
Pendekatan server terpusat untuk pembelajaran gabungan. [Source link]
Organisasi medis telah dipaksa untuk mengandalkan sumber data mereka sendiri, yang dapat dipengaruhi oleh faktor-faktor seperti demografi pasien, alat yang digunakan, atau spesialisasi klinis. Atau, untuk mendapatkan semua data yang diperlukan, mereka harus menggabungkan data dari institusi lain.
Menurut BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning paper, Kesulitan yang sering terjadi dalam melatih jaringan saraf dalam pada pencitraan medis adalah mendapatkan akses ke data berlabel yang cukup. Karena anotasi data mahal dan memakan waktu, sulit bagi satu pusat medis untuk mendapatkan jumlah sampel yang cukup untuk membuat modelnya sendiri yang disesuaikan. Untuk menghindari hal ini, data dari semua pusat dapat dikumpulkan dan digunakan untuk melatih kerangka kerja terpusat yang dapat diakses oleh siapa saja. Namun, taktik ini sering digunakan. karena sifat pribadi dari data medis, itu tidak praktis. Pembelajaran federasi (FL) baru-baru ini dikembangkan untuk memungkinkan pembelajaran kooperatif dari model prediksi bersama di seluruh pusat tanpa persyaratan untuk pertukaran data. Di FL, pengguna melatih model secara lokal pada kumpulan data khusus situs untuk beberapa zaman sebelum berbagi bobot model mereka dengan server terpusat, yang mengelola seluruh prosedur pelatihan. Sangat penting bahwa privasi pasien tidak terancam oleh berbagi model.
Pembelajaran gabungan di IoT:
Internet of Things (IoT) berkembang, membuka opsi baru untuk pengumpulan data waktu nyata dan penerapan model pembelajaran mesin. Namun, satu perangkat IoT mungkin tidak memiliki kekuatan komputasi untuk mengembangkan dan menerapkan model pembelajaran penuh. Selain meningkatkan kekhawatiran tentang keamanan dan privasi data, pengiriman data real-time berkelanjutan ke server pusat dengan kemampuan komputasi yang kuat menimbulkan biaya transmisi yang besar. Menurut makalah tersebut, pendekatan yang menjanjikan untuk melatih model pembelajaran mesin di server dan perangkat edge dengan sumber daya terbatas adalah pembelajaran gabungan, kerangka kerja pembelajaran mesin terdistribusi.
Arsitektur sistem untuk pembelajaran gabungan dengan keunggulan heterogen
sistem IoT bertenaga [source link]
Namun, sebagian besar penelitian yang ada mengasumsikan metode pembaruan parameter sinkron yang tidak praktis dengan node IoT seragam yang terhubung melalui tautan komunikasi yang stabil. Kami membuat strategi pembelajaran gabungan asinkron dalam makalah ini untuk meningkatkan efektivitas pelatihan untuk perangkat IoT yang berbeda di bawah berbagai jaringan. Untuk menyelesaikan tugas pembelajaran secara efektif, kami membangun algoritme pemilihan simpul yang ringan dan model pembelajaran gabungan asinkron. Untuk berpartisipasi dalam agregat pembelajaran global, pendekatan yang diusulkan secara iteratif memilih node IoT yang heterogen sambil mempertimbangkan kapasitas pemrosesan lokal dan status komunikasi mereka. Makalah ini menyimpulkan bagaimana pengumpulan dan pemrosesan data dari perangkat IoT memberikan hasil yang canggih.
Sepertinya federasi Belajar memiliki banyak potensi. Tidak hanya melindungi data pengguna yang sensitif, tetapi juga mengumpulkan data dari banyak pengguna, mencari pola umum, dan memperkuat model dari waktu ke waktu. Itu berkembang sendiri berdasarkan data pengguna, melindunginya, dan kemudian muncul kembali sebagai individu yang lebih bijaksana yang sekali lagi siap untuk menguji dirinya sendiri dengan penggunanya! Pengujian dan pelatihan menjadi lebih pintar! Pembelajaran Terpadu mengantarkan era baru AI yang aman, baik dalam pelatihan, pengujian, atau privasi informasi. Desain dan implementasi federasi learning masih banyak menemui kesulitan karena masih dalam bentuk awal. Merancang jalur data dan mendefinisikan masalah Pembelajaran Federasi adalah dua cara efektif untuk mengatasi hambatan ini.
Perangkat Lunak Sumber Terbuka untuk Pembelajaran Terpadu
· TAKDIR
· Substrat
· PySyft
PyGrid
· OpenFL
· Federasi TensorFlow
· Pembelajaran Federasi IBM
· NVIDIA Hapus
Efektivitas pembelajaran gabungan
Keamanan data: Menjaga pelatihan tetap pada perangkat akan memastikan keamanan data dan menghilangkan persyaratan kumpulan data untuk model.
Keragaman data: Masalah lain, seperti tidak tersedianya jaringan di perangkat edge, dapat melarang bisnis menggabungkan kumpulan data dari berbagai sumber. Pembelajaran gabungan memudahkan untuk mengakses berbagai data, bahkan ketika sumber data tertentu hanya dapat berkomunikasi sesekali.
Pembelajaran berkelanjutan waktu nyata: Model terus diperbarui menggunakan data klien tanpa perlu mengumpulkan data.
Efektivitas perangkat keras: Strategi ini menggunakan perangkat keras yang kurang canggih karena model pembelajaran gabungan tidak memerlukan server pusat tunggal yang kompleks untuk menganalisis data.
Referensi :
Stefano Savazzi, Monica Nicoli dan Vittorio Rampa, Pembelajaran Terpadu dengan Perangkat yang Bekerja Sama: Pendekatan Konsensus untuk Jaringan IoT Massive(2019),arXiv:1912.13163v1 [eess.SP] 27 Des 2019 ViraajiMothukuriaReza,M.PariziaSeyedamin, Pouriyehb, Yan Huanga, AliDehghantanhac, Gautam Srivastava, A survey on security and privacy of federated learning(2021), Future Generation Computer Systems, volume 115 Rithesh Sreenivasan, What is Federated Learning (Youtube video) IstvánHegedűs, Gábor Danner dan Márk Jelasity, Pembelajaran terdesentralisasi bekerja: Perbandingan empiris pembelajaran gosip dan pembelajaran federasi (2021), Jurnal Komputasi Paralel dan Terdistribusi (Volume 148) Wenqi Li, Fausto Milletar, Daguang Xu, Nicola Rieke, Jonny Hancox, Wentao Zhu, Maximilian Baust, Yan Cheng , S´ebastien Ourselin , M. Jorge Cardoso dan Andrew Feng, Segmentasi Tumor Otak Federasi yang menjaga privasi (Okt2019), Teknik Biomedis dan Ilmu Pencitraan, King’s College London, Inggris Brendan McMahan dan Daniel Ramage, Ilmuwan Riset, Pembelajaran Federasi: Pembelajaran Mesin Kolaboratif tanpa Data Pelatihan Terpusat (2017), Google AI Blog NICOLA RIEKE, Apa itu Pembelajaran Federasi?( 2019), blog Nvidia Alpharis (2022), pembelajaran federasi Apheris
Jika Anda menemukan ini berwawasan
Jika Anda menemukan artikel ini berwawasan luas, ikuti saya di Linkedin dan medium. Anda juga dapat berlangganan untuk mendapatkan pemberitahuan ketika saya menerbitkan artikel. Terima kasih atas dukunganmu!
Pengantar Pembelajaran Federasi awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
