Author(s): Sumit Singh
Awalnya diterbitkan di Menuju AI.
Dekade terakhir telah melihat kemajuan luar biasa di bidang AI dan pembelajaran mesin. Apa yang sebelumnya menjadi topik penelitian dan hanya dapat diakses oleh segelintir ilmuwan dan peneliti sekarang dapat diakses oleh insinyur dan mahasiswa pemula.
Namun seiring berkembangnya teknologi dan aplikasi di seluruh industri mulai diluncurkan, begitu pula kompleksitas dan tantangannya.
Membangun model ML untuk melakukan hal-hal dasar seperti mengidentifikasi beberapa objek rumah tangga atau aktivitas manusia untuk mengatakan kepercayaan 70% adalah hal yang umum, tetapi mencapai akurasi 99% dalam mengidentifikasi kanker atau tumor dalam citra medis adalah hal yang berbeda.
Apa yang diperlukan untuk membangun AI tingkat produksi
Untuk menyelesaikan kasus penggunaan industri apa pun, tim ML harus mengelola skala, yang berarti volume data yang tinggi untuk diproses, pemilihan algoritme yang tepat, dan iterasi dalam jumlah besar.
Ini melibatkan tim yang jauh lebih besar dengan keahlian berbeda, dan untuk mengelola keseluruhan proses, seseorang perlu menerapkan proses dan strategi yang tepat.
Proses itu disebut MLOps.
Apa saja komponen MLOps?
Setiap tim memiliki serangkaian persyaratan yang unik, dan berdasarkan tujuan mereka, penerapannya mungkin berbeda, tetapi sebagian besar komponen MLOps akan tetap sama.
MLOps dapat berkisar dari pipa data hingga keluaran model dalam beberapa kasus, sementara proyek lain mungkin hanya memerlukan eksekusi MLOps dari proses penerapan model. Mayoritas bisnis menggunakan prinsip MLOps di bidang berikut:
Analisis data eksplorasi (EDA) Persiapan data dan pengembangan fitur Pengembangan dan penyempurnaan model Evaluasi dan tata kelola model Melayani dan inferensi model Pemantauan model Pelatihan ulang model yang otomatis
Mari kita pahami setiap komponen satu per satu-
1. Analisis Data Eksplorasi (EDA): EDA adalah proses untuk menganalisis dan meringkas kumpulan data, biasanya dengan tujuan untuk menemukan pola atau hubungan antar variabel.
Ini melibatkan penggunaan visualisasi, teknik statistik, dan metode lain untuk mengeksplorasi data untuk mendapatkan wawasan dan lebih memahami kumpulan data.
2. Persiapan data: Ini adalah proses pembersihan, transformasi, dan pengorganisasian data mentah sehingga dapat digunakan untuk analisis, pemodelan, dan tugas lainnya.
Katakanlah Anda memiliki kumpulan data catatan pelanggan.
Anda mungkin perlu melakukan praproses data dengan menormalkan nilai, menghapus data yang tidak valid atau hilang, mengonversi data kategorikal menjadi nilai numerik, dan menskalakan data sehingga nilainya berada dalam rentang tertentu.
Setelah data diproses sebelumnya, data tersebut kemudian dapat digunakan untuk pembelajaran mesin atau tugas analisis data lainnya.
3. Pengembangan fitur: adalah proses pembuatan variabel baru dari data yang sudah ada, baik melalui penggabungan variabel yang sudah ada maupun dengan mengekstraksi informasi baru dari data yang sudah ada.
Untuk memahami ini, katakanlah Anda memiliki kumpulan data yang berisi catatan pelanggan yang menyertakan informasi tentang usia, jenis kelamin, lokasi, dan riwayat pembelian mereka.
Anda dapat membuat fitur baru dari data ini dengan menggabungkan variabel yang ada, seperti membuat fitur “total pembelian” dengan menambahkan semua riwayat pembelian pelanggan, atau dengan mengekstrak informasi baru dari data yang ada, seperti membuat fitur “kepadatan lokasi”. dengan menghitung jumlah pelanggan di lokasi tertentu.
Fitur baru ini kemudian dapat digunakan untuk pembelajaran mesin atau tugas analisis data lainnya.
4. Pengembangan dan penyempurnaan model: adalah proses membuat, menguji, dan menyempurnakan model matematika agar sesuai dengan data yang diamati.
Proses ini biasanya melibatkan pemilihan jenis model yang sesuai, menentukan parameter dan variabel, dan menyesuaikan model dengan data yang diamati.
Setelah model dibuat, model tersebut dapat digunakan untuk membuat prediksi dan menjelaskan hubungan antar variabel.
Salah satu contohnya adalah model pembelajaran mesin yang dilatih pada kumpulan data untuk memprediksi churn pelanggan.
Model akan diuji pada kumpulan data validasi, dan setiap kesalahan atau ketidakkonsistenan dalam kinerja model akan diidentifikasi dan diatasi dengan menyempurnakan parameter model atau memperkenalkan fitur baru untuk meningkatkan akurasi model.
Setelah model disempurnakan dan berfungsi dengan tepat, model tersebut dapat digunakan untuk analitik prediktif dan aplikasi lainnya.
5. Evaluasi model: Ini melibatkan penilaian akurasi, keandalan, dan validitas model, sementara tata kelola model melibatkan penetapan kebijakan dan prosedur untuk memastikan bahwa model tersebut digunakan dengan cara yang etis dan bertanggung jawab.
Evaluasi dan tata kelola model penting untuk memastikan bahwa model digunakan secara bertanggung jawab dan memberikan hasil yang dapat diandalkan.
Contoh evaluasi dan tata kelola model adalah penggunaan proses penilaian risiko untuk mengevaluasi keakuratan dan keandalan model sebelum digunakan untuk pengambilan keputusan.
Proses ini melibatkan penilaian data yang digunakan untuk melatih model, menilai kinerja model pada kumpulan data validasi, dan menilai apakah model tersebut sehat secara etis dan digunakan dengan cara yang bertanggung jawab.
Jika ada masalah yang teridentifikasi, model dapat direvisi atau disesuaikan untuk meningkatkan akurasi dan keandalan serta untuk memastikan bahwa model digunakan secara bertanggung jawab.
6. Penyajian dan inferensi model: adalah proses penerapan model pembelajaran mesin terlatih dan menggunakannya untuk membuat prediksi dan inferensi tentang data.
Proses ini biasanya melibatkan penggelaran model ke server, yang dapat digunakan untuk membuat prediksi dan inferensi pada data baru.
Selain itu, prosesnya mungkin melibatkan pengumpulan umpan balik dari pengguna untuk memastikan bahwa model memberikan prediksi dan kesimpulan yang akurat dan bermanfaat.
Mari kita pahami ini dengan contoh menggunakan model pembelajaran mendalam terlatih untuk mengklasifikasikan gambar.
Model tersebut akan disebarkan ke server, yang dapat digunakan untuk membuat prediksi pada gambar baru.
Untuk memastikan kinerja model akurat, model akan dievaluasi pada kumpulan data validasi.
Model juga akan dipantau untuk memastikan bahwa model tersebut bekerja dengan benar dan efisien, dan umpan balik dari pengguna akan dikumpulkan untuk memastikan bahwa model memberikan prediksi yang akurat dan bermanfaat.
7. Pemantauan model: adalah proses pelacakan kinerja model pembelajaran mesin dari waktu ke waktu.
Ini melibatkan metrik pelacakan seperti akurasi, presisi, daya ingat, dan tingkat positif palsu untuk memastikan bahwa model bekerja seperti yang diharapkan.
Selain itu, pemantauan model juga dapat digunakan untuk mendeteksi pergeseran data yang dapat memengaruhi akurasi model, memungkinkan model untuk diperbarui atau ditingkatkan jika perlu.
8. Pelatihan ulang model: adalah proses memperbarui model untuk meningkatkan akurasi dan kinerjanya.
Proses ini melibatkan pengumpulan data baru, pelatihan ulang model pada data baru, dan kemudian menerapkan model yang diperbarui.
Pelatihan ulang model dapat digunakan untuk meningkatkan akurasi model, serta menyesuaikan model dengan kondisi yang berubah dan data baru.
Proses ini juga dapat digunakan untuk mendeteksi potensi penyimpangan atau bias dalam kinerja model, sehingga model dapat disesuaikan atau diperbarui seperlunya.
MLOps adalah proses yang berkelanjutan dan tidak pernah berakhir
Seperti yang telah kita bahas di atas, harus jelas bahwa pengembangan ML berjalan dalam satu lingkaran, dan MLOps juga berjalan secara berkelanjutan.
Setiap komponen bekerja bersama-sama dan sama pentingnya. Mengabaikan komponen apa pun akan menghasilkan hasil yang tidak diinginkan dan tidak dapat diprediksi.
Sudah menjadi rahasia umum sekarang bahwa 80% inisiatif AI-ML menghasilkan kegagalan.
Tidak menyiapkan strategi MLOps yang tepat adalah salah satu alasan utama di balik itu.
Mengapa Memiliki Strategi MLOps yang Tepat itu Penting? awalnya diterbitkan di Menuju AI di Medium, di mana orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
