Dari Klasifikasi ke Regresi Ordinal – Menuju AI

Dari Klasifikasi ke Regresi Ordinal – Menuju AI

Pengarang: Topaz Gilad

Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.

Buka Potensi Label Anda

AI-generated (Midjourney): “hibrida singa-gajah, ilustrasi, buku anak-anak” dan “gajah dengan wajah singa”

“Apakah singa lebih dekat menjadi jerapah atau gajah?”

Itu adalah pertanyaan yang tidak ditanyakan oleh siapa pun. Pernah. Mengklasifikasikan singa, gajah, dan jerapah adalah tugas klasifikasi yang mudah. Dengan demikian, sebagian besar dapat diatasi dengan kerugian lintas-entropi. Haruskah tugas mengklasifikasikan seseorang sebagai anak/dewasa/lansia ditangani dengan cara yang sama?

Dalam posting blog ini, kami akan meninjau pendekatan dan makalah praktik terbaik untuk:
(1) Mengatasi klasifikasi memerintahkan.
(2) Label klasifikasi kasar menjadi prediksi regresi kontinu.
(3) Bagaimana memilih.
(4) Bagaimana cara mengevaluasi.
Makalah yang diulas dalam posting ini berfokus pada model pembelajaran mendalam, tetapi konsep utama berlaku dan dapat diadaptasi untuk arsitektur ML lainnya juga.

Label Diskrit di Dunia Berkelanjutan

“Dunia itu terus menerus, tetapi pikiran itu diskrit.”
– David Mumford, ICM 2002

Kami sering mendefinisikan kategori saat memecah masalah dunia nyata menjadi solusi berbasis ML. Namun, nilai target sebenarnya mungkin kontinu atau setidaknya berurutan. Ini adalah sesuatu yang perlu dipertimbangkan dan bahkan dimanfaatkan dalam desain model ML Anda. Apakah Anda menghadapi apa yang tampak sebagai masalah klasifikasi? Luangkan waktu sejenak untuk memahami hubungan tersembunyi antara “kelas” Anda.

Mari kita daftar beberapa contoh klasifikasi:
– Peringkat online: 1-5 bintang.
– Indeks diagnosis medis – stadium 1/2/3.
– Estimasi pose wajah[1]- 45/90/180 derajat.
– Perkiraan usia dan sebagainya.

Kiri ke kanan: Prediksi usia: https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/. kredit gambar: https://en.wikipedia.org/wiki/What%27s_My_Age_Again%3F Peringkat prediksi (ilmakiage.com), indeks keparahan medis dVRS, Zhu et al. https://www.ahajournals.org/doi/10.1161/strokeaha.110.591586

Ketahui Data Anda

Mendekati desain solusi ML, beberapa langkah pertama adalah:
(a) Pahami data apa yang Anda miliki saat ini / data apa yang kemungkinan akan Anda peroleh dalam waktu yang wajar. Dalam beberapa kasus, Anda akan memiliki pengukuran berkelanjutan yang terkait dengan data Anda. Misalnya, pengukuran darah atau informasi usia pasti. Lebih sering daripada tidak, itu tidak akan tersedia. Anotasi manual untuk label berbutir halus adalah tugas yang sangat sulit dan memakan waktu. Oleh karena itu, dalam banyak kasus, yang Anda miliki hanyalah label kategoris kasar. Terutama di mana pendapat manusia ahli diperlukan.

(b) Jelajahi domain. Minta pakar domain data Anda untuk mengklarifikasi hubungan antara kelas target. Setiap sedikit pengetahuan atau asumsi sebelumnya yang mereka asumsikan. Pertanyakan format output yang mereka minta. Misalnya: Dapatkah bilangan real halus antara 0 hingga 1 menjadi penggunaan produk yang lebih baik daripada prediktor skor siswa yang gagal/lulus/sangat baik?

Jika kelas Anda memang independen, ini bukan posting blog untuk Anda!
Namun, jika mereka tergantung, tanyakan pada diri Anda:
(1) Apakah label memiliki pesanan?
(2) Apakah Anda hanya peduli dengan pesanan, atau apakah beberapa label lebih dekat dengan label terdekat daripada yang lain? Apakah “langkah” jarak antar label seragam?

Regresi untuk Penyelamatan

Regresi logistik
Sebagian besar akrab dengan regresi logistik untuk membedakan antar kelas. Sementara label target bersifat diskrit, perkiraan kepercayaan kelas adalah kontinu.

Mari kita perhatikan kasus berikut ini: Akibat salah mengklasifikasikan kelas A sebagai kelas B tidak separah kesalahan antara A dan C. Salah satu pendekatan yang dapat dilakukan adalah dengan menggunakan weighted loss dengan koefisien risiko dari masing-masing jenis kesalahan. [2].

Regresi Ordinal
Pendekatan lain dapat dengan menyandikan label vektor satu panas secara berbeda, seperti yang disarankan dalam makalah NNRank [3]. Sebagai contoh langsung, saya merekomendasikan posting Gruber dan Kotwani. Perhatikan bahwa jika pemodelan sebagai agregasi dari ansambel pengklasifikasi biner, inkonsistensi dalam prediksi kelas dapat terjadi. Cao dkk. 2020 CORAL menyarankan solusi untuk mencapai konsistensi peringkat [4].

Gambar dari Cao dkk 2020 CORAL [4]: peringkat yang tidak konsisten saat menggabungkan pengklasifikasi biner (kiri) dibandingkan dengan hasil yang diinginkan (kanan)

Regresi Linier — Melihat Melampaui Label yang Tersedia

Netflix meluncurkan baru-baru ini dengan acungan jempol. Dengan itu, mereka memperluas 3 (tidak suka/tidak suka/suka) menjadi 4 kategori. Ini adalah perbedaan yang lebih baik dalam apa yang dulunya merupakan kategori “suka”: disukai vs. sangat disukai. Bayangkan Anda memiliki banyak suara “suka” kasar dari masa lalu dan hanya beberapa suara “dua jempol” baru. Memperkirakan skor kepuasan pengguna (bukan kelas) memberi Anda kemampuan beradaptasi yang lebih baik terhadap masukan pengguna baru.

Qin et al BioeNet 2020 menampilkan strategi untuk memanfaatkan label kasar menjadi regresi linier berbutir halus [5]. Salah satu hal penting yang perlu dipertimbangkan saat mengambil jalan itu adalah mengevaluasi tatanan kelas dalam Anda. Nanti kita bahas caranya.

Angka dari Qin et al. BioeNet 2020: Mempelajari estimasi berbutir halus dari label kasar [5]

Manfaat lain yang mungkin dari mengubah label target bilangan bulat diskrit Anda menjadi bilangan real adalah efek positif dari label lunak. Seperti yang ditunjukkan oleh tim Google Brain (2020), menggunakan label lunak tidak hanya mengurangi rasa percaya diri yang berlebihan tetapi juga meningkatkan kalibrasi bahkan tanpa penskalaan suhu [6–8].

Pastikan Anda Berada di Arah yang Benar

Bentuk dan Lokasi Cluster
Saya sangat percaya pada analisis ruang fitur tertanam DNN Anda. Buat T-SNE dari ruang fitur set pengujian Anda. Ikuti ilustrasi pada gambar di bawah ini. Dengan kerugian lintas-entropi, Anda mengharapkan setiap kluster untuk memadat (meminimalkan varians kelas dalam) dan menjauh satu sama lain (memaksimalkan varians intra-kelas). Namun, dalam regresi ordinal, Anda berharap untuk melihat klaster dalam urutan kedekatan yang tepat di ruang fitur. Untuk regresi linier dengan kerugian MSE, misalnya, Anda tidak hanya berharap untuk melihat urutan yang benar tetapi juga urutan yang berkelanjutan antara kelas dengan margin lebih sedikit dari satu cluster ke cluster berikutnya. Jika Anda masih melihat margin yang mencolok, ini mungkin juga menunjukkan bahwa set pengujian Anda tidak memiliki contoh batas.

Ilustrasi oleh penulis

Hubungan Antar Sampel dari Kategori yang Sama
Jika Anda bisa mendapatkan beberapa sampel berlabel berbutir halus, Anda dapat menggunakannya sebagai set pengujian untuk melihat apakah model Anda dapat digeneralisasi dengan cukup baik dalam urutan kelas dalam yang tepat. Misalnya, bayangkan Anda mencoba memperkirakan usia seseorang, tetapi sejumlah besar data berlabel yang Anda miliki adalah label kasar (0–3/4–14/remaja/20 sesuatu/30 sesuatu dan seterusnya). Jika Anda memiliki beberapa sampel orang dari “ember usia” yang sama tetapi dengan data label usia yang tepat (misalnya usia 4, usia 8, usia 14), periksa apakah lokasi mereka di ruang fitur diurutkan dengan benar dan prediksi keluaran dipesan seperti yang Anda harapkan.

Intinya

Pikirkan tentang hubungan antara kelas target Anda. Mereka mungkin tergantung atau dipesan.

Pertimbangkan berbagai jenis regresi untuk mendapatkan lebih banyak dari label Anda.

Visualisasikan ruang fitur Anda dan uji juga urutan kelas dalam dari keluaran yang diprediksi.

Sementara ketika diberikan satu set kelas kecil yang mungkin, pendekatan klasifikasi mungkin tampak sebagai arah yang jelas, mengingat hubungan antara kelas adalah kunci untuk meningkatkan ML Anda dan kadang-kadang mungkin sangat penting untuk kesuksesan!

Referensi

[1] Beyer, L., Hermans, A. dan Leibe, B., 2015, Oktober. Biternion nets: Regresi pose kepala terus menerus dari label pelatihan diskrit. Dalam Konferensi Jerman tentang Pengenalan Pola (hlm. 157–168). Pegas, Cham.

[2] Polat G, Ergenc I, Kani HT, Alahdab YO, Atug O, Temizel A. Class Distance Weighted Cross-Entropy Loss untuk Estimasi Keparahan Kolitis Ulseratif. pracetak arXiv arXiv:2202.05167. 2022 Februari 9

[3] Cheng, J., Wang, Z. dan Pollastri, G., 2008, Juni. Pendekatan jaringan saraf untuk regresi ordinal. Pada konferensi gabungan internasional IEEE 2008 tentang jaringan saraf (konggres dunia IEEE tentang kecerdasan komputasional) (hlm. 1279-1284). IEEE.

[4] Cao, W., Mirjalili, V. dan Raschka, S., 2020. Peringkat regresi ordinal yang konsisten untuk jaringan saraf dengan aplikasi untuk estimasi usia. Surat Pengenalan Pola, 140, hlm.325–331.

[5] Qin, Z., Chen, J., Jiang, Z., Yu, X., Hu, C., Ma, Y., Miao, S. dan Zhou, R., 2020. Mempelajari estimasi halus keadaan fisiologis dari label berbutir kasar dengan restorasi distribusi. Laporan Ilmiah, 10(1), hlm.1–10.

[6] Müller, R., Kornblith, S. dan Hinton, GE, 2019. Kapan perataan label membantu? Kemajuan dalam sistem pemrosesan informasi saraf, 32.

[7] Guo, C., Pleiss, G., Sun, Y. dan Weinberger, KQ, 2017, Juli. Pada kalibrasi jaringan saraf modern. Dalam konferensi internasional tentang pembelajaran mesin (hlm. 1321–1330). PMLR.

[8] Minderer, M., Djolonga, J., Romijnders, R., Hubis, F., Zhai, X., Houlsby, N., Tran, D. dan Lucic, M., 2021. Meninjau kembali kalibrasi jaringan saraf modern. Kemajuan dalam Sistem Pemrosesan Informasi Saraf, 34, pp.15682-15694.

[6] Müller, R., Kornblith, S. dan Hinton, GE, 2019. Kapan perataan label membantu? Kemajuan dalam sistem pemrosesan informasi saraf, 32.

[7] Guo, C., Pleiss, G., Sun, Y. dan Weinberger, KQ, 2017, Juli. Pada kalibrasi jaringan saraf modern. Dalam konferensi internasional tentang pembelajaran mesin (hlm. 1321–1330). PMLR.

[8] Minderer, M., Djolonga, J., Romijnders, R., Hubis, F., Zhai, X., Houlsby, N., Tran, D. dan Lucic, M., 2021. Meninjau kembali kalibrasi jaringan saraf modern. Kemajuan dalam Sistem Pemrosesan Informasi Saraf, 34, pp.15682-15694.

Dari Klasifikasi ke Regresi Ordinal awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI

Author: Jeffrey Hayes