Pengarang: Salvatore Raieli
Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda membuat produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.
PEER (Rencanakan, Edit, Jelaskan, Ulangi): berkolaborasi dengan AI untuk menulis teks
Gambar oleh penulis menggunakan OpenAI DALL-E
Dalam beberapa tahun terakhir, model bahasa telah menunjukkan kemampuan luar biasa (peringkasan teks, klasifikasi, dan pembuatan). Kami telah terbiasa dengan GPT-3 dan berbagai aplikasi yang memungkinkan penulisan menggunakan prompt teks singkat. Di sisi lain, model-model ini menghasilkan teks akhir tetapi tidak dapat mengeditnya (modifikasi, pengeditan, dan sebagainya). Di dunia nyata, alur kerja membutuhkan banyak pengguna untuk dapat mengedit teks menjadi versi final berkualitas tinggi.
Baru-baru ini, model baru yang diterbitkan oleh META (bekerja sama dengan Universitas Carnegie Mellon dan INRIA) menghasilkan teks dengan cara yang mirip dengan yang dilakukan manusia: menyusun draf, melakukan pengeditan, menambahkan saran, dan bahkan mampu menjelaskan tindakannya.
Meta AI on Twitter: “(1/4) Menulis seringkali merupakan proses kolaboratif: Kami mulai dengan draf, meminta saran & berulang kali melakukan perubahan. Hari ini kami memperkenalkan PEER, model yang dilatih untuk meniru proses ini, memungkinkannya untuk menulis teks secara bertahap dan berkolaborasi dengan manusia dengan cara yang lebih alami. pic.twitter.com/J92hIq8oRe / Twitter”
(1/4) Menulis seringkali merupakan proses kolaboratif: Kami mulai dengan draf, meminta saran & berulang kali membuat perubahan. Hari ini kami memperkenalkan PEER, model yang dilatih untuk meniru proses ini, memungkinkannya menulis teks secara bertahap dan berkolaborasi dengan manusia dengan cara yang lebih alami. pic.twitter.com/J92hIq8oRe
Seperti yang penulis nyatakan, model bahasa biasanya menghasilkan keluaran dalam satu lintasan dari kiri ke kanan (mereka memprediksi satu kata demi kata). Ini bukan cara manusia menghasilkan teks. Biasanya, pendekatannya lebih kolaboratif, di mana penulis yang sama atau penulis lain membuat perubahan atau menyempurnakan teks. Ini juga penting karena tidak semua teks yang diproduksi oleh model adalah teks berkualitas (kita berbicara tentang halusinasi ketika model menghasilkan konten yang tidak masuk akal dalam wacana). Selain itu, model bahasa tidak menjelaskan mengapa mereka menghasilkan output.
Model yang diusulkan oleh META bertindak sesuai dengan pola yang didefinisikan pada gambar: model mengusulkan rencana (mis., mengusulkan pengeditan), rencana ini kemudian diwujudkan dengan tindakan (editing), dan tindakan ini kemudian dijelaskan (melalui tekstual). penjelasan atau link ke referensi), dan proses diulang sampai teks memuaskan.
“Gambar 1: Ilustrasi langkah-langkah yang dilakukan oleh PEER, model bahasa kolaboratif kami: Pertama, pengguna atau model menentukan rencana yang menjelaskan tindakan yang ingin mereka lakukan; tindakan ini kemudian direalisasikan melalui edit. Model dapat menjelaskan suntingan baik dalam bahasa alami maupun dengan menunjuk ke sumber yang relevan. Kami dapat mengulangi proses ini hingga teks yang dihasilkan tidak memerlukan pembaruan lebih lanjut.” — Dari artikel asli (sumber)
Pendekatan iteratif ini tidak hanya memungkinkan model untuk menguraikan tugas rumit menulis teks faktual yang konsisten menjadi beberapa subtugas yang lebih mudah, tetapi juga memungkinkan manusia untuk campur tangan kapan saja dan mengarahkan model ke arah yang benar, baik dengan menyediakan kebutuhan mereka sendiri. rencana dan komentar sendiri atau dengan mengedit sendiri. — artikel asli (sumber)
Para penulis meringkas hasilnya:
memperkenalkan model kolaboratif. Penciptaan model untuk mengisi bagian dari proses penulisan dan memanfaatkan teknik pelatihan mandiri. Ini membuatnya berlaku untuk domain apa pun. Model ini merepresentasikan state-of-the-art dan mengungguli beberapa baseline. Penulis merilis beberapa model PEER, data, dan kode untuk melatihnya.
Tentu saja, tantangan pertama untuk dapat melatih model seperti itu adalah menemukan kumpulan data yang tepat. Memang, seperti yang penulis nyatakan:
Ini terutama karena riwayat edit sulit diperoleh dari perayapan web, sumber data terpenting untuk model bahasa saat ini (Brown et al., 2020; Rae et al., 2021). Tetapi bahkan dalam kasus di mana riwayat suntingan dapat diperoleh (misalnya, dengan mengumpulkan perayapan halaman identik pada waktu yang berbeda) atau dihasilkan secara sintetik, suntingan biasanya tidak dianotasi dengan rencana, dokumen, atau penjelasan.
Penulis, untuk mengatasi masalah tersebut, memfilter entri berkualitas buruk (kualitas rendah, dibuat oleh bot dan vandalisme) dan pemrosesan awal lainnya. Mereka juga melengkapi kumpulan data dengan pembuatan data sintetik.
Tabel tersebut meringkas dataset yang digunakan (menunjukkan juga set pelatihan dan pengujian). Dari artikel asli (sumber)
Untuk alasan ini, penulis menggunakan Wikipedia. Faktanya, situs ini tidak hanya menyediakan teks berkualitas pada berbagai topik tetapi juga memiliki riwayat edit lengkap (komentar, kutipan). Tentu saja, menggunakan satu sumber juga memiliki kekurangan: modelnya khusus untuk satu terminologi dan akan menghasilkan teks yang mirip dengan set pelatihan. Selain itu, penulis mencatat bahwa banyak komentar di Wikipedia yang berisik, dan tidak semua dokumen berisi informasi yang memadai.
Selain itu, untuk mengatasi masalah ini, penulis memutuskan untuk melatih beberapa model yang masing-masing mempelajari bagian dari proses penyuntingan:
PEER-Edit: model belajar merencanakan dan merealisasikan pengeditan. ia mempelajari cara mengedit sendiri, tetapi pengguna juga dapat memberikan suntingan PEER-Undo: ia dilatih untuk menebak dan membatalkan edit terbaru PEER-Explain: ia dilatih untuk menghasilkan penjelasan PEER-Document: ia dilatih untuk menghasilkan dokumen yang memberikan informasi latar belakang yang berguna untuk pengeditan
Dari artikel asli (sumber)
Untuk melatih PEER sebagai model tujuan umum, yang kemudian cocok untuk bidang yang berbeda dan tugas kolaboratif yang berbeda, penulis melakukan beberapa percobaan:
Dapatkah PEER mengusulkan rencana dan pengeditan di domain yang tidak menyediakan contoh? Apakah pelatihan mandiri cukup? Bisakah PEER mengikuti proposisi modifikasi manusia? Bisakah PEER menyarankan kutipan yang tepat? dan apakah dokumen-dokumen itu berguna? Apakah PEER lebih unggul dari model single-pass?
Untuk pertanyaan pertama, penulis mengumpulkan halaman ensiklopedis lain dari Wikipedia, posting dari Wikinews, dan posting dari subforum Memasak, Berkebun, Hukum, Film, Politik, Perjalanan, dan Tempat Kerja di StackExchange. PEER, seperti yang ditunjukkan oleh hasil, mampu menerapkan apa yang telah dipelajarinya dari cerita Wikipedia ke bidang lain. Selain itu, Model tanpa rencana dan dokumen mengalami penurunan performa.
Dari artikel asli (sumber)
Penulis juga memeriksa apakah PEER dapat melakukan tugas-tugas hilir lainnya menggunakan kumpulan data spesifik yang berbeda (koreksi kesalahan tata bahasa, penyederhanaan teks, mengedit, mengurangi atau menghapus kata-kata bias dalam teks, menemukan pembaruan untuk halaman Wikipedia, menyisipkan kalimat di Wikipedia). PEER juga dibandingkan dengan Tk-instruksi, T0, dan T0++ (varian dari T5), GPT3, dan OPT (replika open-source dari GPT3). PEER mengungguli model ini meskipun GPT3 dan OPT lebih besar.
Dari artikel asli (sumber)
Selain itu, PEER mampu menyajikan kutipan dan kutipan dari makalah referensi, memungkinkan penjelasan dan verifikasi yang lebih baik. Penulis juga memperkenalkan dua kumpulan data baru (NE-Cite dan NE-Quote) untuk melihat apakah model tersebut mampu mengutip bagian tertentu daripada seluruh dokumen. Model berhasil menyarankan kutipan yang sesuai untuk teks.
Dari artikel asli (sumber)
Selanjutnya, penulis menguji kemampuan model untuk menghasilkan teks dari awal (text generation) dengan memilih tiga kemungkinan skenario: model sendiri, dengan saran rencana manusia, dan model kolaboratif. Hasilnya menunjukkan bahwa sistem kolaboratif adalah yang terbaik.
Penulis juga menunjukkan contoh sesi kolaboratif dengan PEER:
Seperti yang dapat dilihat pada Gambar 4 (kiri), PEER mampu mengekstraksi dan menyusun informasi dari berbagai dokumen untuk mengikuti rencana yang disediakan. Itu membuat beberapa asumsi yang masuk akal, seperti model yang dikembangkan oleh Meta AI, meskipun ini tidak dinyatakan secara eksplisit dalam dokumen mana pun, dan dapat menunjuk ke daftar penulis (dokumen 0) sebagai referensi untuk klaim ini. Tanggapan model terhadap rencana kelima (“Tambahkan info tentang skandal”) mengilustrasikan masalah mendasar dengan banyak model bahasa terlatih: Ia menerima premis rencana ini dan mengikutinya dengan berhalusinasi tentang skandal sensor internet. Namun, tidak seperti model kiri-ke-kanan tradisional, PEER mampu mengoreksi kesalahan informasi yang dihasilkannya pada langkah berikutnya
Dari artikel asli (sumber)
Para penulis membahas beberapa keterbatasan:
Mendekati. Salah satu batasannya adalah kenyataan bahwa asumsi dibuat yang tidak selalu mungkin di dunia nyata (makalah tersedia untuk setiap edit). Selain itu, kutipan dapat menyesatkan, karena ketika model berhalusinasi, kutipan tersebut memberikan kesan bahwa model tersebut lebih berwibawa dan membingungkan pengguna. Juga, representasi input dan output membuatnya tidak efisien untuk menangani seluruh dokumen. Evaluasi. Keterbatasan pertama adalah bahwa semua evaluasi dilakukan dalam bahasa Inggris. Para penulis juga menyatakan bahwa mereka telah mengeksplorasi potensi kolaboratif dengan cara yang sangat terbatas (ini, bagaimanapun, akan membutuhkan mesin pencarian dengan cepat yang memungkinkan dokumen ditemukan di Internet).
Kesimpulannya, model ini menghadirkan pendekatan yang sangat menarik, di mana memanfaatkan model bahasa sebagai asisten dapat menyarankan modifikasi (“dari suntingan sintaksis dan gaya hingga mengubah makna teks dengan menghapus, memperbarui, atau menambahkan informasi”) di domain yang berbeda. Meski modelnya memiliki beberapa keterbatasan, ini adalah langkah pertama untuk asisten penulisan AI yang berkolaborasi dengan manusia. Meskipun penulis telah mengumumkan bahwa itu akan tersedia saat ini, tidak ada repositori sumber terbuka. Apa pendapat Anda tentang itu? Penasaran ingin mencobanya? Beri tahu saya di komentar.
Jika Anda menemukan itu menarik:
Anda dapat mencari artikel saya yang lain, Anda juga dapat berlangganan untuk mendapatkan pemberitahuan ketika saya menerbitkan artikel, dan Anda juga dapat menghubungkan atau menghubungi saya di LinkedIn. Terima kasih atas dukunganmu!
Ini tautan ke repositori GitHub saya, tempat saya berencana untuk mengumpulkan kode dan banyak sumber daya yang terkait dengan pembelajaran mesin, kecerdasan buatan, dan banyak lagi.
GitHub – SalvatoreRa/tutorial: Tutorial tentang pembelajaran mesin, kecerdasan buatan, ilmu data dengan penjelasan matematika dan kode yang dapat digunakan kembali (dalam python dan R)
Atau jangan ragu untuk melihat beberapa artikel saya yang lain di Medium:
https://medium.com/mlearning-ai/generate-a-piano-cover-with-ai-f4178bc9cb30
PEER META: Model Bahasa Kolaboratif awalnya diterbitkan di Towards AI on Medium, di mana orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
