Kecerdasan buatan yang dilatih menggunakan teks dan gambar dari AI lain, yang telah dilatih menggunakan output AI, pada akhirnya dapat menjadi tidak berguna secara fungsional.
AI seperti ChatGPT, yang dikenal sebagai model bahasa besar (LLM), menggunakan repositori teks yang ditulis oleh manusia yang sangat besar dari internet untuk membuat model statistik bahasa manusia, sehingga mereka dapat memprediksi kata-kata mana yang paling mungkin muncul berikutnya dalam sebuah kalimat. Sejak LLM tersedia, internet telah dibanjiri dengan teks yang dihasilkan oleh AI, tetapi efeknya terhadap AI di masa depan masih belum jelas.
Kini, Ilia Shumailov dari University of Oxford dan rekan-rekannya menemukan bahwa model AI yang dilatih menggunakan output dari AI lain menjadi sangat bias, terlalu sederhana, dan tidak terhubung dengan realitas – masalah yang mereka sebut sebagai keruntuhan model.
Kegagalan ini terjadi karena cara model AI merepresentasikan teks secara statistik. AI yang melihat frasa atau kalimat berkali-kali akan cenderung mengulangi frasa ini dalam sebuah output, dan kecil kemungkinannya untuk menghasilkan sesuatu yang jarang dilihatnya. Ketika model baru kemudian dilatih dengan teks dari AI lain, mereka hanya melihat sebagian kecil dari kemungkinan keluaran AI asli. Subset ini tidak mungkin berisi output yang lebih jarang sehingga AI baru tidak akan memasukkannya ke dalam kemungkinan outputnya sendiri.
Model ini juga tidak memiliki cara untuk mengetahui apakah teks yang dihasilkan oleh AI yang dilihatnya sesuai dengan kenyataan, yang dapat menyebabkan lebih banyak informasi yang salah daripada model yang ada saat ini.
Kurangnya data pelatihan yang cukup beragam diperparah oleh kekurangan dalam model itu sendiri dan cara mereka dilatih, yang tidak selalu secara sempurna mewakili data yang mendasarinya. Shumailov dan timnya menunjukkan bahwa hal ini mengakibatkan keruntuhan model untuk berbagai model AI yang berbeda. “Karena proses ini terus berulang, pada akhirnya kita akan sampai pada kondisi kegilaan di mana yang terjadi hanyalah kesalahan, kesalahan, dan kesalahan, dan besarnya kesalahan jauh lebih tinggi daripada yang lain,” kata Shumailov.
Seberapa cepat proses ini terjadi tergantung pada jumlah konten yang dihasilkan AI dalam data pelatihan AI, dan jenis model yang digunakan, tetapi semua model yang terpapar dengan data AI pada akhirnya akan runtuh.
Satu-satunya cara untuk menyiasatinya adalah dengan memberi label dan mengecualikan output yang dihasilkan AI, kata Shumailov. Namun hal ini tidak mungkin dilakukan dengan baik, kecuali Anda memiliki antarmuka yang memungkinkan manusia untuk memasukkan teks, seperti antarmuka ChatGPT milik Google atau OpenAI – sebuah dinamika yang dapat meningkatkan keuntungan finansial dan komputasi yang signifikan dari perusahaan teknologi besar.
Beberapa kesalahan dapat dikurangi dengan menginstruksikan AI untuk memberikan preferensi pada data pelatihan dari sebelum konten AI membanjiri web, kata Vinu Sadasivan di University of Maryland.
Mungkin juga manusia tidak akan memposting konten AI ke internet tanpa mengeditnya sendiri terlebih dahulu, kata Florian Tramer dari Swiss Federal Institute of Technology di Zurich. “Bahkan jika LLM itu sendiri bias dalam beberapa hal, proses dorongan dan penyaringan oleh manusia dapat mengurangi hal ini untuk membuat hasil akhir lebih dekat dengan bias manusia yang asli,” katanya.
Reference:
arxiv DOI: 10.48550/arXiv.2305.17493