Kemampuan kecerdasan buatan generatif (generative artificial intelligence/genAI) untuk menciptakan teks, gambar, audio, dan video yang tampaknya otentik menimbulkan kekhawatiran di seluruh dunia. Ketika banyak negara menuju tempat pemungutan suara tahun ini, potensi konten semacam itu untuk memicu misinformasi dan memanipulasi narasi politik merupakan tambahan yang merepotkan dalam daftar tantangan yang dihadapi oleh otoritas pemilu.
Selama 12 bulan terakhir, beberapa contoh terkenal dari deepfake yang diproduksi oleh genAI telah muncul. Ini termasuk gambar kandidat presiden AS dari Partai Republik Donald Trump yang ditemani oleh sekelompok pendukung Afrika-Amerika, sebuah rekaman audio dari seorang politisi Slovakia yang mengklaim bahwa ia telah mencurangi pemilu yang akan datang, dan penggambaran sebuah ledakan di luar gedung Pentagon milik Departemen Pertahanan AS.
Namun, terlepas dari perhatian besar yang diperoleh dari deepfakes semacam itu, studi sistematis tentang dampak genAI terhadap misinformasi masih terbatas. Hal ini terutama karena akses ke data yang komprehensif dibatasi oleh masalah privasi dan batasan yang diberlakukan oleh platform media sosial. Banyak pertanyaan krusial yang masih belum terjawab.
Misalnya, masih belum jelas seberapa umum ‘berita palsu’ yang diproduksi oleh AI – hanya sedikit data konkret yang tersedia tentang seberapa sering teknologi AI digunakan untuk membuat konten yang menipu. Para peneliti juga belum memahami sejauh mana informasi palsu yang dihasilkan oleh AI dibagikan di media sosial, atau dampaknya terhadap opini publik. Ketidakpastian ini menggarisbawahi tantangan dalam menangani misinformasi yang digerakkan oleh AI dan menyoroti perlunya penelitian dan pemantauan yang lebih kuat untuk memahami implikasi penuh dari teknologi ini.
Selama lebih dari lima tahun, kami telah bekerja di India untuk memahami bagaimana partai-partai politik menggunakan platform perpesanan WhatsApp untuk menyebarkan informasi yang salah1,2. Selama setahun terakhir, kami telah mengumpulkan data dari pengguna aplikasi di daerah pedesaan India melalui metode donasi data yang menjaga privasi dan bersifat sukarela3.
WhatsApp merupakan saluran penting untuk komunikasi dan diskusi politik di India4, seperti halnya di negara-negara seperti Brasil dan Kenya. Penelitian kami mencakup banyak pengguna yang baru mengenal Internet, dan yang merupakan proporsi signifikan dari populasi online di pedesaan India. Pengguna seperti itu cenderung kurang familiar dengan kemampuan genAI dan berpotensi lebih rentan terhadap pengaruhnya daripada pengguna yang sudah berpengalaman. Di sini kami membagikan beberapa temuan dari penelitian kami yang sedang berlangsung.
Seberapa umumkah konten genAI?
Kami memilih untuk memfokuskan penelitian kami di Uttar Pradesh, negara bagian terbesar di India, dengan populasi lebih dari 220 juta jiwa. Kami mendekati hampir 500 pengguna, yang dipilih untuk memberikan sampel yang representatif di seluruh variabel demografis seperti usia, agama, dan kasta. Meskipun jumlah ini mungkin terlihat kecil, namun ini adalah salah satu sampel terbesar yang diperoleh dengan meminta pengguna WhatsApp untuk menyumbangkan data di ponsel mereka untuk tujuan penelitian. Kami juga mengamati pola perpesanan dalam jangka waktu yang cukup lama untuk memberikan gambaran yang dapat diandalkan tentang bagaimana percakapan politik berlangsung. Kami melakukan ini dengan memantau semua grup WhatsApp non-personal, mengunduh setiap pesan baru secara otomatis. Kami sangat berhati-hati dalam menghapus semua pengidentifikasi pribadi sebelum data disimpan dan dianalisis, dan untuk memastikan bahwa proses persetujuan dilakukan secara menyeluruh dan informatif3.
Kumpulan pesan pertama dikumpulkan antara bulan Agustus dan Oktober tahun lalu, tepat sebelum pemilihan umum provinsi. Hal ini menghasilkan kumpulan data sekitar dua juta pesan dari sebagian besar grup WhatsApp pribadi, yang memberikan kami, untuk pertama kalinya, gambaran tentang apa yang dilihat dan didiskusikan oleh para pengguna WhatsApp biasa. Topik-topiknya sangat beragam, mencakup agama, pendidikan, kehidupan desa, dan masalah-masalah nasional dan lokal lainnya.
Kami sangat tertarik dengan konten yang menyebar secara viral di WhatsApp – yang ditandai oleh aplikasi sebagai ‘diteruskan berkali-kali’. Tanda seperti itu ditempatkan pada konten yang diteruskan melalui rantai yang melibatkan setidaknya lima lompatan dari pengirim asli. Lima lompatan dapat berarti bahwa pesan tersebut telah didistribusikan ke sejumlah besar pengguna, meskipun WhatsApp tidak mengungkapkan jumlah pastinya.
Metode otomatis belum ada untuk mengidentifikasi konten yang dibuat oleh AI dalam skala besar, jadi kami memeriksa semua 1.858 pesan viral dalam sampel kami secara manual. Untuk membuat anotasi gambar dan video genAI, kami awalnya berkonsentrasi pada konten yang menunjukkan tanda-tanda yang jelas bahwa itu adalah buatan mesin – seperti anomali tekstur tertentu atau pencampuran yang tidak alami. Kami juga melibatkan para ahli yang dapat mengevaluasi keaslian setiap konten dengan berfokus pada karakteristik yang dikenal sebagai ciri khas kreasi AI. Kami mengakui keterbatasan yang tak terelakkan dalam penilaian semacam itu sampai teknik yang lebih baik muncul untuk membedakan materi yang dibuat oleh genAI.
Dari 1.858 pesan viral, kurang dari dua lusin yang mengandung contoh konten yang dibuat oleh genAI – hanya 1%. Meskipun angka ini mungkin sedikit di bawah perkiraan dan tidak termasuk pesan teks atau audio, temuan ini menunjukkan bahwa prevalensi konten yang dibuat oleh genAI dalam pesan viral di India relatif rendah. Hal ini tampaknya tetap terjadi selama pemilihan umum ‘multi-fase’ di negara ini yang baru saja selesai. Kami terus memantau konten viral dan belum mendeteksi adanya lonjakan yang signifikan dalam konten genAI yang digunakan untuk kampanye politik. Dampak genAI terhadap misinformasi pemilu mungkin belum seluas yang dikhawatirkan.
Meskipun demikian, ini adalah hari-hari awal untuk teknologi ini, dan temuan pertama kami menunjukkan kekuatan genAI dalam memproduksi visual dan narasi yang menarik dan beresonansi dengan budaya, melampaui apa yang mungkin dicapai oleh pembuat konten konvensional.
Apa yang ditunjukkan oleh konten genAI?
Salah satu kategori konten menyesatkan yang kami identifikasi berkaitan dengan proyek infrastruktur. Gambar-gambar genAI yang masuk akal secara visual dari sebuah stasiun kereta api futuristik, yang diduga menggambarkan fasilitas baru di Ayodhya – kota yang diyakini banyak orang Hindu sebagai tempat kelahiran Dewa Ram – berhasil menyebar secara luas. Gambar-gambar tersebut menampilkan sebuah stasiun yang bersih dan menampilkan penggambaran Dewa Ram di dindingnya. Ayodhya telah menjadi tempat terjadinya ketegangan agama, terutama sejak kaum nasionalis Hindu menghancurkan sebuah masjid pada bulan Desember 1992 sehingga mereka dapat membangun sebuah kuil di atas reruntuhannya.
Pembangunan infrastruktur yang cepat, termasuk modernisasi stasiun kereta api, merupakan tujuan kebijakan utama dari Partai Bharatiya Janata (BJP), yang berusaha untuk menggambarkan India sebagai negara dengan ekonomi yang cepat memodernisasi diri kepada khalayak domestik dan internasional. Namun, data kami tidak memberikan bukti langsung yang menghubungkan BJP, atau partai politik lainnya, dengan pembuatan atau penyebaran gambar yang dihasilkan oleh AI.
Tema lain yang terlihat jelas dalam konten genAI tampaknya adalah proyeksi supremasi Hindu. Sebagai contoh, kami menemukan video yang dibuat oleh AI yang menunjukkan orang-orang suci Hindu yang berotot mengeluarkan pernyataan yang menyinggung umat Islam, yang sering kali merujuk pada keluhan sejarah. AI juga digunakan untuk membuat gambar-gambar yang mengagungkan dewa-dewa Hindu dan orang-orang dengan tubuh yang berlebihan yang mengenakan simbol-simbol Hindu – melanjutkan taktik propaganda yang sudah berlangsung lama dan terdokumentasi dengan baik untuk mempromosikan dominasi Hindu di India. Kami juga menemukan media yang menggambarkan adegan-adegan palsu dari perang yang sedang berlangsung di Gaza, yang secara halus menyamakan serangan 7 Oktober 2023 oleh Hamas terhadap Israel dengan dugaan kekerasan yang dilakukan oleh umat Muslim terhadap umat Hindu di India. Menggunakan peristiwa-peristiwa terkini untuk menyasar kelompok-kelompok minoritas merupakan tren yang terdokumentasi dengan baik dalam konteks sosial dan politik India5.
Apa yang harus dilakukan?
Meskipun penelitian kami menunjukkan bahwa teknologi genAI tidak mungkin secara sendirian membentuk pemilihan umum pada saat ini, kasus-kasus yang kami dokumentasikan menunjukkan potensinya untuk mempersonalisasi dan meningkatkan kampanye disinformasi di masa depan. Bahkan jika konten tersebut menyerupai animasi, konten tersebut masih bisa sangat efektif, karena citra yang sangat ideal beresonansi pada tingkat emosional, terutama dengan pemirsa yang sudah memiliki keyakinan simpatik. Keterlibatan emosional ini, dikombinasikan dengan kredibilitas visual yang diberikan oleh AI modern6 – mengaburkan batas antara animasi dan realitas – dapat memungkinkan konten semacam itu menjadi persuasif, meskipun hal ini membutuhkan penelitian lebih lanjut.
Penting untuk dicatat bahwa informasi yang salah dapat dengan mudah dibuat melalui cara-cara berteknologi rendah, seperti dengan salah mengaitkan gambar lama yang tidak sesuai dengan konteksnya dengan peristiwa terkini, atau melalui penggunaan perangkat lunak pengedit foto yang tersedia di pasaran. Oleh karena itu, genAI mungkin tidak akan banyak mengubah sifat misinformasi.
Meskipun demikian, seiring dengan semakin matangnya teknologi dan semakin luasnya akses, kebutuhan akan kewaspadaan dan tindakan pencegahan akan meningkat. GenAI dapat digunakan untuk menghasilkan sejumlah besar gambar secara cepat dengan biaya rendah dan menawarkan kemampuan untuk menyesuaikan konten secara dinamis untuk beresonansi dengan kelompok budaya atau sosial tertentu. Penggunaannya juga dapat mengaburkan asal usul konten, sehingga sulit untuk melacak pembuatnya. Kombinasi skalabilitas, efisiensi biaya, penyesuaian, dan anonimitas ini dapat meningkatkan dampak genAI terhadap opini publik.
Karena teknologi disruptif ini terus berkembang, pemantauan berkelanjutan terhadap prevalensi dan dampaknya di berbagai konteks akan sangat penting. Dalam konteks India dan di tempat lain, para peneliti perlu melihat lebih jauh pada tiga aspek utama yang terkait dengan dampak AI terhadap masyarakat dan politik.
Dapatkah genAI menyamakan kedudukan? GenAI memiliki potensi untuk mengganggu dinamika kekuasaan yang ada dalam produksi konten. Dengan mendemokratisasi pembuatan konten, GenAI menantang dominasi partai-partai politik yang memiliki sumber daya besar.
Dapatkah perusahaan media sosial berbuat lebih banyak? Sifat WhatsApp yang terdesentralisasi menghadirkan peluang dan tantangan untuk distribusi konten. Meskipun memungkinkan penyebaran informasi secara luas, hal ini juga mempersulit upaya untuk mengatur dan memoderasi konten. Kemampuan GenAI untuk membuat konten yang dipersonalisasi dan ditargetkan dalam skala besar dapat memperkuat bias dan ruang gema yang sudah ada. Tanpa mekanisme moderasi yang efektif, platform berisiko menjadi tempat berkembang biak bagi misinformasi dan propaganda.
Bagaimana genAI memengaruhi kepercayaan? Meskipun pengguna saat ini mungkin dapat mendeteksi konten yang dihasilkan genAI, akan semakin sulit untuk membedakan mana yang asli dan mana yang palsu seiring dengan perkembangan teknologi. Hal ini terutama mengkhawatirkan dalam konteks aplikasi perpesanan seperti WhatsApp, karena pengguna mungkin lebih cenderung mempercayai konten yang mereka terima dari kelompok atau individu yang tepercaya, meskipun konten tersebut menyesatkan atau palsu7.
Oleh karena itu, para pembuat kebijakan harus mengembangkan strategi global dan domestik yang komprehensif untuk memerangi dampak buruk dari konten yang dihasilkan oleh AI. Pesan publik untuk menekankan pentingnya verifikasi sumber adalah kuncinya. Membangun kerangka kerja untuk menandai konten sebagai konten yang dihasilkan oleh AI adalah kebutuhan yang mendesak. Memulai kampanye kesadaran publik untuk mengedukasi masyarakat, terutama pengguna teknologi yang belum berpengalaman, tentang nuansa konten yang dihasilkan oleh AI juga penting.
Mengembangkan kerangka kerja peraturan baru secara kolaboratif, yang melibatkan pemerintah, industri teknologi, dan badan-badan akademis, dapat memastikan bahwa standar-standar tersebut dapat mengimbangi kemajuan AI. Bagian terakhir dari teka-teki ini adalah mempertahankan dukungan untuk penelitian guna membangun teknologi canggih yang dapat mendeteksi AI dalam skala besar – persyaratan penting dalam era media sintetis.
Kehati-hatian harus dilakukan dalam merancang mekanisme mitigasi, karena mengorbankan privasi dan keamanan digital untuk menargetkan informasi yang salah yang didukung oleh AI dapat menjadi kontraproduktif. Kami dengan tegas memperingatkan terhadap proposal yang dapat merusak enkripsi end-to-end pada platform seperti WhatsApp.
doi: https://doi.org/10.1038/d41586-024-01588-2
