Mikołaj Piniewski adalah seorang peneliti yang menjadi rujukan para mahasiswa PhD dan kolaborator ketika mereka perlu merevisi atau menyempurnakan naskah. Ahli hidrologi dari Universitas Ilmu Hayati Warsawa ini memiliki ketajaman untuk menemukan masalah dalam naskah – sebuah keahlian yang sangat berguna tahun lalu saat ia menemukan beberapa tulisan yang mencurigakan dalam laporan tinjauan sejawat atas tulisannya.
Mei lalu, ketika Piniewski membaca umpan balik peer-review yang ia dan rekan penulisnya terima untuk naskah yang mereka kirimkan ke jurnal ilmu lingkungan, lonceng peringatan mulai berbunyi di kepalanya. Komentar dari dua dari tiga pengulas tidak jelas dan tidak memiliki substansi, sehingga Piniewski memutuskan untuk melakukan pencarian di Google, mencari frasa dan kutipan spesifik yang digunakan oleh para pengulas.
Yang mengejutkannya, ia menemukan bahwa komentar-komentar tersebut sama dengan komentar-komentar yang telah tersedia di Internet, dalam berbagai laporan ulasan akses terbuka dari penerbit seperti MDPI dan PLOS. “Saya tidak bisa berkata-kata,” kata Piniewski. Pengungkapan ini membuatnya kembali ke naskah lain yang ia kirimkan beberapa bulan sebelumnya, dan menggali laporan tinjauan sejawat yang ia terima untuk naskah tersebut. Ia menemukan lebih banyak lagi naskah yang dijiplak. Setelah mengirim email kepada beberapa kolaborator, ia membentuk sebuah tim untuk menggali lebih dalam.
Tim ini mempublikasikan hasil investigasinya di Scientometrics pada bulan Februari lalu, memeriksa lusinan kasus plagiarisme yang tampak jelas dalam laporan peer-review, mengidentifikasi penggunaan frasa yang sama di seluruh laporan yang dipersiapkan untuk 19 jurnal. Tim tersebut menemukan kutipan yang sama persis yang diduplikasi di 50 publikasi, dan mengatakan bahwa temuan tersebut hanyalah “puncak gunung es” dalam hal kesalahan dalam sistem penelaahan sejawat.
Dorothy Bishop, seorang mantan ilmuwan saraf di Universitas Oxford, Inggris, yang telah mengalihkan perhatiannya untuk menyelidiki kesalahan penelitian, “sangat terkesan” dengan analisis tim tersebut. “Saya merasa cara mereka melakukan pendekatan ini cukup berguna dan mungkin bisa menjadi panduan bagi orang lain yang mencoba menjelaskan hal ini,” katanya.
Penelaahan sejawat sedang ditinjau
Piniewski dan rekan-rekannya melakukan tiga analisis. Pertama, mereka mengunggah lima laporan tinjauan sejawat dari dua manuskrip yang telah diserahkan oleh laboratoriumnya ke alat pendeteksi plagiarisme online yang belum sempurna. Laporan-laporan tersebut memiliki 44-100% kemiripan dengan konten daring yang telah dipublikasikan sebelumnya. Tautan diberikan ke sumber-sumber di mana duplikasi ditemukan.
Para peneliti menelusuri lebih jauh. Mereka memecah salah satu laporan peer-review yang mencurigakan menjadi beberapa bagian yang masing-masing terdiri dari satu hingga tiga kalimat dan mencarinya di Google. Dalam hitungan detik, mesin pencari mengembalikan sejumlah hit: frasa yang tepat muncul di 22 laporan peer-review terbuka, yang diterbitkan antara tahun 2021 dan 2023.
Analisis akhir memberikan hasil yang paling mengkhawatirkan. Mereka mengambil satu kutipan – panjangnya 43 kata dan menampilkan beberapa kesalahan bahasa, termasuk penggunaan huruf besar yang salah – dan menempelkannya ke Google. Pencarian mengungkapkan bahwa kutipan tersebut, atau variannya, telah digunakan dalam 50 laporan peer-review.
Sebagian besar, laporan-laporan ini berasal dari jurnal yang diterbitkan oleh MDPI, PLOS, dan Elsevier, dan tim menemukan bahwa jumlah duplikasi meningkat dari tahun ke tahun antara tahun 2021 dan 2023. Apakah ini karena peningkatan jumlah laporan peninjauan sejawat akses terbuka selama periode ini atau indikasi masalah yang berkembang masih belum jelas – tetapi Piniewski berpikir bahwa ini bisa jadi sedikit dari keduanya.
Mengapa peninjau sejawat menggunakan teks yang dijiplak dalam laporan mereka? Tim mengatakan bahwa beberapa orang mungkin berusaha untuk menghemat waktu, sementara yang lain mungkin termotivasi oleh kurangnya kepercayaan diri dalam kemampuan menulis mereka, misalnya, jika mereka tidak fasih berbahasa Inggris.
Tim mencatat bahwa ada beberapa contoh yang mungkin tidak mewakili pelanggaran. “Pengulangan kata-kata Anda sendiri yang dapat ditoleransi dari ulasan yang berbeda? Saya rasa tidak masalah,” kata Piniewski. “Namun saya membayangkan bahwa sebagian besar kasus yang kami temukan sebenarnya adalah sesuatu yang lain.”
Sumber masalahnya
Duplikasi dan manipulasi laporan tinjauan sejawat bukanlah fenomena baru. “Saya pikir sekarang semakin diakui bahwa manipulasi proses penelaahan sejawat, yang diketahui sekitar tahun 2010, mungkin merupakan indikasi adanya pabrik kertas yang beroperasi pada saat itu,” kata Jennifer Byrne, direktur biobanking di New South Wales Health di Sydney, Australia, yang juga mempelajari integritas penelitian dalam literatur ilmiah.
Pabrik kertas – organisasi yang membuat makalah penelitian palsu dan menjual hak kepengarangan untuk mendapatkan keuntungan – telah diketahui merusak ulasan untuk mendorong naskah agar dapat diterbitkan, kata Byrne.
Namun, ketika Bishop melihat kasus Piniewski, ia tidak dapat menemukan bukti nyata dari aktivitas pabrik kertas. Sebaliknya, ia menduga bahwa editor jurnal mungkin terlibat dalam kasus duplikasi laporan peer-review dan menyarankan untuk mempelajari rekam jejak mereka yang membiarkan laporan yang tidak memadai atau plagiat berkembang biak.
Tim Piniewski juga mengkhawatirkan peningkatan duplikasi karena kecerdasan buatan (AI) generatif menjadi lebih mudah diakses. Meskipun timnya tidak menemukan tanda-tanda penggunaan AI, kemampuannya untuk dengan cepat mencerna dan mengulang sebagian besar teks dipandang sebagai masalah yang muncul.
Sebuah pracetak yang diposting pada bulan Maret2 menunjukkan bukti para peneliti menggunakan chatbot AI untuk membantu tinjauan sejawat, mengidentifikasi kata sifat tertentu yang dapat menjadi ciri khas teks yang ditulis oleh AI dalam laporan tinjauan sejawat.
Bishop tidak terlalu khawatir dengan laporan yang dibuat oleh AI, dengan mengatakan bahwa mudah untuk membedakan antara teks yang dibuat oleh AI dan komentar pengulas yang sah. “Hal yang indah tentang tinjauan sejawat,” katanya, adalah bahwa ini adalah ‘satu hal yang tidak dapat Anda lakukan dengan AI’.
Mencegah plagiat
Para penerbit tampaknya akan mengambil tindakan. Bethany Baker, manajer hubungan media di PLOS, yang berbasis di Cambridge, Inggris, mengatakan kepada Nature Index bahwa tim Etika Publikasi PLOS “sedang menyelidiki kekhawatiran yang muncul dalam artikel Scientometrics tentang potensi plagiarisme dalam tinjauan sejawat”.
Seorang perwakilan Elsevier mengatakan kepada Nature Index bahwa penerbit tersebut “dapat mengonfirmasi bahwa masalah ini telah menjadi perhatian kami dan kami sedang melakukan investigasi”.
Dalam sebuah pernyataan, Tim Integritas Penelitian dan Etika Publikasi MDPI mengatakan bahwa mereka telah mengetahui adanya potensi pelanggaran oleh para peninjau dalam jurnalnya dan “secara aktif menangani dan menyelidiki masalah ini”. Mereka tidak mengonfirmasi apakah hal ini terkait dengan artikel Scientometrics.
Salah satu solusi yang diusulkan untuk masalah ini adalah memastikan bahwa semua ulasan yang dikirimkan diperiksa menggunakan perangkat lunak pendeteksi plagiarisme. Pada tahun 2022, penelitian eksploratif yang dilakukan oleh Adam Day, seorang ilmuwan data di Sage Publications, yang berbasis di Thousand Oaks, California, mengidentifikasi teks yang diduplikasi dalam laporan ulasan sejawat yang mungkin mengarah pada aktivitas pembuatan makalah3. Day menawarkan solusi serupa dengan menggunakan perangkat lunak anti-plagiarisme, seperti Turnitin.
Piniewski memperkirakan masalah ini akan semakin memburuk di tahun-tahun mendatang, namun ia belum menerima laporan peer-review yang tidak biasa sejak laporan yang memicu penelitiannya. Namun, dia mengatakan bahwa dia sekarang lebih waspada. “Jika ada sesuatu yang tidak biasa terjadi, saya akan mengetahuinya.”
