Beberapa akademisi yang sangat dikutip tampaknya menjadi promotor diri yang berat – tetapi para peneliti memperingatkan agar tidak memaksakan kutipan diri.
Peneliti dunia yang paling banyak dikutip, menurut data yang baru dirilis, adalah sekelompok eklektik yang aneh. Peraih Nobel dan polymath terkemuka berpapasan dengan nama-nama yang kurang dikenal, seperti Sundarapandian Vaidyanathan dari Chennai di India. Apa yang melompat keluar tentang Vaidyanathan dan ratusan peneliti lainnya adalah bahwa banyak kutipan untuk pekerjaan mereka berasal dari makalah mereka sendiri, atau dari rekan penulis mereka.
Vaidyanathan, seorang ilmuwan komputer di Vel Tech R&D Institute of Technology, sebuah lembaga swasta, adalah contoh ekstrem: ia telah menerima 94% kutipannya dari dirinya sendiri atau rekan penulisnya hingga 2017, menurut sebuah studi di PLoS Biology bulan ini 1. Dia tidak sendirian. Kumpulan data, yang mencantumkan sekitar 100.000 peneliti, menunjukkan bahwa setidaknya 250 ilmuwan telah mengumpulkan lebih dari 50% kutipan mereka dari diri mereka sendiri atau rekan penulis mereka, sedangkan tingkat kutipan diri rata-rata adalah 12,7%.
Studi ini dapat membantu untuk menandai potensi promotor diri yang ekstrim, dan mungkin ‘farming citation‘, di mana sekelompok ilmuwan secara besar-besaran mengutip satu sama lain, kata para peneliti. “Saya pikir peternakan kutipan sendiri jauh lebih umum daripada yang kita yakini,” kata John Ioannidis, seorang dokter di Universitas Stanford di California yang berspesialisasi dalam meta-sains – studi tentang bagaimana sains dilakukan – dan yang memimpin pekerjaan. “Mereka yang memiliki kutipan diri lebih dari 25% tidak selalu terlibat dalam perilaku tidak etis, tetapi pengawasan yang lebih dekat mungkin diperlukan,” katanya.
Data sejauh ini merupakan kumpulan metrik kutipan diri terbesar yang pernah diterbitkan. Dan mereka tiba pada saat lembaga pendanaan, jurnal, dan lainnya lebih fokus pada potensi masalah yang disebabkan oleh kutipan diri yang berlebihan. Pada bulan Juli, Komite Etika Publikasi (COPE), sebuah badan penasehat penerbit di London, menyoroti kutipan diri yang ekstrim sebagai salah satu bentuk utama manipulasi kutipan. Masalah ini sesuai dengan kekhawatiran yang lebih luas tentang ketergantungan yang berlebihan pada metrik kutipan untuk membuat keputusan tentang perekrutan, promosi, dan pendanaan penelitian.
“Ketika kami menghubungkan kemajuan profesional dan terlalu memperhatikan metrik berbasis kutipan, kami mendorong kutipan diri,” kata psikolog Sanjay Srivastava di University of Oregon di Eugene.
Meskipun banyak ilmuwan setuju bahwa kutipan diri yang berlebihan adalah suatu masalah, ada sedikit konsensus tentang seberapa banyak kutipan diri yang berlebihan atau apa yang harus dilakukan tentang masalah tersebut. Sebagian karena peneliti memiliki banyak alasan yang sah untuk mengutip karya mereka sendiri atau rekan kerja. Ioannidis memperingatkan bahwa studinya tidak boleh mengarah pada fitnah peneliti tertentu untuk tingkat kutipan diri mereka, paling tidak karena ini dapat bervariasi antara disiplin ilmu dan tahap karir. “Ini hanya menawarkan informasi yang lengkap dan transparan. Itu tidak boleh digunakan untuk vonis seperti memutuskan bahwa kutipan diri yang terlalu tinggi sama dengan ilmuwan yang buruk, ”katanya.
Drive data
Ioannidis dan rekan penulisnya tidak mempublikasikan data mereka untuk fokus pada kutipan diri. Itu hanya satu bagian dari studi mereka, yang mencakup sejumlah metrik berbasis kutipan standar untuk 100.000 atau lebih peneliti yang paling banyak dikutip selama 2 dekade terakhir di 176 sub-bidang ilmiah. Dia mengumpulkan data bersama dengan Richard Klavans dan Kevin Boyack di firma analitik SciTech Strategies di Albuquerque, New Mexico, dan Jeroen Baas, direktur analitik di penerbit Elsevier yang berbasis di Amsterdam; semua data berasal dari database Scopus milik Elsevier. Tim berharap bahwa pekerjaannya akan memungkinkan untuk mengidentifikasi faktor-faktor yang mungkin mendorong kutipan.
Tetapi bagian yang paling menarik dari kumpulan data adalah metrik kutipan diri. Sudah mungkin untuk melihat berapa kali seorang penulis mengutip karya mereka sendiri dengan melihat catatan kutipan mereka di database langganan seperti Scopus dan Web of Science. Tetapi tanpa pandangan lintas bidang penelitian dan tahapan karir, sulit untuk menempatkan angka-angka ini ke dalam konteks dan membandingkan satu peneliti dengan peneliti lainnya.
Rekor Vaidyanathan menonjol sebagai salah satu yang paling ekstrim — dan telah membawa penghargaan tertentu. Tahun lalu, politisi India Prakash Javadekar, yang saat ini menjadi menteri lingkungan negara, tetapi pada saat itu bertanggung jawab atas pendidikan tinggi, menghadiahkan Vaidyanathan penghargaan 20.000 rupee (US$280) karena menjadi salah satu peneliti top bangsa berdasarkan ukuran produktivitas dan metrik kutipan. Vaidyanathan tidak membalas permintaan Nature untuk berkomentar, tetapi dia sebelumnya membela catatan kutipannya sebagai jawaban atas pertanyaan tentang Vel Tech yang diposting di Quora, platform tanya jawab online. Pada 2017, ia menulis bahwa karena penelitian adalah proses yang berkesinambungan, “pekerjaan selanjutnya tidak dapat dilakukan tanpa mengacu pada pekerjaan sebelumnya”, dan self-citing tidak dilakukan dengan maksud menyesatkan orang lain.
Dua peneliti lain yang telah mendapatkan pujian dan mengutip diri mereka sendiri adalah Theodore Simos, seorang matematikawan yang situs webnya mencantumkan afiliasi di King Saud University di Riyadh, Ural Federal University di Yekaterinburg, Rusia, dan Democritus University of Thrace di Komotini, Yunani; dan Claudiu Supuran, ahli kimia obat di Universitas Florence, Italia, yang juga mendaftar afiliasi di Universitas King Saud. Baik Simos, yang mengumpulkan sekitar 76% kutipannya dari dirinya sendiri atau rekan penulisnya, dan Supuran (62%) tahun lalu disebut dalam daftar 6.000 “peneliti kelas dunia yang dipilih karena kinerja penelitian mereka yang luar biasa” yang diproduksi oleh Clarivate Analytics, sebuah perusahaan layanan informasi di Philadelphia, Pennsylvania, yang memiliki Web of Science. Baik Simos maupun Supuran tidak membalas permintaan Nature‘s untuk komentar; Clarivate mengatakan bahwa mereka menyadari masalah pola kutipan diri yang tidak biasa dan bahwa metodologi yang digunakan untuk menghitung daftarnya mungkin berubah.
Apa yang harus dilakukan tentang kutipan diri?
Dalam beberapa tahun terakhir, para peneliti telah lebih memperhatikan kutipan diri. Sebuah pracetak 2016, misalnya, menyarankan bahwa akademisi laki-laki mengutip makalah mereka sendiri, rata-rata, 56% lebih banyak daripada akademisi perempuan 2, meskipun analisis replikasi tahun lalu menunjukkan bahwa ini mungkin merupakan efek dari kutipan diri yang lebih tinggi di antara penulis produktif jenis kelamin apa pun, yang memiliki lebih banyak pekerjaan sebelumnya untuk dikutip 3. Pada tahun 2017, sebuah penelitian menunjukkan bahwa para ilmuwan di Italia mulai mengutip diri mereka sendiri lebih banyak setelah kebijakan 2010 yang kontroversial diperkenalkan yang mengharuskan akademisi untuk memenuhi ambang batas produktivitas agar memenuhi syarat untuk promosi 4. Dan tahun lalu, Kementerian Riset Indonesia, yang menggunakan formula berbasis kutipan untuk mengalokasikan dana untuk penelitian dan beasiswa, mengatakan beberapa peneliti telah mempermainkan skor mereka menggunakan praktik yang tidak etis, termasuk kutipan diri yang berlebihan dan kelompok akademisi yang saling mengutip. Kementerian mengatakan bahwa mereka telah menghentikan pendanaan 15 peneliti dan berencana untuk mengecualikan kutipan diri dari formulanya, meskipun para peneliti memberi tahu Nature bahwa ini belum terjadi.
Tapi gagasan daftar publik tingkat kutipan diri individu, atau mengevaluasi mereka berdasarkan metrik dikoreksi untuk kutipan diri, sangat kontroversial. Misalnya, dalam sebuah dokumen diskusi yang dikeluarkan bulan lalu 5 , COPE menentang pengecualian kutipan diri dari metrik karena, dikatakan, “tidak mengizinkan pemahaman yang bernuansa tentang kapan kutipan diri masuk akal secara ilmiah”.
Pada tahun 2017, Justin Flatt, seorang ahli biologi di Universitas Zurich di Swiss, meminta kejelasan lebih lanjut seputar catatan kutipan diri para ilmuwan 6. Flatt, yang sekarang berada di Universitas Helsinki, menyarankan untuk menerbitkan indeks kutipan diri, atau indeks-s, di sepanjang garis indikator produktivitas indeks-h yang digunakan oleh banyak peneliti. Indeks-h 20 menunjukkan bahwa seorang peneliti telah menerbitkan 20 makalah dengan setidaknya 20 kutipan; demikian juga, indeks s dari 10 berarti seorang peneliti telah menerbitkan 10 makalah yang masing-masing menerima setidaknya 10 kutipan diri.
Flatt, yang telah menerima hibah untuk menyusun data untuk s-index, setuju dengan Ioannidis bahwa fokus dari pekerjaan semacam ini tidak boleh tentang menetapkan ambang batas untuk skor yang dapat diterima, atau menamai dan mempermalukan self-citers yang tinggi. “Ini tidak pernah tentang mengkriminalisasi kutipan diri,” katanya. Tapi selama akademisi terus mempromosikan diri mereka sendiri menggunakan h-index, ada kasus untuk memasukkan s-index untuk konteks, dia berpendapat.
Konteks penting
Sebuah fitur yang tidak biasa dari studi Ioannidis adalah definisi yang luas dari kutipan diri, yang mencakup kutipan oleh rekan penulis. Ini dimaksudkan untuk menangkap kemungkinan contoh farming kutipan; namun, hal itu meningkatkan skor kutipan diri, kata Marco Seeber, seorang sosiolog di Universitas Ghent di Belgia. Fisika partikel dan astronomi, misalnya, sering memiliki makalah dengan ratusan atau bahkan ribuan rekan penulis, dan itu meningkatkan rata-rata kutipan diri di seluruh bidang.
Ioannidis mengatakan bahwa mungkin untuk menjelaskan beberapa perbedaan sistematis dengan membandingkan peneliti dengan rata-rata untuk negara mereka, tahap karir dan disiplin. Tetapi secara lebih umum, katanya, daftar itu menarik perhatian pada kasus-kasus yang layak untuk dilihat lebih dekat. Dan ada cara lain untuk menemukan masalah, dengan memeriksa rasio kutipan yang diterima dengan jumlah makalah di mana kutipan tersebut muncul. Simos, misalnya, telah menerima 10.458 kutipan dari hanya 1.029 makalah — artinya rata-rata, ia mendapat lebih dari 10 kutipan di setiap makalah yang menyebutkan karyanya. Ioannidis mengatakan metrik ini, bila dikombinasikan dengan metrik kutipan diri, adalah tanda yang baik untuk promosi diri yang berpotensi berlebihan.
Dalam karya yang tidak dipublikasikan, Elsevier’s Baas mengatakan bahwa dia telah menerapkan analisis serupa ke kumpulan data yang jauh lebih besar dari 7 juta ilmuwan: yaitu, semua penulis yang terdaftar di Scopus yang telah menerbitkan lebih dari 5 makalah. Dalam kumpulan data ini, kata Baas, rata-rata tingkat kutipan diri adalah 15,5%, tetapi sebanyak 7% penulis memiliki tingkat kutipan diri di atas 40%. Proporsi ini jauh lebih tinggi daripada di antara para ilmuwan yang dikutip teratas, karena sebanyak lebir dari 7 juta peneliti hanya memiliki sedikit kutipan secara keseluruhan atau sedang memulai karir mereka. Ilmuwan pada awal karir cenderung memiliki tingkat kutipan diri yang lebih tinggi karena makalah mereka tidak punya waktu untuk mengumpulkan banyak kutipan dari orang lain (lihat ‘Efek pemuda’).
Menurut data Baas, Rusia dan Ukraina menonjol memiliki rata-rata tingkat kutipan diri yang tinggi (lihat ‘Negara demi negara’). Analisisnya juga menunjukkan bahwa beberapa bidang menonjol — seperti fisika nuklir dan partikel, serta astronomi dan astrofisika — karena banyaknya makalah yang ditulis banyak orang (lihat ‘Kecemburuan Fisika?’). Baas mengatakan dia tidak memiliki rencana untuk mempublikasikan kumpulan datanya.
Tidak bagus untuk sains?
Meskipun studi PLoS Biology mengidentifikasi beberapa self-citers yang ekstrem dan menyarankan cara untuk mencari yang lain, beberapa peneliti mengatakan mereka tidak yakin bahwa kumpulan data self-citation akan membantu, sebagian karena metrik ini sangat bervariasi menurut disiplin penelitian dan tahap karir. “Kutipan diri jauh lebih kompleks daripada yang terlihat,” kata Vincent Lariviere, seorang ilmuwan informasi di Universitas Montreal di Kanada.
Srivastava menambahkan bahwa cara terbaik untuk mengatasi kutipan diri yang berlebihan — dan permainan indikator berbasis kutipan lainnya — tidak harus dengan menerbitkan tabel standar dan metrik komposit yang semakin mendetail untuk membandingkan peneliti satu sama lain. Ini mungkin memiliki kekurangannya sendiri, katanya, dan pendekatan semacam itu berisiko menyedot para ilmuwan lebih jauh ke dalam dunia evaluasi dengan metrik tingkat individu, masalah yang mendorong permainan di tempat pertama.
“Memperingkat ilmuwan tidak baik untuk sains.”
“Kita harus meminta editor dan pengulas untuk melihat kutipan diri yang tidak dapat dibenarkan,” kata Srivastava. “Dan mungkin beberapa metrik kasar ini memiliki kegunaan sebagai tanda untuk melihat lebih dekat. Tetapi, pada akhirnya, solusinya perlu menyelaraskan kembali evaluasi profesional dengan penilaian ahli, bukan menggandakan metrik.” Cassidy Sugimoto, seorang ilmuwan informasi di Indiana University Bloomington, setuju bahwa lebih banyak metrik mungkin bukan jawaban: “Memperingkat ilmuwan tidak baik untuk sains.”
Ioannidis, bagaimanapun, mengatakan pekerjaannya diperlukan. “Bagaimanapun, orang sudah sangat bergantung pada metrik tingkat individu. Pertanyaannya adalah bagaimana memastikan bahwa informasi itu seakurat dan secermat mungkin, disusun secara sistematis mungkin,” katanya. “Metrik kutipan tidak dapat dan tidak boleh hilang. Kita harus memanfaatkannya sebaik mungkin, dengan sepenuhnya mengakui banyak keterbatasan mereka.”
Referensi
- Ioannidis, J. P. A., Baas, J., Klavans, R. & Boyack, K. W. PLoS Biol. 17, e3000384 (2019).
- King, M. M., Bergstrom, C. T., Correll, S. J., Jacquet, J. & West, J. D. Socius https://doi.org/10.1177/2378023117738903 (2017).
- Mishra, S., Fegley, B. D., Diesner, J. & Torvik, V. I. PLoS ONE 13, e0195773 (2018).
- Seeber, M., Cattaneo, M., Meoli, M. & Malighetti, P. Res. Policy 48, 478–491 (2019).
- COPE Council. COPE Discussion Document: Citation Manipulation (COPE, 2019).
- Flatt, J. W., Blasimme, A. & Vayena, E. Publications 5, 20 (2017).
