Ilmu yang tidak pernah dikutip

SANGIA Daily
Sains tanpa kutipan
ILLUSTRATION BY SERGE BLOCH

Jurnal Nature menyelidiki berapa banyak makalah yang benar-benar berakhir tanpa satu kutipan pun.

Ahli genetika dan pemenang hadiah Nobel Oliver Smithies, yang meninggal pada Januari dalam usia 91 tahun, adalah seorang penemu yang sederhana dan tidak menonjolkan diri. Itu tipikal dia untuk menceritakan kisah salah satu kegagalan terbesarnya: makalah 1  tentang mengukur tekanan osmotik yang diterbitkan pada tahun 1953, yang, seperti yang dia katakan, memiliki “perbedaan yang meragukan karena tidak pernah dikutip”.

“Tidak ada yang pernah mengutipnya, dan tidak ada yang pernah menggunakan metode ini,” katanya kepada siswa pada pertemuan tahun 2014 di Lindau, Jerman.

Seperti yang terjadi, makalah Smithies menarik lebih banyak perhatian daripada yang disadarinya: sembilan artikel mereferensikannya dalam satu dekade penerbitannya. Tapi kesalahannya bisa dimengerti. Banyak ilmuwan menyimpan kesan yang salah tentang penelitian yang tidak dikutip — baik luasnya maupun dampaknya terhadap kesarjanaan.

Satu perkiraan yang diulang secara luas, dilaporkan dalam sebuah artikel kontroversial di Science pada tahun 1990, menunjukkan bahwa lebih dari setengah dari semua artikel akademis tetap tidak dikutip lima tahun setelah publikasinya 2. Para ilmuwan benar-benar khawatir tentang masalah ini, kata Jevin West, seorang ilmuwan informasi di University of Washington di Seattle yang mempelajari pola skala besar dalam literatur penelitian. Bagaimanapun, kutipan diakui secara luas sebagai ukuran standar pengaruh akademis: penanda bahwa karya tidak hanya telah dibaca, tetapi juga telah terbukti berguna untuk studi selanjutnya. Para peneliti khawatir bahwa tingkat uncitedness yang tinggi menunjukkan tumpukan penelitian yang tidak berguna atau tidak relevan. “Saya tidak bisa memberi tahu Anda berapa banyak orang yang saat makan malam bertanya kepada saya: ‘Berapa banyak literatur yang tidak pernah dikutip?’ kata West.

Pada kenyataannya, penelitian yang tidak dikutip tidak selalu tidak berguna. Terlebih lagi, sebenarnya tidak banyak, kata Vincent Lariviere, seorang ilmuwan informasi di Universitas Montreal di Kanada.

Untuk mendapatkan pegangan yang lebih baik di sudut gelap dan terlupakan dari penelitian yang diterbitkan ini, Jurnal Nature menggali angka-angka untuk mengetahui berapa banyak makalah yang benar-benar tidak dikutip. Tidak mungkin untuk mengetahui secara pasti, karena database kutipan tidak lengkap. Tapi jelas bahwa, setidaknya untuk kelompok inti dari 12.000 atau lebih jurnal di Web of Science — database besar yang dimiliki oleh Clarivate Analytics di Philadelphia, Pennsylvania — makalah tanpa kutipan jauh lebih jarang daripada yang diyakini secara luas.

Catatan Web of Science menunjukkan bahwa kurang dari 10% artikel ilmiah cenderung tetap tidak dikutip. Tetapi angka sebenarnya mungkin lebih rendah lagi, karena sejumlah besar makalah yang dicatat oleh database sebagai tidak dikutip sebenarnya telah dikutip di suatu tempat oleh seseorang.

Ini tidak berarti bahwa ada penelitian berkualitas rendah yang perlu dikhawatirkan: ribuan jurnal tidak diindeks oleh Web of Science, dan kekhawatiran bahwa para ilmuwan mengisi CV mereka dengan makalah yang tidak berguna tetap sangat nyata.

Tetapi angka-angka baru dapat meyakinkan mereka yang kecewa dengan laporan lautan pekerjaan yang terabaikan. Dan melihat lebih dekat pada beberapa makalah yang tidak dikutip menunjukkan bahwa mereka telah menggunakan — dan telah dibaca — meskipun tampaknya telah diabaikan. “Kurangnya kutipan tidak dapat diartikan sebagai artikel yang berarti tidak berguna atau tidak bernilai,” kata David Pendlebury, analis kutipan senior di Clarivate.

Mitos tidak dikutip

Gagasan bahwa literatur dibanjiri dengan penelitian yang tidak dikutip kembali ke sepasang artikel di Science — pada tahun 1990 yang satu 2 dan yang lain 3 , pada tahun 1991. Laporan tahun 1990 mencatat bahwa 55% artikel yang diterbitkan antara tahun 1981 dan 1985 tidak dikutip dalam 5 tahun setelah publikasi mereka. Tetapi analisis tersebut menyesatkan, terutama karena publikasi yang mereka hitung menyertakan dokumen seperti surat, koreksi, abstrak, dan materi editorial lainnya, yang biasanya tidak dikutip. Jika ini dihapus, hanya menyisakan makalah penelitian dan artikel ulasan, tingkat uncitedness anjlok. Memperpanjang cut-off lima tahun terakhir mengurangi tingkat uncitedness bahkan lebih.

Pada tahun 2008, Larivière dan rekan-rekannya melihat lebih segar di Web of Science dan melaporkan tidak hanya bahwa tidak dikutip lebih rendah dari yang diyakini, tetapi juga bahwa persentase makalah yang tidak dikutip telah turun selama beberapa dekade 4 . Jurnal Nature meminta Lariviere, bersama dengan Cassidy Sugimoto di Indiana University Bloomington, untuk memperbarui dan menguraikan analisis itu untuk artikel ini.

Angka-angka baru – yang menghitung artikel dan ulasan penelitian – menunjukkan bahwa di sebagian besar disiplin ilmu, proporsi makalah yang menarik nol kutipan turun antara lima dan sepuluh tahun setelah publikasi, meskipun proporsinya berbeda di setiap disiplin. Dari semua makalah ilmu biomedis yang diterbitkan pada tahun 2006, hanya 4% yang tidak dikutip hari ini; dalam kimia, angka itu adalah 8% dan dalam fisika, mendekati 11%. (Ketika kasus peneliti mengutip makalah mereka sendiri dihapus, proporsi ini meningkat – dalam beberapa disiplin ilmu, setengahnya lagi.) Dalam bidang teknik dan teknologi, tingkat uncitedness dari kohort 2006 makalah yang diindeks Web of Science adalah 24%, jauh lebih tinggi daripada ilmu alam. Angka yang lebih tinggi ini mungkin berhubungan dengan sifat teknis dari banyak laporan ini.

Source: V. LARIVIERE & C. SUGIMOTO/WEB OF SCIENCE

Untuk literatur secara keseluruhan — 39 juta makalah penelitian di semua disiplin ilmu yang tercatat di Web of Science dari tahun 1900 hingga akhir 2015 — sekitar 21% belum dikutip. Tidak mengherankan, sebagian besar makalah yang tidak dikutip ini muncul di jurnal yang kurang dikenal; hampir semua makalah di jurnal terkenal memang dikutip.

Pengukuran yang mustahil

Data ini hanya memberikan gambaran parsial. Tetapi mengisi kekosongan di seluruh literatur adalah tugas yang tidak praktis.

Cukup sulit untuk memeriksa beberapa naskah. Pada tahun 2012, misalnya, Petr Heneberg, seorang ahli biologi di Universitas Charles di Praha, memutuskan untuk memeriksa catatan Web of Science dari 13 pemenang Hadiah Nobel 5, untuk meneliti makalah yang terdengar tidak masuk akal yang mengklaim bahwa sekitar 10% dari penelitian peraih Nobel adalah tidak dikutip 6. Pandangan pertamanya di Web of Science menunjukkan angka yang mendekati 1,6%. Kemudian, memeriksa Google Scholar, Heneberg melihat bahwa banyak makalah yang tersisa sebenarnya telah dirujuk oleh karya lain yang diindeks di Web of Science, tetapi terlewatkan karena kesalahan entri data atau kesalahan ketik di makalah. Dan ada kutipan tambahan dalam jurnal dan buku yang tidak pernah diindeks oleh Web of Science. Pada saat Heneberg berhenti mencari, setelah sekitar 20 jam bekerja, dia telah mengurangi proporsinya lima kali lipat, menjadi hanya 0,3%.

Kelemahan tersebut adalah mengapa jumlah sebenarnya dari makalah yang tidak pernah dikutip tidak dapat diketahui: akan memakan waktu terlalu lama untuk mengulangi pemeriksaan manual Heneberg dalam skala besar. Disiplin juga bervariasi dalam seberapa besar mereka dipengaruhi oleh kekurangan dalam pengukuran ini. Web of Science mencatat, misalnya, bahwa 65% makalah humaniora yang diterbitkan pada tahun 2006 belum dikutip. Memang benar bahwa banyak literatur humaniora tidak mendapatkan referensi — sebagian karena, dibandingkan dengan sains, penelitian baru kurang bergantung pada pengetahuan kumulatif dari apa yang terjadi sebelumnya. Tetapi Web of Science tidak secara akurat mencerminkan bidang ini, karena mengabaikan banyak jurnal dan bukunya.

Jenis pertimbangan yang sama mengganggu perbandingan antar bangsa. Web of Science menunjukkan bahwa makalah yang ditulis oleh para ilmuwan di Cina, India, dan Rusia lebih cenderung diabaikan daripada yang ditulis di Amerika Serikat dan Eropa. Tetapi database tidak melacak banyak jurnal berbahasa daerah yang, jika dipertimbangkan, akan mempersempit kesenjangan, kata Lariviere.

“Dan kita tahu bahwa banyak kutipan yang cukup dangkal atau asal-asalan,” katanya. Atau mereka bisa menjadi tanda para akademisi saling menggaruk punggung, kata Dahlia Remler

Terlepas dari peringatan tentang angka absolut, penurunan uncitedness dalam Web of Science adalah pola yang kuat, kata Lariviere. Internet telah membuatnya jauh lebih mudah untuk menemukan dan mengutip makalah yang relevan, katanya. (Ada kemungkinan bahwa dorongan untuk membuat artikel akses terbuka juga membantu.) Tapi Lariviere memperingatkan agar tidak terlalu banyak membaca tren. Dia dan yang lainnya menemukan dalam sebuah studi tahun 2009 7 bahwa tingkat uncitedness turun karena para ilmuwan menerbitkan lebih banyak makalah dan memasukkan lebih banyak referensi ke dalam artikel mereka. Peneliti bibliometrik Ludo Waltman, di Universitas Leiden di Belanda, setuju. “Saya tidak akan cenderung menafsirkan angka-angka ini sebagai jaminan bahwa lebih banyak karya ilmiah kami memberikan tujuan yang bermanfaat.”

Source: V. LARIVIERE & C. SUGIMOTO/WEB OF SCIENCE

Waltman mengatakan bahwa banyak makalah lolos tanpa kutipan dengan sangat sempit: perhitungan independen dari Waltman dan Lariviere menunjukkan bahwa makalah di Web of Science dengan hanya satu atau dua kutipan melebihi jumlah yang memiliki nol. “Dan kita tahu bahwa banyak kutipan yang cukup dangkal atau asal-asalan,” katanya. Atau mereka bisa menjadi tanda para akademisi saling menggaruk punggung, kata Dahlia Remler, ekonom kesehatan di Marxe School of Public and International Affairs di New York City. “Bahkan penelitian yang banyak dikutip bisa menjadi permainan yang dimainkan bersama oleh para akademisi yang tidak menarik minat siapa pun,” katanya.

Tidak sepenuhnya sia-sia

Beberapa peneliti mungkin masih tergoda untuk mengabaikan makalah yang tidak dikutip sebagai tidak relevan. Lagi pula, jika itu penting — bahkan sedikit — tidakkah seseorang akan menyebutkannya?

Mungkin, tapi tidak selalu. Akademisi dipengaruhi oleh lebih banyak makalah daripada yang sebenarnya mereka kutip, kata Michael MacRoberts, ahli botani di Louisiana State University di Shreveport. Dalam artikel 8 tahun 2010 tentang kekurangan analisis kutipan, MacRoberts mereferensikan makalahnya tahun 1995 9 tentang penemuan lumut gada ( Palhinhaea cernua ) di Texas. Ini adalah pertama dan satu-satunya makalah yang dikutip, tetapi informasi di dalamnya telah dicatat dalam atlas tanaman dan database online yang besar; mereka yang menggunakan database ini mengandalkan makalah ini dan ribuan laporan botani seperti itu. “Informasi dalam apa yang disebut artikel yang tidak dikutip ini digunakan; hanya saja tidak dikutip,” katanya.

Dan artikel yang tidak dikutip masih dibaca. Pada tahun 2010, para peneliti di Departemen Kesehatan dan Kebersihan Mental Kota New York menerbitkan sebuah penelitian yang menggunakan perangkat lunak untuk menganalisis gangguan kinerja dalam tes HIV berbasis air liur 10. Beberapa tahun sebelumnya, penggunaan kit telah dihentikan di klinik, meskipun kemudian diaktifkan kembali. Penulis ingin menggunakan pengalaman klinik sebagai studi kasus, untuk menanyakan apakah perangkat lunak dapat digunakan untuk menganalisis kinerja kit ketika masalah muncul.

Kisah-kisah yang tak terkatakan

Penantian yang lama

Untuk setiap peneliti yang pernah berharap bahwa salah satu makalah mereka pada akhirnya akan mulai mengumpulkan kutipan, ada harapan dalam kisah Albert Peck, yang makalah13 tahun 1926 yang mencirikan semacam cacat pada kaca menarik kutipan pertamanya pada tahun 2014. Pada 1950-an, makalah tersebut menjadi berlebihan karena produsen mencari cara untuk membuat kaca halus tanpa cacat seperti itu.  Namun pada tahun 2014, peneliti material Kevin Knowles di University of Cambridge, Inggris, menemukan makalah tersebut di Google saat melakukan survei lapangan untuk karyanya menggunakan cacat tersebut sebagai cara untuk menyebarkan cahaya. Dia sekarang telah mengutipnya dalam empat artikel. “Saya suka menulis makalah di mana saya bisa memilih artikel yang tidak jelas,” katanya.

Gelombang yang dirindukan

Mahasiswa doktoral Francisco Pina-Martins di University of Lisbon menerbitkan makalah 14  tentang menafsirkan data urutan genetik pada tahun 2016 yang dia yakin tidak akan pernah dikutip karena teknologi yang dirujuk, yang dibuat oleh perusahaan biotek 454 Life Sciences, sudah usang dan telah dihapus.  Dia telah mengunggah perangkat lunak analisis datanya ke situs berbagi kode GitHub pada tahun 2012 — dan itu telah dirujuk dalam beberapa makalah. Tapi butuh empat tahun untuk penelitian itu untuk dipublikasikan, sebagian besar, katanya, karena ini berkaitan dengan masalah langka yang tidak dipahami oleh para peninjau sejawat.

Jalan buntu

Banyak cerita dari makalah yang tidak dikutip adalah yang tidak bahagia. Pada tahun 2010, ahli saraf Adriano Ceccarelli menerbitkan makalah15 di PLoS ONE tentang regulasi gen dalam jamur lendir Dictyostelium. Permohonannya untuk hibah untuk menindaklanjuti penelitian gagal, dan makalahnya tidak pernah dikutip. “Anda tahu bagaimana penelitian berjalan – ternyata ini adalah arah yang buta,” katanya. “Ide saya tidak berharga dalam hal pendanaan. Sekarang saya hanya mengajar dan menunggu pensiun. Saya akan sangat tertarik untuk melakukan pekerjaan itu jika saya mendapatkan dana besok.”

Makalah mereka, yang diterbitkan dalam jurnal PLoS ONE, tidak pernah dikutip. Tetapi telah dilihat lebih dari 1.500 kali dan diunduh hampir 500 kali, catat Joe Egger, rekan penulis makalah yang sekarang berada di Duke Global Health Institute di Durham, North Carolina. “Tujuan artikel ini adalah untuk meningkatkan praktik kesehatan masyarakat, bukan untuk menggerakkan bidang ilmiah,” katanya.

Masih artikel lain mungkin tetap tidak dikutip karena mereka menutup jalan penelitian yang tidak produktif, kata Niklaas Buurma, seorang ahli kimia di Universitas Cardiff, Inggris. Pada tahun 2003, Buurma dan rekan menerbitkan makalah tentang ‘kontroversi isokhorik’ — sebuah argumen tentang apakah akan berguna untuk menghentikan pelarut berkontraksi atau mengembang selama reaksi, seperti yang biasanya terjadi ketika suhu berubah 11 . Secara teori, eksperimen yang menantang secara teknis ini mungkin menawarkan wawasan tentang bagaimana pelarut mempengaruhi laju reaksi kimia. Tapi tes Buurma menunjukkan bahwa ahli kimia tidak mempelajari informasi baru dari eksperimen jenis ini. “Kami berangkat untuk menunjukkan bahwa ada sesuatu yang tidak layak dilakukan – dan kami menunjukkannya,” katanya. “Saya cukup bangga dengan ini sebagai makalah yang sepenuhnya tidak dapat dikutip,” tambahnya.

Oliver Smithies, berbicara di pertemuan Lindau, mengatakan bahwa dia mengakui nilai makalahnya tahun 1953, meskipun dia pikir itu tidak dikutip. Pekerjaan di baliknya, katanya kepada audiensnya, membantunya mendapatkan gelar PhD dan menjadi ilmuwan yang sepenuhnya matang. Intinya, itu mewakili magang pemenang hadiah Nobel di masa depan. “Saya senang melakukannya,” katanya, “dan saya belajar melakukan sains yang baik.” Smithies memang memiliki setidaknya satu makalah yang benar-benar tidak dikutip di katalog belakangnya: artikel 1976 12 yang menunjukkan bahwa gen sistem kekebalan tertentu terletak pada kromosom 15 manusia. Tetapi bahkan itu penting untuk alasan lain, kata ahli genetika Raju Kucherlapati, di Harvard Medical School di Boston, Massachusetts, yang ikut menulis makalah tersebut. Artikel itu, katanya, adalah awal dari kolaborasi jangka panjang dengan laboratorium Smithies, yang berpuncak pada penelitian genetika tikus yang akan memberi Smithies Hadiah Nobel dalam Fisiologi atau Kedokteran 2007. “Bagi saya,” kata Kucherlapati, “makna penting dari makalah itu adalah saya mengenal Oliver.”

References

  1. Smithies, O. Biochem. J. 55, 57–67 (1953).
  2. Hamilton, D. P. Science 250, 1331–1332 (1990).
  3. Pendlebury, D. A. Science 251,1410–1411 (1991).
  4. Larivière, V., Gibgras, Y. & Archambault, E. J. Assoc. Inform. Sci. Tech. 60, 858–862 (2009).
  5. Heneberg, P. J. Am. Soc. Inf. Sci. Tech. 64, 448–454 (2013).
  6. Egghe, L., Guns, R. & Rousseau, R. J. Am. Soc. Inf. Sci. Technol. 62, 1637–1644 (2011).
  7. Wallace, M. L., Larivière. V. & Gingras, Y. J. Informetrics 3, 296–303 (2009).
  8. MacRoberts, M. H. & MacRoberts, B. R. J. Am. Soc. Inf. Sci. 61, 1–12 (2010).
  9. MacRoberts, B. R. & MacRoberts, M. H. Phytologia 78, 402–403 (1995).
  10. Egger, J. R., Konty, K. J., Borrelli, J. M., Cummiskey, J. & Blank, S. PLoS ONE 5, e12231 (2010).
  11. Blandamer, M. J., Buurma, N. J., Engberts, J. B. F. N & Reis, J. C. R. Org. Biomol. Chem. 1, 720–723 (2003).
  12. Kucherlapati, R. S., Faber, H. E., Poulik M. D., Ruddle, F. H. & Smithies, O. Cytogenet. Cell Genet. 16, 178–180 (1976).
  13. Peck, A. B. J. Am. Ceram. Soc. 9, 351–353 (1926).
  14. Pina-Martins, F., Vieira, B. M., Seabra, S. G., Batista, D. & Paulo, O. S. BMC Bioinformatics 17, 41 (2016).
  15. Conte, D., MacWilliams, H. K. & Ceccarelli, A. PLoS ONE 5, e9676 (2010).
Advertisements
Advertisements
Advertisements

Tinggalkan Balasan

Advertisements

Eksplorasi konten lain dari SANGIA Daily

Langganan sekarang agar bisa terus membaca dan mendapatkan akses ke semua arsip.

Lanjutkan membaca