Standar Penilaian Publikasi Ilmiah

Dr Irwan Trinugroho
Dosen Fakultas Ekonomi dan Bisnis, Universitas Sebelas Maret (UNS)

DALAM beberapa waktu terakhir ini publikasi ilmiah di jurnal internasional menjadi isu yang sangat hangat di Indonesia khususnya di perguruan tinggi. Dipicu oleh relatif rendahnya jumlah dan kualitas publikasi ilmiah Indonesia di jurnal internasional, terutama dibandingkan dengan negara-negara tetangga seperti Malaysia, Singapura, dan Thailand.

Pemerintah (dalam hal ini Kementrian Ristekdikti maupun perguruan tinggi) membuat berbagai program untuk mengakselerasi kuantitas dan kualitas penelitian serta publikasi ilmiah agar dapat terdiseminasi di jurnal internasional. Bahkan bereputasi baik dalam bentuk kewajiban publikasi bagi penerima hibah penelitian, pelatihan dan pendampingan penulisan, dan sebagai syarat untuk kenaikan jabatan fungsional. Di samping itu, baik perguruan tinggi, Kementrian Ristekdikti, maupun Lembaga Pengelola Dana Pendidikan (LPDP) juga membuat program insentif yang nilainya cukup fantastis untuk artikel yang terpublikasi di jurnal internasional bereputasi.

Yang kemudian menjadi permasalahan dan perdebatan adalah terkait standar dan kriteria untuk mengklasifikasikan suatu jurnal internasional dapat dikatakan bereputasi. Seperti yang sudah diketahui secara umum, Kementrian Ristekdikti saat ini menggunakan indeksasi dari Scopus (Elsevier) dan Web of Science (Thompson Reuters) sebagai acuan. Demikian pula LPDP menggunakan dua acuan tersebut dengan tambahan kriteria impact factor dan jumlah sitasi untuk memberikan penghargaan publikasi internasional.

Hal ini kemudian menimbulkan berbagai perdebatan. Di satu pihak, banyak yang berargumen bahwa dua lembaga pengindeks tersebut memang yang paling kredibel dan valid dalam menilai standar suatu jurnal dan paling layak digunakan sebagai acuan di dalam dunia akademis. Di samping itu memang ada beberapa lembaga pemeringkat perguruan tinggi, yang secara spesifik menggunakan Scopus dalam beberapa standarnya seperti QS World University Rankings, di mana untuk kategori kinerja dalam riset yang diukur dengan jumlah sitasi per paper mengambil data dari Scopus.

Di satu sisi, muncul argumen kontra yang mengatakan bahwa penggunaan Scopus sebagai acuan utama penilaian kualitas suatu jurnal dan digunakan dalam banyak aspek (kenaikan pangkat, insentif, dan kinerja dosen). Hal ini menjadikan kita hanya sebagai pengikut (followers) dari lembaga asing dan cenderung terjadi “penjajahan dalam dunia akademik”. Kemudian muncul di media sosial mengenai besarnya pendapatan tahunan Scopus (Elsevier) dan Thompson Reuters yang dihasilkan dari berbagai unit bisnisnya termasuk dalam indeksasi.

Permasalahan selanjutnya, timbul ketika Jeffrey Beall, seorang pustakawan dari University of Colorado Denver USA, membuat sebuah blog yang di dalamnya memuat daftar publishers (penerbit jurnal) dan standalone journals (jurnal-jurnal yang berdiri sendiri tidak menginduk penerbit tertentu). Jurnal tersebut open access, yang dikategorikan sebagai berpotensi, dimungkinkan, dan kemungkinan besar adalah penerbit dan jurnal predator. Beall menggunakan beberapa standar untuk mengevaluasi apakah suatu penerbit atau standalone journal dapat dimasukkan dalam daftar tersebut, yang secara umum adalah terkait dewan editor dan staf redaksi, manajemen dan bisnis dari penerbit dan jurnal, integritas dan kriteria-kriteria lain.

Perdebatan di Indonesia kemudian kembali muncul terkait dengan keberadaan Beall’s List karena beberapa institusi menggunakan daftar ini sebagai acuan pula untuk mengevaluasi kualitas suatu jurnal. Ada sejumlah jurnal yang terindeks di Scopus, namun juga masuk dalam daftarnya Jeffrey Beall. Di satu sisi keberadaan daftar ini cukup bagus karena memang memuat banyak jurnal dan penerbit yang cenderung “money making” dengan menerbitkan artikel di dalam jurnalnya tanpa peer-review process yang rigid. Tanpa proses reviu, tetapi mengharuskan penulis untuk membayar sejumlah uang tertentu untuk biaya publikasi.

Namun, pada sisi yang lain, ada beberapa pendapat yang menyebutkan bahwa Beall cenderung subjektif dalam menentukan penerbit dan jurnal yang masuk dalam daftarnya. Saya beberapa kali berkomunikasi dengan Jeffrey Beall terkait beberapa penerbit dan jurnal yang ada di dalam daftarnya maupun yang belum ada di daftarnya. Suatu waktu saya pernah menanyakan ke beliau terkait jurnal terindeks di Scopus yang memiliki proses reviu yang bagus dan tidak ada biaya publikasi (hanya membayar biaya membership untuk setahun yang nilainya relatif cukup kecil), tetapi masuk dalam Beall’s List.

Beall waktu itu meminta semua contoh proses reviu dan menanyakan biaya publikasi. Setelah saya kirimkan semua, kemudian dia sampaikan bahwa jurnal tersebut tetap dia pertahankan dalam daftarnya karena penerbit dari jurnal baru saja mengakuisisi beberapa jurnal open access yang berkualitas rendah. Perlu pula dicatat bahwa Beall’s List ini dapat berubah (utamanya bertambah) setiap saat yang juga menimbulkan ketidakpastian bagi yang menggunakannya sebagai acuan.

Kemudian bagaimana sebaiknya kita menyikapi mengenai standar dalam evaluasi terhadap jurnal internasional? Saat ini khususnya di kalangan sivitas akademika perguruan tinggi di Indonesia, terjadi keresahan terkait hal tersebut yang berujung pada debat-debat yang menghabiskan energi.

Sebagai negara besar, Indonesia seharusnya memiliki standar tersendiri dalam mengevaluasi kualitas suatu jurnal internasional, yang tidak serta-merta mengacu pada indeksasi atau daftar yang dikeluarkan lembaga di luar negeri. Dalam hal ini, standar publikasi ilmiah serta daftar jurnal internasional yang diakui berdasarkan pada standar yang disusun tersebut dapat ditetapkan oleh regulator (misalnya Kementrian Ristekdikti bekerja sama dengan LIPI).

Untuk menetapkan standar dan daftar jurnal yang diakui, diperlukan suatu tim yang terdiri atas para pakar di masing-masing bidang (rumpun) ilmu yang sudah berpengalaman dan kompeten dalam kaitan dengan publikasi di jurnal internasional untuk menentukan kriteria/ standar serta kemudian menentukan daftar jurnal internasional yang diakui berdasarkan pada standar-standar tersebut. Standard dan daftar jurnal tersebut harus dievaluasi secara periodik misalnya setiap dua atau satu tahun sekali. Keberadaan standar dan panduan tersebut akan memberikan kejelasan dan kepastian khususnya bagi dosen dan mahasiswa pascasarjana yang sangat didorong untuk publikasi di jurnal internasional bereputasi.

Beberapa negara juga menetapkan standar sendiri dalam menentukan kualitas suatu jurnal dan membuat daftar yang menjadi acuan di negaranya. Contohnya Prancis, yang memiliki standar pemeringkatan jurnal tersendiri yang dikeluarkan CNRS, suatu lembaga riset ilmiah negara. Contoh lain misalnya Denmark, yang mendesain BFI (Danish Bibliometric Research Indicator), Brasil yang memiliki Qualis, dan sebagainya. Dapat pula standar tersebut ditetapkan untuk masing-masing bidang ilmu misalnya asosiasi dekan sekolah bisnis di Australia (ABDC) menetapkan standar penilaian dan membuat ranking jurnal untuk bidang bisnis dan ekonomi. Ranking tersebut kemudian dipakai sebagai acuan semua sekolah bisnis di Australia.