Soroti Survei Terbuka IndexMundi, Burhanuddin Muhtadi Beberkan Cacat Metodologi Riset Online

Secara rinci, Burhanuddin membeberkan beberapa kelemahan mendasar dari sistem yang digunakan IndexMundi Global Surveys. Poin pertama yang menjadi sorotan ilmiah adalah adanya bias sampel (sampling bias). Partisipan riset ini sangat terbatas hanya pada individu yang memiliki akses internet, melek teknologi, dan memahami bahasa yang digunakan pada situs tersebut.

Lihat video: Brimob Ingin Buka Diri ke Masyarakat, Mako Jadi Panggung HUT Polri


Kondisi ini mengakibatkan sampel tidak representatif karena tidak dipilih melalui metode acak murni (random sampling) untuk mewakili keseluruhan demografi suatu negara, seperti proporsi usia, jenis kelamin, tingkat pendapatan, ataupun sebaran geografis.

Selain bias sampel, sistem pengumpulan data tersebut juga dinilai sangat rentan terhadap manipulasi atau self-selection bias. Mengingat partisipasinya bersifat sukarela (volunteer), siapa saja yang kebetulan berkunjung ke situs tersebut dapat mengisi instrumen yang disediakan. Dampaknya, opini yang terekam cenderung hanya berasal dari kelompok yang memiliki pandangan ekstrem, baik sangat kecewa maupun sangat puas.

"Tanpa verifikasi identitas, sistem pengisian yang longgar membuka celah bagi satu individu atau kelompok untuk mengisi survei berkali-kali menggunakan VPN atau perangkat berbeda guna memanipulasi peringkat negara tertentu," jelas Burhanuddin.

Lebih jauh, ia mengkritik minimnya transparansi data dari pihak IndexMundi, terutama menyangkut apa yang ia sebut sebagai "jumlah sampel gaib". Lembaga tersebut dinilai jarang membuka informasi secara transparan mengenai berapa jumlah responden (sample size) per negara yang mendasari sebuah skor akhir.