Menguji Vadilitas Quick Count

PUBLIK dibuat bingung dengan keberadaan perbedaan hasil quick count (QC) Pemilihan Presiden 2014 oleh berbagai lembaga survei. Mana dari hasil survei tersebut yang benar dan akurat? Sejauh ini kita tidak tahu. Ini karena publik tidak memiliki dokumen bagaimana survei QC didesain dan bagaimana data dikumpulkan, dikirim, dan diolah.

Kalau pertanyaannya, mana yang diyakini benar? Kalau soal keyakinan biasanya menyangkut kredibilitas lembaga survei dalam melakukan survei-survei sebelumnya. Sayangnya, kredibilitas tersebut saat ini sedang dipertaruhkan. Sebagian di antara para peneliti diragukan kenetralannya karena ditengarai sebagai pendukung atau tim sukses salah satu calon pasangan capres. Kontroversi ini bertambah setelah Burhanuddin Mutadi mengeluarkan pertanyaan janggal: ”Kalau hasil hitungan resmi KPU nanti terjadi perbedaan dengan lembaga survei yang ada di sini, saya percaya KPU yang salah dan hasil hitung cepat kami tidak salah” (10/7).

Pertanyaan itu bertentangan dengan logika ilmiah dan hukum. Secara ilmiah siapa pun tahu bahwa survei memiliki kelemahan dan tidak mungkin 100% akurat. Maka itu, tidak ada survei yang menggunakan derajat kepercayaan 100% dan margin of error 0%. Boleh jadi irasionalitas pernyataan ini disebabkan pada pilpres kali ini lembaga survei sedang diuji kredibilitasnya yang akan berdampak penting bagi masa depannya. Secara hukum pertanyaan ini juga menyalahi aturan hukum bahwa hasil pilres yang diakui bukan dari QC, melainkan dari hasil rekapitulasi perhitungan nyata KPU.

Ujilah dengan Cara Ilmiah
Menurut hemat saya, sebaiknya kita dorong lembaga survei untuk diuji kualitas survei QC dengan cara ilmiah. Sejauh ini beberapa lembaga survei sudah mulai saling menantang untuk diaudit dan buka-bukaan dapur survei mereka. Sayangnya, tantangan ini tidak ditanggapi secara serius. Perdebatan di media masa sejauh ini baru menggunakan klaim bahwa kebenaran seolah-olah dari mayoritas lembaga survei: jika mayoritas hasil survei sama, itulah yang seharusnya diikuti. Padahal kebenaran tidak dinilai berdasarkan siapa yang lebih banyak, tapi sejauhmana survei tersebut dilakukan dengan metode, proses, dan hasil yang benar.

Menguji kualitas survei QC dapat dilakukan dengan beberapa cara: uji metodologi, uji proses, dan uji hasil. Untuk uji hasil, tentu kita harus menunggu pengumuman real count KPU. Apakah hasil QC mendekati sama atau masih dalam margin of error dengan hasil perhitungan KPU. Untuk jenis uji ini, kita harus menunggu setidaknya sampai 22 Juli 2014, sampai KPU mengumumkan hasilnya. Sampai tanggal tersebut, mungkin kontroversi hasil QC akan terus terjadi. Lalu, bagaimana mengurangi kontroversi tersebut dengan cepat? Ada dua cara yang dapat dilakukan terkait ini yakni melalui uji metodologi dan proses.

Secara metodologis, kualitas QC dapat dilihat dari apakah ada sampling error atau tidak. Dalam survei yang bertujuan untuk membuat generalisasi terhadap seluruh populasi, apakah sampel yang dipilih memenuhi kaidah pengambilan sampel secara acak. Jika ada survei yang tidak memenuhi asas itu, kemungkinan besar hasilnya salah -karena tidak bisa dibuat generalisasi. Di sini sangat relevan untuk buka-bukaan dokumen metodologi survei QC ini. Termasuk di dalamnya membuka TPS mana saja yang diambil dan kemudian di-cross-check di lapangan.

Jika dari sisi metodologis ini ada kejanggalan dan ternyata TPS sampel ternyata bohong, sudah dipastikan bahwa secara ilmiah kualitas QC sangat diragukan. Uji lain yang dapat dipakai adalah proses. Dalam kasus QC ini lebih sederhana, setidaknya uji proses ini dapat dilihat melalui apakah data hasil rekapitulasi pilres di TPS sampel sama atau tidak dengan data yang dikirim ke pusat data. Jika data TPS sampel ternyata berbeda dengan data yang dikirim ke pusat data berbeda, dapat dipastikan bahwa kualitas hasil QC sangat rendah.

Jika cara ini membutuhkan waktu, cara lain yang lebih sederhana dapat dilakukan uji petik TPS sampel misalnya 5% dari total sampel TPS. Jika data dari TPS uji petik berbeda dengan data yang dikirim ke pusat data, bisa dipastikan bahwa kualitas QC sangat rendah. Saya pikir, saatnya lembaga survei secara aktif mengurangi kontroversi ini. Kita dorong masing-masing lembaga survei untuk buka-bukaan mengenai metodologi dan proses survei. KPU, yang memberikan izin penyelenggaraan survei QC ke lembaga, berhak meminta pertanggungjawaban lembaga untuk membuka dapur survei mereka.

ABDUR ROFI
Dosen Fakultas Geografi UGM