Lonceng Peringatan untuk Lembaga Survei

Lonceng Peringatan untuk Lembaga Survei

Teguh Dartanto ; Peneliti, Dosen Lembaga Penyelidikan Ekonomi dan Masyarakat (LPEM) Fakultas Ekonomi Universitas Indonesia

 KORAN TEMPO, 25 Juli 2012

Gegap-gempita pemilihan Gubernur DKI Jakarta ronde pertama melahirkan kejutan spesial yang tidak disangka-sangka. Berdasarkan hasil hitung cepat berbagai lembaga survei, calon inkumben Fauzi Bowo-Nachrowi (Foke-Nara) kalah angka melawan pasangan Joko Widodo-Basuki (Jokowi-Ahok) sehingga perlu ronde kedua untuk menentukan jawara. Masyarakat Jakarta yang menginginkan perubahan dan pendukung pasangan Jokowi-Ahok tentu akan berbunga-bunga. Sedangkan bagi peneliti sosial-ekonomi seperti saya maupun para pendukung Foke-Nara, hasil hitung cepat menyisakan luka, lara, dan tanda tanya. Kenapa hasil hitung cepat berbeda dengan hasil survei sebelumnya di mana Foke-Nara akan menjadi jawara sedangkan Jokowi-Ahok nomor dua? 

Saya memang mendambakan perubahan. Tetapi, sebagai seorang peneliti, saya berharap hasil survei pra-pilkada tidak jauh berbeda dengan hasil pilkada, sehingga publik mempercayai hasil penelitian dan profesi peneliti. Tidak ada penjelasan secara jujur dan terbuka dari lembaga survei kenapa terjadi salah ramal hasil pilkada DKI. Dalam penelitian sosial, kesalahan prediksi bukanlah sebuah dosa karena memang terdapat ruang berbuat salah yang masih diterima dan termaafkan. Dengan menyatakan tingkat keyakinan 95 persen, maka terdapat ruang berbuat salah dalam menarik kesimpulan sebesar 5 persen. 

Jokowi bukanlah Bandung Bondowoso dalam legenda Loro Jonggrang, yang mampu menyulap angka survei 14-18 persen menjadi 42-44 persen seperti hasil hitung cepat. Faktor utama salah ramal dalam pilkada DKI ada dalam diri lembaga survei itu sendiri. 

Tidak ada yang salah dalam penggunaan multistage stratified random sampling atau stratified-cluster random sampling sebagai metodologi untuk survei pra-pilkada. Kesalahan utama dari survei pilkada DKI Jakarta adalah permasalahan representasi/keterwakilan sampel (sample representative), bias pemilihan sampel (sample selection bias), dan independensi lembaga survei. 

DKI Jakarta, dengan jumlah penduduk yang heterogen, baik dari sisi etnik, agama, pendidikan, pekerjaan, maupun kondisi sosial-ekonomi serta dinamika masyarakat, sangat sulit bagi peneliti untuk memilih responden dalam survei pilkada DKI. Dalam ruang populasi yang heterogen seperti ini, sampel yang diambil harus dalam jumlah besar agar mampu merepresentasikan seluruh elemen demografi dalam masyarakat, sehingga tidak ada sub-populasi yang tidak terwakili dalam survei. Jumlah sampel survei pra-pilkada DKI berkisar 450-1.000 di mana satu responden survei mewakili sekitar 6.500-15.000 pemilih atau dengan kata lain satu responden mewakili sekitar 3-6 rukun warga. Dengan keterwakilan sampel seperti ini, kemungkinan bias dalam penarikan kesimpulan sangatlah besar. Hal ini berbeda untuk survei pilkada di daerah homogen seperti Jawa Timur, Aceh, Sulawesi, di mana jumlah sampel kecil tidak akan menimbulkan bias kesimpulan. Karena itu, lembaga survei banyak sukses menebak hasil pilkada di luar DKI Jakarta. 

Permasalahan bias pemilihan sampel/responden sangat berkaitan erat dengan permasalahan keterwakilan sampel. Dengan representasi satu responden mewakili sekitar 10 ribu pemilih, kesalahan pemilihan responden akan berakibat fatal terhadap kesimpulan. Telesurvei dengan telepon serta survei kuesioner dengan wawancara langsung yang dilakukan pada siang hari hanya akan menangkap responden ibu rumah tangga atau pekerja rumahan, sehingga tidak mampu menggambarkan suara populasi secara keseluruhan. Pengalaman survei lapangan di Jakarta adalah kesulitan mendapatkan responden yang tepat dan mau meluangkan waktu untuk wawancara. Untuk mengatasi hal ini, surveyor kadang mewawancarai ketua RT, RW, atau aparatur pemerintahan yang notabene sangat kooperatif dalam menjawab pertanyaan-pertanyaan survei. Jika survei ini tidak ada kaitannya dengan pilkada, hasil survei tidak akan menimbulkan permasalahan. Tetapi, dalam kasus pilkada DKI, responden tidak akan obyektif memberikan jawaban, sehingga akan menimbulkan bias kesimpulan.

Independensi lembaga survei merupakan faktor utama salah ramal dalam pilkada DKI. Survei lapangan bukanlah pekerjaan murah dan mudah untuk dilakukan. Dibutuhkan dana dan sumber daya yang cukup besar untuk menghasilkan sebuah survei yang kredibel. Satu kuesioner survei membutuhkan biaya sekitar Rp 50-150 ribu untuk biaya pengumpulan dan pengolahan data, sehingga 1.000 responden membutuhkan dana tidak kurang dari Rp 50-150 juta. Dengan demikian, akan sulit sekali sebuah lembaga survei swasta dengan swadana melakukan survei pilkada yang hasilnya hanya untuk kepentingan publik semata. Karena itu, sebagian besar survei pilkada adalah pesanan dari para calon gubernur/bupati dan bahkan lembaga survei merupakan bagian dari tim sukses. Virus “membela yang bayar” serta kepentingan menggiring opini publik mengakibatkan lembaga survei kadang melakukan kesalahan dalam pemilihan responden untuk memperoleh hasil yang diinginkan agar sesuai dengan pesanan. 

Sebuah Peringatan

Survei opini publik merupakan cara ilmiah, murah, efektif, dan efisien untuk mencari tahu 

bagaimana publik bereaksi terhadap suatu isu, baik kebijakan publik maupun pilkada, pilpres maupun pemilihan legislatif, sehingga survei masih dan akan terus diperlukan di masa yang akan datang. Lembaga survei seharusnya jujur mengevaluasi diri mengenai kesalahan prediksi pilkada DKI, bukan dengan menyalahkan masa mengambang sebagai kambing hitam dari salah ramal. Introspeksi, perbaikan dalam lembaga survei, serta pelibatan mitra bestari (reviewer) dari luar dalam proses survei akan memulihkan kredibilitas peneliti dan hasil penelitian di mata publik. Dengan demikian, para calon legislator, bupati, gubernur, dan presiden yang bertarung dalam pemilihan umum akan bertanya secara ilmiah kepada peneliti, bukan bertanya kepada paranormal. ●

Lembaga Survei Merangkap Konsultan Politik

Lembaga Survei Merangkap Konsultan Politik

Tjipta Lesmana ; Dosen Metode Penelitian Sosial UPH

SINAR HARAPAN, 16 Juli 2012

Tidak lama setelah quick count beberapa lembaga survei selesai pada 11 Juli petang, pasangan Fauzi Bowo-Nachrowi menggelar jumpa pers di “markas” mereka. Tidak banyak pernyataan yang diberikan kepada media. Tapi, satu kalimat sempat keluar dari mulut petahana, Fauzi Bowo (Foke), “Kenapa kita kalah?”

Dari perspektif komunikasi politik, kalimat singkat ini mengandung makna sangat dalam. Pertama, Foke-Nara sungguh kaget setelah mengetahui perolehan suara mereka di bawah perolehan suara pasangan Jokowi-Basuki yang diusung PDIP-Gerindra.

Kedua, “Kenapa kita kalah?” juga berarti teriakan tidak percaya; sekali lagi, tidak percaya! melihat angka-angka yang disajikan di layar televisi.

Teriakan ini sebenarnya lebih ditujukan kepada pemimpin sejumlah lembaga survei yang selama ini secara konsisten menempatkan pasangan Foke-Nara jauh sekali mengungguli semua kontestan lain, termasuk pasangan Jokowi-Basuki. Seolah Foke menggugat, “Anda semua selama berminggu-minggu mengatakan kami unggul dan unggul, tapi kenyataan kami kalah. Mengapa?”

Ketiga, kalimat singkat Foke juga mengandung makna bahwa selama ini pasangan yang diusung Demokrat itu sangat yakin mereka akan menang, bahkan menang dalam satu putaran! Apa sebenarnya yang terjadi pada Pilkada Gubernur Jakarta 11 Juli lalu? Sebelum menjawab pertanyaan ini, mari kita cermati lagi angka-angka tiga lembaga survei “terkemuka” yang menunjukkan prediksi mereka dan hasil hitung cepat yang mereka lakukan.

Mengenai prediksi perolehan suara Foke-Nara dan Jokowi-Ahok, ketiga lembaga survei mempunyai satu persamaan: semua memberikan 43-49 persen kepada petahana dan hanya 14-16 persen kepada Jokowi-Ahok.

Tapi, kenyataannya, menurut hasil quick count, Foke-Nara hanya memperoleh 33 persen plus dan Jokowi-Ahok 43 persen plus. Jokowi mampu mengungguli petahana sekitar 9 persen. Kesalahan perhitungan 25 persen lebih antara prediksi dan perhitungan riil tidak bisa dianggap enteng, atau sekadar membela diri “situasi anomali”. Prediksi yang meleset jauh harus diakui dapat mencoreng kredibilitas lembaga survei kita.

Memang banyak pihak yang sudah lama meragukan kredibilitas lemnbaga survei kita. Ada faktor XYZ yang menyebabkan hasil survei mereka meleset jauh. Faktor utamanya: kecurigaan bahwa survei dilakukan karena pesanan pihak tertentu. Karena memperoleh dana dari pihak yang meminta survei, dengan sendirinya survei itu diarahkan ke titik yang diinginkan penyandang dana.

Maka, saya sering mengatakan kepada publik, soal hasil polling atau survei sekadar untuk “diketahui” saja; jangan ditelan bulat-bulat dalam hati!

Baru 1,5 bulan yang lalu tiba-tiba sejumlah lembaga survei hampir berbarengan mengeluarkan hasil survei mereka tentang siapa calon terkuat presiden Indonesia untuk pemilihan presiden 2014. Inilah hasilnya.

Lembaga survei X mengatakan Megawati Soekarnoputri calon terkuat dan Aburizal Bakrie hanya peringkat ketiga. Lembaga survei Y merilis hasil surveinya: Prabowo Subianto berada pada peringkat teratas, Megawati ke-3. Lembaga survei Z: Aburizal Bakrie calon terkuat, disusul oleh Megawati. Aneh, kan? Ya, orang awam menjawab kenapa hasil survei berbeda jauh? Yang mana yang mendekati kebenaran?

Menurut saya, perbedaan jauh ini tidak usah dipandang aneh. Kebenaran hasil survei dan polling sangat ditentukan oleh berbagai faktor. Misalnya, bagaimana Anda menjaring responden, bagaimana penyebaran responden, kapan survei dilakukan.

Jika dilakukan beberapa hari setelah ribuan massa Sidoarjo “menyerbu” Jakarta menuntut Ical bertanggung jawab atas korban lumpur panas Sidoarjo, tentu saja nama Ical babak belur dalam survei itu.

Bagaimana pertanyaan disusun (wording)? Urutan-urutan pertanyaannya bagaimana? Apakah dalam survei tentang Prabowo juga ditanyakan soal kerusuhan Mei 1998? Apakah ada pertanyaan bahwa Prabowo harus bertanggung jawab tentang kerusuhan Mei 1998? Tapi jika pertanyaan ini ditujukan kepada responden yang berusia 18-25 tahun, mereka tentu tidak tahu apa itu kerusuhan Mei 1998.

Bagaimana pula responden ditanya? Apakah mereka sedang jalan terburu-buru di depan mal, duduk santai, atau sedang buruk mood-nya? Tentu semua ini menentukan “kualitas” jawaban responden. Jika Anda bertanya lewat telepon, apa ada jaminan responden menjawab secara serius atau “waras”? Atau ia sedang menonton televisi atau bermesraan dengan pacarnya di dalam kamar sehingga ia menjawab asal globlek?

Begitu banyak faktor yang memengaruhi hasil survei sehingga hasilnya pun bisa berbeda-beda. Multifaktor inilah yang dengan gampang “dimainkan” lembaga survei, entah sengaja atau tidak disengaja.

Anda masih ingat hasil survei sebuah lembaga menjelang pemilihan umum 2009? Gerindra dikatakan akan memperoleh sekitar 26 persen suara, padahal perolehan suara Gerindra jauh di bawah 10 persen! Celakanya, Prabowo Subianto selaku pemimpin tertinggi “telanjur” menggelar pesta di sebuah hotel super mewah di Kuningan sebagai manifestasi kegembiraan karena diprediksi dapat meraih suara lebih dari 25 persen.

Kalau saja keberadaan lembaga survei harus pakai izin, izin lembaga survei ini mungkin perlu dicabut, sebab hasil kerja mereka amat menyesatkan publik.

Kembali ke masalah “kagetnya” Fauzi Bowo melihat suaranya disalib jauh oleh Jokowi, saya yakin tidak ada satu pun lembaga survei yang menanyakan pendapat responden tentang kinerja pemerintahan petahana.

Tanya dong bagaimana pendapat responden tentang pemerintahan Foke. Berikan daftar permasalahannya, seperti kemacetan, banjir, asongan, parkir, portal, keamanan, dan lain-lain. Hampir dipastikan yang jelek-jelek tentang pemerintah daerah DKI sekarang tidak ditanyakan, atau disembunyikan dari responden.

Sebaliknya, responden ditanya: menurut Anda, mana calon paling populer? Tentu saja, Foke sebagai gubernur paling populer, sebab dirinya setiap hari, setiap jam, hadir di publik. Gubernur berpidato, meresmikan proyek, hadir di suatu acara, semua pasti dipublikasikan/disiarkan kepada publik sehingga wajah sosok yang satu ini sangat dikenal masyarakat Jakarta, termasuk anak-anak SD sekali pun.

Wording pertanyaan yang kerap direkayasa sedemikian rupa demi keuntungan satu pihak juga karena posisi pemimpin lembaga survei yang kerap sekaligus sebagai konsultan politik. Konsultan politik inilah yang kerap menempatkan lembaga survei dalam posisi ambivalen.

Di satu sisi lembaga survei harus betul-betul independen dan bekerja di bawah kaidah-kaidah ilmiah (khususnya metodologi). Tapi di sisi lain, konsultan politik mencari fulus sebesar-besarnya.

Konsultan politik harus memberikan advise sekaligus strategi untuk memenangkan pertarungan politik. Salah satu strategi untuk itu tidak lain adalah memainkan opini publik; terus-menerus mempropagandakan jagonya di posisi teratas. Harapannya, dengan propaganda seperti itu, publik “termakan” dan percaya kandidat X memang paling layak memimpin kota atau kabupaten kita.

Tapi, konsultan politik lupa kebenaran pada akhirnya tidak bisa dimanipulasi. Rakyat pada akhirnya bisa membedakan antara yang jelek dan yang bagus. Manipulasi untuk sementara dan untuk kelompok tertentu bisa berhasil, kata Abraham Lincoln; namun untuk jangka panjang, no way! ●

Etika Lembaga Survei

Etika Lembaga Survei

Gun Gun Heryanto ; Direktur Eksekutif The Political Literacy Institute,

Dosen Komunikasi Politik UIN Jakarta

SINDO, 06 Juli 2012

 

Setiap pemilihan umum (pemilu) maupun pemilihan kepala daerah (pilkada) selalu muncul polemik terkait publikasi hasil riset lembaga-lembaga survei opini publik. Tren kehadiran lembaga survei ini kian menyemarakkan demokrasi elektoral di Indonesia.

Nyaris setiap saat media massa menjadi saluran publikasi hasil riset dari lembaga berbeda-beda. Hasil riset pun kini kecenderungannya menjadi tema utama pemberitaan yang tentu memengaruhi diskursus masyarakat. Karena posisinya yang kian strategis dalam bingkai pemberitaan media (media news framing) inilah,lembaga survei wajib memerhatikan sejumlah nilai etis kerja profesional mereka.

Gelombang Survei

Eksistensi lembaga survei sedari awal memang memperoleh tempat dalam pilihan demokrasi yang kita anut. Supremasi warga negara sebagai istilah lain dari kedaulatan rakyat mengharuskan pengelolaan negara senantiasa mendengar kehendak umum yang oleh Rousseau dalam traktatnya diistilahkan sebagai the general will. Perkembangannya, the general will ini kerap disepadankan dengan l’opinion publique (opini publik).

Tentu untuk mendengar dan memahami orientasi kehendak umum tersebut dibutuhkan inovasi metodologi modern yang secara ilmiah bisa dipertanggungjawabkan. Salah satu pendekatan itu adalah survei. Meskipun dalam praktiknya, aktivitas survei itu pun kerap terbagi menjadi survei non-scientific seperti SMS survey (call in survey), internet survey, selain juga scientific survey yang ketat dengan standar-standar ilmiah untuk mengetahui, mengukur,memprediksi kehendak publik yang berkembang misalnya dalam pemilu. Paling tidak ada tiga gelombang eksistensi lembaga survei di Indonesia.

Pertama, gelombang sentralisasi di mana hampir seluruh aktivitas survei dikelola dan dalam pengendalian pemerintah. Fase ini berlangsung di era Orde Baru.Inisiator awal lembaga survei jenis ini adalah Lembaga Pers dan Pendapat Umum Djakarta, serta Departemen Penerangan yang lahir Oktober 1968. Salah satu kontribusi lembaga survei ini di pemilu bisa kita lacak misalnya dalam publikasi hasil survei terkait Pemilu 1971.

Saat itu hasil survei menunjukkan Golkar diprediksi memenangi 37,7% suara dalam pemilu. Pemerintah sangat represif mengendalikan hasil survei di luar mainstream, salah satu korbannya adalah PT Survei Business Research Indonesia (Suburi) yang tak bisa bertahan lama. Baru pada 1985 media berpartisipasi melakukan aktivitas riset antara lain dilakukan oleh majalah Tempo dan Kompas yang melakukan survei terkait antusiasme kalangan muda dalam Pemilu 1987.

Kedua, gelombang konsolidasi awal.Ini diawali pada 1999, sesaat setelah reformasi bergulir dan memberi ruang ekspresi berdemokrasi kepada berbagai kekuatan di Indonesia. Kita mencatat sejumlah aktivitas survei mulai eksis antara lain Lembaga Penelitian,Pendidikan, dan Penerangan Ekonomi dan Sosial (LP3ES) dan International Foundation for Elections Systems (IFES), selain juga aktivitas survei yang dilakukan kampus-kampus dan media massa. Di fase ini meskipun aktivitas survei sudah ramai, belum mengerucut pada spesifikasi profesional sebagai lembaga survei.

Ketiga, gelombang komodifikasi survei.Fase ini ditandai dengan hubungan yang sangat erat antara lembaga-lembaga survei dan media massa. Pada 2004 survei-survei lebih maju dari sudut metodologi, tidak hanya pre-election, melainkan juga election survey seperti exitpoll ataupun quick count. Saat itu ada kurang lebih tujuh lembaga survei yakni IFES, LP3ES, International Republican Institute, Lembaga Survei Indonesia (LSI), Sugeng Sarjadi Syndicated (SSS), Danareksa Research Institute, dan Badan Penelitian dan Pengembangan PDI Perjuangan (Balitbang PDIP).

Survei Pemilu

Dalam UU Nomor 8 Tahun 2012 Pasal 246 survei diakui sebagai partisipasi masyarakat dalam pemilu dengan ketentuan tidak melakukan keberpihakan yang menguntungkan atau merugikan peserta pemilu. Dalam praktiknya,muncul skeptisme publik atas nilai etis lembaga-lembaga survei yang kecenderungannya kian banyak yang mengikatkan diri dengan orang atau lembaga yang punya kepentingan politik dalam kontestasi elektoral.

Sangat terbuka lebar kemungkinan ada conflict of interest dalam survei yang didanai oleh client yang sedang bertarung. Di level metodologi masih mungkin lembaga survei tertentu terjerembab ke dalam kekeliruan mendasar misalnya memilih responden di basis pemesan sehingga angkanya tinggi. Meskipun kesalahan elementer ini akan sangat mudah terdeteksi karena hasil riset bisa saja aneh dan jauh berbeda dengan lembaga survei lain.

Karena itu,sangat penting mengonfirmasi prosedur sampling yang dirumuskan sekaligus operasionalisasinya di lapangan. Di level publikasi hasil survei juga kerap memancing kontroversi. Hal ini berkaitan dengan bandwagon effect dari rilis hasil survei yakni kecenderungan pengonsumsi media untuk memilih orang atau partai yang diunggulkan dalam survei. Kita kerap melihat lembaga survei menaikkan suatu isu dari hasil riset dan kurang mengangkat hasil lainnya.

Publikasi hasil riset tidak komprehensif dan itu juga diamini media mengingat keterbatasan rubrik atau air time, serta agenda setting yang menjadi pilihan mereka. Senyawa kepentingan pemesan survei dan bingkai agenda media kerap menghadirkan informasi hasil survei yang tidak adil. Inilah yang saya sebut sebagai era komodifikasi survei karena ternyata hasil riset ini pun menjadi komoditi yang sexy dalam pertarungan isu media.

Untuk itu perlu standar publikasipenyajianhasilrisetdi media. Di Amerika misalnya ada standar penulisan yang direkomendasikan oleh National Council on Public Polls (NCPP) maupun standar minimum American Association for Public Opinion Research (AAPOR). Untuk itu, di Indonesia juga perlu ada asosiasi profesional lembaga survei yang kuat dan kredibel. Masalahnya, sudahkah Perhimpunan Survei Opini Publik Indonesia (Persepsi) dan Asosiasi Riset Opini Publik Indonesia (Aropi) ini bisa diterima lembaga-lembaga survei kita?

Atau baru sekadar pertarungan prestise dan lahan antarlembaga survei besar yang sudah ada saat ini? Ke depan lembaga survei perlu terus membenahi profesionalitasnya jika tidak ingin terjebak menjadi “tukang” dalam pemenangan! ●