Burhanuddin memaparkan, salah satu persoalan mendasar dalam survei tersebut adalah munculnya bias sampel atau sampling bias. Hal itu terjadi karena responden hanya berasal dari individu yang memiliki akses internet, memahami teknologi, dan menguasai bahasa yang digunakan dalam platform survei.
Kondisi tersebut membuat sampel tidak dipilih melalui metode acak murni atau random sampling, sehingga tidak merepresentasikan komposisi demografi suatu negara berdasarkan usia, jenis kelamin, tingkat pendapatan, maupun wilayah.
Guru Besar Ilmu Politik UIN Jakarta itu juga menilai sistem pengumpulan data yang bersifat sukarela atau volunteer membuka peluang terjadinya self-selection bias. Dalam skema seperti ini, siapa pun yang mengakses situs dapat mengisi survei sehingga pendapat yang terekam berpotensi didominasi kelompok dengan pandangan sangat positif ataupun sangat negatif terhadap suatu isu.
"Tanpa verifikasi identitas, sistem pengisian yang longgar membuka celah bagi satu individu atau kelompok untuk mengisi survei berkali-kali menggunakan VPN atau perangkat berbeda guna memanipulasi peringkat negara tertentu," tuturnya.
Burhanuddin juga menyoroti minimnya transparansi terkait jumlah responden yang menjadi dasar penyusunan skor di setiap negara dari survei tersebut. Dia mengatakan ketiadaan informasi mengenai ukuran sampel membuat perubahan peringkat suatu negara berpotensi dipengaruhi oleh jumlah responden yang sangat sedikit.