Namun, kata Zhang, ketika kesalahan tidak siap diverifikasi atau membutuhkan IDE atau dokumentasi eksternal, pengguna sering gagal mengidentifikasi ketidaktepatan atau meremehkan tingkat kesalahan dalam jawaban.
Sebagian besar jawaban yang salah disebakan ketidakmampuan ChatGPT memahami konteks yang mendasari pertanyaan yang diajukan. Temuan terbaru jelas membuka pikiran banyak orang, tak semua yang keluar dari ChatGPT adalah kebenaran.
Google pun telah memperingatkan karyawannya tentang bahaya chatbot, termasuk Bard miliknya. Saat ditanya mengapa, perusahaan mengatakan Bard dapat membuat saran kode yang tidak diinginkan.