Sebuah penelitian yang melibatkan peneliti dari Carnegie Mellon University, University of California Berkeley, Massachusetts Institute of Technology, University of Oxford, dan University of California Los Angeles menunjukkan bahwa setelah menerima bantuan AI selama sekitar 10 menit, peserta cenderung lebih mudah melewati soal atau menyerah saat memecahkan masalah secara mandiri. Tim peneliti mengadakan tiga uji coba acak terkontrol, dengan total 1.222 peserta.
Uji coba pertama meminta 354 peserta menyelesaikan 15 soal pecahan, satu kelompok menjawab secara mandiri, kelompok lain boleh menggunakan ChatGPT, namun kelompok tersebut tidak bisa terus menggunakan AI mulai soal ke-12. Kelompok AI memiliki tingkat kebenaran awal yang lebih tinggi, namun performa menurun setelah berhenti menggunakan AI. Dari 307 peserta yang dianalisis, tingkat kebenaran kelompok AI pada tahap selanjutnya adalah 57%, sedangkan kelompok kontrol 73%; proporsi melewati soal masing-masing 20% dan 11%.
Bantuan AI Berpotensi Menurunkan Kemampuan Berpikir Mandiri Pelajar
Uji coba kedua melibatkan 667 peserta, dan menambahkan pra-uji, serta memberikan antarmuka bantuan dengan format yang sama pada kelompok kontrol. Hasilnya menunjukkan tingkat kebenaran kelompok AI 71%, lebih rendah dari kelompok kontrol 77%. Di kelompok AI, 61% peserta langsung meminta jawaban ke AI, dengan tingkat kebenaran 65%; peserta yang menggunakan AI untuk mendapatkan petunjuk memiliki tingkat kebenaran 76%, mendekati kelompok kontrol.
Uji coba ketiga meminta 201 peserta menyelesaikan soal bacaan SAT. Tingkat kebenaran kelompok AI 76%, kelompok kontrol 89%; proporsi melewati soal masing-masing 8% dan 1%. Judul makalah penelitian adalah "AI Assistance Reduces Persistence and Impairs Independent Performance", versi tinjauan sebaya yang direvisi telah dipublikasikan di Language Model Conference. Peneliti berpendapat, memperoleh jawaban secara langsung mungkin mengurangi proses percobaan dan pemahaman pelajar di tengah kesulitan. Tim peneliti menyarankan, sistem AI dapat lebih banyak mengadopsi petunjuk bergaya tutor, memandu pengguna menyelesaikan penalaran, bukan secara bawaan langsung memberikan jawaban, guna mendukung, bukan menggantikan, kemampuan manusia.