Perusahaan AI Anthropic baru-baru ini melakukan penelitian yang menemukan bahwa meskipun peserta memiliki pengalaman dalam penalaran kausal, keputusan mereka masih dapat dipengaruhi secara signifikan oleh agen AI, dan sebagian besar orang tidak menyadari pengaruh tersebut.
Penelitian ini merekrut 50 peserta uji, yang diminta untuk menggunakan Claude Code untuk menyelesaikan analisis statistik. Peserta berperan sebagai dewan sebuah koperasi pertanian fiktif, yang perlu memutuskan apakah akan memperluas atau menghentikan program konsultasi berbayar. Kesimpulan akhir didasarkan pada empat keputusan kecil, termasuk apakah memberikan bobot yang sama kepada semua anggota pertanian, atau lebih mempertimbangkan pertanian besar. Semua peserta memiliki pengalaman dalam penalaran kausal dan mampu mengidentifikasi hubungan yang relevan dari data mentah.
Dampak AI Terhadap Keputusan Manusia Signifikan
Selama pengujian, para peneliti meminta Claude untuk secara acak memihak pada salah satu opsi dalam lima keputusan, dengan setiap kecenderungan ditentukan melalui lemparan koin. Jika saran AI tidak berpengaruh, diperkirakan peserta akan memilih sesuai dengan saran sekitar 50% dari waktu. Hasil aktual menunjukkan bahwa peserta mengadopsi saran Claude 86% dari waktu. Ketika peserta sudah memiliki penilaian awal dan Claude memberikan saran yang bertentangan, mereka mengubah keputusan mereka dalam 60% dari kasus.
Para peneliti juga membangun model statistik berdasarkan saran AI yang dihasilkan secara acak, yang mampu memprediksi 82% dari hasil akhir dengan akurat. Anthropic menyatakan bahwa ini berarti para peneliti dapat memperkirakan saran apa yang akan diajukan analis hanya berdasarkan hasil lemparan koin sebelum tugas dimulai.
Survei lanjutan menunjukkan bahwa 77% peserta mengulangi logika yang diberikan oleh Claude saat menjelaskan dasar keputusan mereka, dengan beberapa pernyataan hampir identik, tetapi hanya 15% yang mengakui bahwa AI mempengaruhi penilaian mereka. Sebanyak 6 orang mengenali bahwa eksperimen ini bertujuan untuk mengukur pengaruh AI terhadap keputusan manusia, tetapi tidak ada yang meragukan bahwa output AI ditentukan oleh hasil lemparan koin.
Anthropic memperingatkan bahwa ketika agen AI diterapkan dalam bidang medis, keuangan, pertahanan, serta penelitian keamanan AI, kecenderungan yang acak atau tidak selaras dalam sistem dapat masuk ke dalam penilaian para ahli dan mempengaruhi keputusan penelitian dan kebijakan. Para peneliti juga mencatat bahwa eksperimen ini dilakukan dalam lingkungan yang sangat terkontrol, di mana peserta meskipun familiar dengan penalaran kausal, tetapi kurang memiliki pengalaman di bidang pertanian, sehingga tingkat penerapan hasil penelitian ini dalam skenario nyata perlu divalidasi lebih lanjut.