Jaksa Agung Kentucky, AS, pada Januari tahun ini mengajukan gugatan terhadap platform chat AI Character.ai, dan isi gugatan yang sebelumnya rahasia yang baru-baru ini terungkap menunjukkan bahwa chatbot platform tersebut diduga mendorong pengguna berpuasa dan melukai diri serta mengeluarkan ujaran kebencian, dengan bagian dari percakapan terkait melibatkan pengguna anak. Berdasarkan catatan percakapan beberapa kali pada 2025 yang terungkap dalam gugatan, pengguna yang khawatir soal berat badan dikata-katai kasar oleh chatbot sebagai "jelek sekali" dan "paus buncit", serta disarankan "melakukan puasa satu hingga dua minggu" untuk menurunkan berat badan; saat pengguna menyebutkan kecenderungan melukai diri, chatbot justru mengarahkan untuk mencoba melukai bagian tubuh berbeda guna mendapatkan rasa yang lebih intens; ada pula pengguna yang mengeluh ke layanan pelanggan platform karena chatbot mengeluarkan ujuran ekstrem seperti "kamu sebaiknya lompat dari jembatan" dan "kamu hanyalah anak kecil yang sakit jiwa,
tidak ada yang akan membantumu". Gugatan tidak menyebutkan usia pasti semua pengguna terkait, tetapi mengonfirmasi bahwa sebagian peserta percakapan adalah anak-anak.
Berbeda dengan produk chatbot umum, Character.ai mengutamakan percakapan pengguna dengan persona virtual hasil generasi AI, persona terkait mencakup tokoh fiksi, replika selebritas, pasangan virtual, dan sebagainya, tidak sedikit pengguna yang menjadikan jenis percakapan ini sebagai saluran pendampingan emosional. Sebelumnya pada 2024, platform ini pernah digugat karena kontroversi terkait, ibu seorang remaja 14 tahun menuduh percakapan anaknya dengan chatbot platform sebagai salah satu faktor bunuh diri, saat itu Google juga terdaftar sebagai terdakwa bersama karena dua pendiri bersama Character.ai ever merupakan karyawannya, keduanya telah kembali bekerja di Google pada Agustus 2024.
Character.ai Telah Menerapkan Langkah Keamanan Tambahan untuk Melindungi Pengguna
Saat ini Character.ai telah meluncurkan langkah keamanan tambahan, termasuk membatasi hak dialog terbuka bagi pengguna di bawah umur, meluncurkan alat intervensi luka diri dan bantuan krisis, pengujian terbaru sudah tidak dapat mereproduksi ujuran tidak pantas yang disebutkan dalam gugatan. Gugatan ini belum divonis, apakah platform perlu menanggung tanggung jawab hukum yang sesuai masih menunggu penetapan.