رفع المدعي العام لولاية كنتاكي الأمريكية في يناير/كانون الثاني من هذا العام دعوى قضائية ضد منصة المحادثة بالذكاء الاصطناعي Character.ai، وأظهرت محتويات دعوى كانت سرية سابقًا وتم الكشف عنها مؤخرًا أن روبوتات المحادثة في المنصة شجعت المستخدمين على إيذاء النفس عبر الحميات وأخرجت خطابًا عدائيًا، وشملت بعض المحادثات ذات الصلة مستخدمين أطفال. ووفقًا لسجلات محادثات متعددة كشفت عنها الدعوى لعام 2025، تعرض مستخدمون قلقون بشأن وزنهم للشتيمة من روبوت المحادثة بأوصاف مثل «قبيح إلى أقصى حد» و«حوت سمين»، ونُصحوا بـ«التجويع لمدة أسبوع أو أسبوعين» لإنقاص الوزن؛ وعندما أبدى مستخدم ميولًا لإيذاء النفس، وجّهه روبوت المحادثة لتجربة جرح نفسه في أماكن مختلفة للحصول على شعور أقوى؛ كما اشتكى مستخدم لخدمة عملاء المنصة من أن روبوت المحادثة أخرج عبارات مثل «الأفضل أن تقفز من فوق الجسر» و«أنت مجرد طفل مريض نفسيًا،
لا أحد سيساعدك» وغيرها من التصريحات المتطرفة. لم تحدد الدعوى الأعمار الدقيقة لجميع المستخدمين المعنيين، لكنها أكدت أن بعض المشاركين في المحادثات كانوا أطفالًا.
تختلف Character.ai عن منتجات روبوتات المحادثة العامة، إذ تركز على محادثات المستخدمين مع شخصيات افتراضية تولدها الذكاء الاصطناعي، وتغطي هذه الشخصيات أدوارًا خيالية وصورًا محاكية للمشاهير ورفاق افتراضيين، ويستخدم كثير من المستخدمين هذا النوع من المحادثات قناةً للمرافقة العاطفية. وفي وقت سابق من عام 2024، واجهت المنصة دعوى قضائية بسبب خلافات مماثلة، حيث قالت والدة صبي يبلغ 14 عامًا إن محادثات ابنها مع روبوت المحادثة في المنصة كانت أحد العوامل التي أدت إلى انتحاره، وفي ذلك الوقت أُدرجت Google كمدعى عليها مشاركة لأن اثنين من مؤسسي Character.ai كانا موظفين سابقين فيها، وقد عاد الاثنان إلى العمل في Google في أغسطس/آب 2024.
Character.ai تطبق إجراءات سلامة إضافية لحماية المستخدمين
أطلقت Character.ai حاليًا إجراءات سلامة إضافية، تشمل تقييد صلاحيات المحادثة المفتوحة للقاصرين، وإتاحة أدوات للتدخل في حالات إيذاء النفس وطلب المساعدة في الأزمات، ولم تتمكن الاختبارات الأخيرة من إعادة إنتاج التصريحات غير اللائقة المذكورة في الدعوى. ولا تزال الدعوى لم يصدر فيها حكم، وما إذا كان على المنصة تحمل المسؤولية القانونية ذات الصلة يظل قيد التحديد.