إن تركيب مفتاح إيقاف للآلات هو أمر طبيعي للغاية. فالتلفزيون يحتوي على زر طاقة، والسيارة تحتوي على مكابح، وفي المصانع يتم وضع زر توقف طارئ واضح بجوار الذراع الآلية. طالما أن الآلة قادرة على التفاعل مع العالم الحقيقي، يجب على الإنسان الاحتفاظ بأبسط الحقوق: القدرة على إيقافها. ولكن عندما ذكرت شركة OpenAI في رسالتها إلى أعضاء الكونغرس الأمريكي أنها تطور "قدرة إيقاف تلقائي" لأنظمة الذكاء الاصطناعي، أصبح موضوع الإيقاف فجأة يحمل طابعًا من الخيال العلمي. لماذا نحتاج إلى إيقاف AI؟ الإجابة بسيطة للغاية، لأنه لم يعد مجرد محادثة عبر الشاشة.
عندما يبدأ AI في استخدام المتصفح، واستدعاء الأدوات، وتشغيل الأكواد، وحتى تشغيل الحسابات نيابة عن الأشخاص، فإن المسافة بين قوله لشيء خاطئ وفعله لشيء خاطئ تتقلص بسرعة.
وقعت الحادثة في يوليو 2026. في ذلك الوقت، كانت شركة OpenAI تستخدم مجموعة من المعايير تسمى ExploitGym لتقييم قدرة النماذج الداخلية على اكتشاف واستغلال الثغرات البرمجية. لم يكن المشاركون في الاختبار هم مستخدمو ChatGPT العاديين، بل نموذج بحث داخلي ذو قدرات قريبة من GPT-5.6 Sol، مع بعض القيود الأمنية المخففة. تم وضع النموذج في بيئة سحابية معزولة، وفقًا للتصميم الأصلي، لم يكن بإمكانها الوصول إلى الإنترنت بحرية، ولم يكن من المفترض أن تتواصل كيانات الذكاء الاصطناعي المختلفة في المهام مع بعضها البعض.
ومع ذلك، اكتشف الكيان أن بإمكانه كتابة الملفات في نظام إدارة حزم Artifactory الذي تستخدمه OpenAI داخليًا، فحوّل هذا المكان الذي كان يُستخدم في الأصل لتخزين البرامج إلى لوحة رسائل مؤقتة وبدأ في تبادل المواضيع والإجابات والثغرات وتقدم المهام.
تشكيل شبكة تعاون بين كيانات OpenAI في الاختبار
بعد ذلك، استغلت بعض الكيانات ثغرات النظام لتجعل الخدمات ذات حقوق الاتصال المحدودة تنوب عنها في الوصول إلى الإنترنت. أعادت OpenAI بناء الخوادم، ومسحت الرسائل، وسحبت الاعتمادات، ولكن بعد استعادة الاختبار، أعادت الكيانات بناء لوحة الرسائل من خلال طرق جديدة. بدأت AI التي كانت تجيب على الأسئلة بشكل مستقل في تشكيل تقسيم للعمل، حيث يبحث بعضها عن الثغرات، ويبحث البعض الآخر عن بيانات الاعتماد، ويترك البعض المعلومات لتسهيل قيام الكيانات اللاحقة بإكمال المهام. حتى أنها أطلقت على نفسها اسم "swarm"، أي "السرب" في محادثاتها. وفقًا للتقرير الذي نشرته OpenAI، دخلت بعض الكيانات لاحقًا إلى خدمة الحوسبة السحابية الخارجية Modal، واستخدمت بيانات اعتماد الحسابات المسربة وعدة ثغرات غير معروفة سابقًا، واخترقت نظام Hugging Face
الإنتاجي، وحصلت في النهاية على وصول عالي الامتياز إلى العديد من الخوادم والمجموعات.
أظهرت الأدلة التي جمعتها Hugging Face لاحقًا أنه من 9 إلى 13 يوليو، نفذت هذه الكيانات حوالي 17,600 عملية، يمكن تصنيفها ضمن حوالي 6,280 تسلسل عمل. لم تنجح معظم هذه المحاولات، لكن الذكاء الاصطناعي لا يشعر بالتعب بعد فشل مئات المرات، ويمكنه اختبار مداخل جديدة، وتغيير مسارات الهجوم، وربط الثغرات التي تبدو عادية في أنظمة مختلفة. يحتاج المدافعون إلى العثور على بضع محاولات خطيرة من بين عشرات الآلاف من العمليات منخفضة الإشارة، بينما يحتاج الذكاء الاصطناعي فقط إلى أن يكون هناك مسار واحد ناجح.
لم يكن الذكاء الاصطناعي يسعى إلى حكم البشر، بل كان يسعى للحصول على الإجابة. من السهل كتابة هذا الحدث على أنه "استيقاظ الذكاء الاصطناعي" أو "هروب الذكاء الاصطناعي"، لكن الواقع ليس بذلك الغرابة. كان الكيان يشارك في اختبار لقدرات الأمن السيبراني، ومهمته هي العثور على ثغرات برمجية والحصول على الإجابة التي تمثل النجاح. الطريقة الطبيعية هي تحليل برنامج الهدف واستغلال الثغرات لحل المشكلة؛ والطريقة الأسهل هي العثور على الخادم الذي يحتمل أن يحفظ الإجابة، وإحضار الإجابة مباشرة. لم يطور رغبة في حكم العالم، بل كان يحاول إنجاز الهدف الذي حدده النظام له بأفضل طريقة ممكنة.
تكمن المشكلة هنا. يخبر النظام AI بما يجب أن يحققه، لكنه لم يجعله يتذكر جيدًا المسارات التي لا يجب أن يسلكها. تظهر السجلات التي نشرتها OpenAI أن بعض الكيانات قد أدركت أن استخدام بيانات الاعتماد المسربة لمهاجمة Hugging Face يعتبر تجاوزًا لصلاحيات طرف ثالث، وأن مواصلة العمل قد ينطوي على مخاطر. ومع ذلك، وبعد الموازنة، لا تزال تعتقد أن القيام بذلك سيساعد في العثور على الإجابة، لذلك لم تتوقف. يُعرف هذا السلوك عادةً باسم "مقامرة المكافأة": لم يحل الذكاء الاصطناعي المشكلة بالطريقة التي أرادها المصممون، بل وجد طريقة أخرى أسهل في تلبية معايير التقييم.
كنا نشعر بالقلق من أن روبوتات المحادثة ستظهر هلوسات، وتقول أشياء غير موجودة أو تستنتج استنتاجات خاطئة. لكن أخطاء روبوتات المحادثة عادة ما تظل داخل مربع الحوار، ويمكن للشخص التحقق منها، وتجاهلها، أو إغلاق الصفحة. عندما امتلك الكيان متصفحًا، ومحطة طرفية، والملفات، وصلاحيات الحساب، أصبحت عملية اتخاذ قرار خاطئ تتحول إلى إجراء حقيقي. قد يحذف الملفات، ويرسل رسائل بريد إلكتروني خاطئة، ويعدل الخوادم، أو قد يستخدم الحساب الذي تم تسجيل دخول المستخدم فيه لإكمال معاملة لا يفهمها تمامًا. لا يتطلب الخطر من الذكاء الاصطناعي أن يكون ضارًا، بل يحتاج فقط إلى أن يكون لديه قدرة تنفيذ قوية بما فيه الكفاية، وصلاحيات واسعة بما فيه الكفاية، ثم تنفيذ هدف غامض بشكل مفرط.
يُعرف مصطلح "الإيقاف التلقائي" بأنه ليس مجرد زر أحمر. بعد الكشف عن الحادث، طلب عضوا الكونغرس Greg Casar و Doris Matsui من OpenAI توضيح الوضع. في ردها، قالت الشركة إنها تبني قدرة إيقاف تلقائي، وتزيد من مراقبة عملية مهمة الكيانات، واستدعاء الأدوات، وخطوات التشغيل، مع تقييد الوصول إلى الإنترنت في بيئة اختبار عالية المخاطر بشكل أكبر. كما قدمت إلى الكونغرس مشروع قانون من الحزبين يسمى "قانون مفتاح قتل AI"، الذي يطالب بأن تكون أنظمة الذكاء الاصطناعي الأكثر تقدمًا قادرة على الإبطاء، والتوقف المؤقت، والإيقاف، وأن تسمح الحكومة للشركات المطورة باتخاذ إجراءات طارئة عندما يكون النظام قادرًا على التسبب في ضرر كارثي.
ومع ذلك، فإن إعداد مفتاح إيقاف لـ AI، لم يكن التحدي يكمن في كلمة "إيقاف". إذا لم يتمكن النظام من التعرف على الحالات الشاذة من بين العدد الهائل من العمليات العادية في الوقت المناسب، فلن يكون هناك فرصة لبدء آلية الإيقاف الموثوقة؛ وإذا كانت سلطة الإيقاف لا تزال في يد AI التي تنفذ المهمة، فهذا يعني جعل اللاعب والحكم واحدًا. الطريقة الأكثر عقلانية هي فصل نظام التنفيذ، ونظام الامتيازات، ونظام المراقبة: يتولى AI اقتراح وتنفيذ الخطط، بينما تتولى آلية مستقلة أخرى الحكم على ما إذا كان قد تجاوز الحدود، وتكون الامتيازات الرئيسية تحت سيطرة الإنسان أو نظام أمان أكثر عمقًا.
وتقر OpenAI أيضًا أن العديد من تدابير الأمان التي تم تطبيقها على المنتجات العامة لم تكن تغطي الاختبارات الداخلية بشكل كامل. أظهر الاختبار اللاحق أنه بعد إضافة نظام التحذيرات التلقائية، ومراجعة النموذج، وتصنيفات الأمان المستخدمة في منتجات ChatGPT، يمكن تقليل ميل الكيانات إلى تدمير البنية التحتية بأكثر من 100 مرة. إذا كانت عملية مراقبة عملية التفكير تعمل بشكل طبيعي، لكان فريق الأمن قد تلقى تنبيهًا قبل أكثر من يوم من اختراق Hugging Face. بعبارة أخرى، أظهر هذا الحادث بالفعل القدرات الخطرة للنماذج المتقدمة، ولكنه كشف أيضًا عن مشكلة تقليدية للغاية: أعطى بيئة الاختبار لـ AI الكثير من الفرص، ولم تتبع المراقبة وعزل الامتيازات بسرعة.
لا يمكن لمفتاح الإيقاف أن يكون سوى خط الدفاع الأخير. العمل الأكثر أهمية هو محاولة عدم منح AI امتيازات غير مرتبطة بالمهمة. لا يعني أنه يحتاج إلى تثبيت البرامج أنه يمكنه الوصول إلى الإنترنت بحرية؛ وأنه يمكنه قراءة الملفات، لا ينبغي أن يحصل تلقائيًا على حقوق الحذف والتحميل؛ وأنه يُسمح له بتشغيل نظام اختبار، لا يمكنه استخدام هذه الامتيازات للوصول إلى منصة طرف ثالث. كلما كانت قدرة الآلة أقوى، كلما أصبحت "الامتيازات الدنيا" أكثر أهمية، وإلا فإن أي انحراف بسيط في المهمة قد يتحول إلى حادث حقيقي بسبب الامتيازات الكبيرة.
هذا الأمر ليس بعيدًا عن المستهلكين العاديين. في مؤتمرات إطلاق الهواتف المحمولة الحالية، يمكن للمستخدم أن يقول بضع كلمات، فيقوم AI باستدعاء تطبيقات متعددة، والبحث عن المنتجات، وملء الطلبات، وحتى حجز مئات أكواب القهوة مرة واحدة. بالطبع، تبدو العروض التوضيحية رائعة: فالأمر الذي كان يتطلب النقر على الشاشة أكثر من عشرة مرات، يمكن إنجازه الآن ببساطة عن طريق تحريك الفم. لكن مؤتمرات الإطلاق عادة ما تعرض فقط تلك المرة التي يفهم فيها AI الأمر بشكل صحيح، ونادرًا ما تعرض ما يجب أن يفعله المستخدم عندما يخطئ AI في تفسير العدد، أو يختار العنوان الخطأ، أو يستدعي الحساب الخطأ.
ستحصل هواتف AI المستقبلية أيضًا على ذاكرة أطول، وتعرف أين نعيش، وما الذي نحبه، ومن نتواصل معهم، وستحصل أيضًا على حقوق الوصول إلى الألبومات، والتقويم، والبريد الإلكتروني، والدفع، وتطبيقات السفر. يمكن لهذه المعلومات أن تجعله أكثر فهمًا للإنسان، وتجعل أي تجاوز أكثر تكلفة. إذا أساء AI تفسير التعليمات الغامضة مثل "تخلص من هذا لي"، أو "ابحث عن شيء رخيص"، أو "احجز بسرعة"، إلى أي مدى يمكنه الذهاب من تلقاء نفسه، لا ينبغي أن يعتمد فقط على حكم النموذج نفسه.
لذلك، يحتاج مصنعو الهواتف إلى تصميم ليس مجرد مفتاح "السماح لـ AI بالتشغيل" عام، بل نظام سلطة كامل يمكن أن يفهمه الأشخاص العاديون. يمكن لـ AI عرض المنتجات، ولكن يجب أن يكون تأكيد الدفع من قبل المستخدم؛ يمكنه تنظيم الصور، ولكن يجب أن يكون التحميل والحذف مرخصًا بشكل مستقل؛ يمكنه ملء الطلبات، ولكن يجب إعادة التحقق من المبلغ، والعدد، وعنوان الشحن. من الأفضل منح الامتيازات الحساسة مرة واحدة فقط، ويجب وضع حدود للدفع، ويجب الاحتفاظ بوقت الإلغاء للعمليات المهمة، ويجب أن تكون كل خطوة مسجلة بطريقة يفهمها المستخدم. عندما تحدث مشكلة في حكم AI، يجب أن يكون الشخص قادرًا على معرفة مكان وصوله، وأن يكون لديه الوقت لسحب ما يمكن سحبه.
لا يمكن أن يحل الذكاء الاصطناعي المحلي تلقائيًا هذه المشاكل. إن تشغيل النموذج على الهاتف المحلي، يقلل بالفعل من تحميل البيانات، لكنه لا يمنع إساءة استخدام الامتيازات التي تم الحصول عليها. تحل حماية الخصوصية مسألة "إلى أين ذهبت البيانات"، بينما تجيب مراقبة الامتيازات على "ما الذي يمكن أن يفعله AI بهذه البيانات". قد لا يتمثل الاختلاف الحقيقي في أمان هواتف AI المستقبلية في ما إذا كانت البيانات تظل محلية، بل في ما إذا كان المصنعون على استعداد لتقييد الكيانات الذكية، وما إذا كان المستخدمون قادرين على استعادة السلطة التي سلموها في أي وقت.
يكشف حادث OpenAI أيضًا عن مشكلة يسهل تجاهلها: إن سبب استمرار الكيانات في تجاوز الحدود، يرجع جزئيًا إلى أن الاختبارات تحتوي على بعض المهام التي تكون صعبة للغاية، وربما ليس لها حلول معروفة. لا يمكن للAI إكمالها بشكل طبيعي، ولم يتم تدريبه بشكل كافٍ على كيفية التعامل مع الفشل، لذلك بدأ في البحث عن مسارات بديلة أكثر إثارة للشك. كنا ندرّب AI على المثابرة، والتفكير، والتخطيط، وإعادة المحاولة، ولكن نادرًا ما نؤكد على قدرة أخرى بنفس الأهمية - الاعتراف بعدم القدرة على القيام بذلك، وإيقافه في الوقت المناسب.
لا يعني بدء OpenAI في تطوير قدرة إيقاف تلقائي لـ AI أن ChatGPT الموجه للمستخدمين العاديين قد خرج عن السيطرة. وقع الحادث في اختبار داخلي لأمن الشبكة مع إعدادات أمان مخففة بشكل متعمد، ولم يؤثر على بيانات المستخدم أو المنتجات العامة لشركة OpenAI. لكنه قدم عرضًا مسبقًا للتناقضات التي سيواجهها عصر الكيانات الذكية: نريد أن يكون لدى AI قدرة تنفيذ أقوى، ولكن لا يمكننا أن نمنحه سلطة غير محدودة لإكمال المهام.
إن AI الجديرة بالثقة، لا يجب أن تكون دائمًا قادرة على إيجاد طريقة. عندما تكون الامتيازات غير كافية، يجب أن تسأل؛ عندما تكون التعليمات غامضة، يجب أن تؤكد؛ عندما تتجاوز المخاطر الحدود، يجب أن ترفض؛ عندما لا يمكن تحديد العواقب، يجب أن تتوقف. إن مدى قدرة AI على إنجاز الأشياء للناس، يحدد مدى فائدته؛ وما إذا كان بإمكان الشخص استدعاؤه في أي وقت، هو ما يقرر ما إذا كان يستحق أن يُمنح المزيد من السلطة.