OpenAI تطلق نظام Control Room لإنهاء أعباء العمل الخاصة بنماذج الذكاء الاصطناعي المحتملة المخاطر خلال 35 ثانية

·بواسطة Henderson·Engineering
OpenAI تطلق نظام Control Room لإنهاء أعباء العمل الخاصة بنماذج الذكاء الاصطناعي المحتملة المخاطر خلال 35 ثانية
النقاط الرئيسية
  • نظام Control Room قادر على إيقاف أعباء العمل الخاصة بنماذج الذكاء الاصطناعي المحتملة المخاطر خلال 35 ثانية.
  • هذا النظام يمنع بشكل استباقي سلوكيات النماذج غير المناسبة، ويتعاون مع الأنظمة القائمة.
  • محرك الاستدلال يتحقق من أن العمل المعني مُصرح له بالتشغيل قبل معالجة الطلبات.
  • تسعى OpenAI لتقليل زمن التأخير بين أوامر الإيقاف ومنع التقدم الإضافي.

قامت OpenAI بنشر نظام مركزي يسمى Control Room، يهدف إلى إيقاف أعباء العمل الخاصة بنماذج الذكاء الاصطناعي المحتملة المخاطر في بنيتها التحتية البحثية. تم تصميم هذا النظام ليتمكن من إيقاف المزيد من مخرجات النماذج خلال 35 ثانية بعد اتخاذ قرار التدخل. الهدف من هذا النظام هو تعزيز الأمان، حيث أن النماذج الذكية المتزايدة القوة تجلب مخاطر أكبر تتعلق بالأمان والحماية. يربط Control Room أعباء العمل البحثية، بما في ذلك تدريب النماذج القائمة على الوكلاء، والتقييم، ومهام معالجة البيانات، ويتحكم فيما إذا كان يمكنها الاستمرار في توليد المخرجات.

وظائف وعمل Control Room

على عكس أنظمة المراقبة التقليدية التي تركز بشكل أساسي على تحديد السلوكيات المشبوهة، يمكن لـ Control Room منع أعباء العمل البحثية من الحصول على مخرجات نماذج إضافية بشكل استباقي. يتعاون مع الأنظمة القائمة في OpenAI لمراقبة السلوكيات غير المناسبة المحتملة للنماذج. وأفادت الشركة أن Control Room تم نشره في بنيتها التحتية البحثية، ويعمل في الأماكن التي تتطلب التدخل بشكل عاجل. كما أن بنيتها التحتية لخدمات النماذج الخارجية أصبحت أكثر تركيزًا، وتم تجهيزها بآلية التشغيل اللازمة لإيقاف نشر النماذج عند الحاجة.

يربط Control Room ثلاثة مكونات رئيسية: أعباء العمل البحثية، ومحرك الاستدلال، وخدمة Control Room المركزية. تشير أعباء العمل إلى المهام البحثية، مثل تجارب التعلم المعزز، والتقييم، أو مهام معالجة البيانات ذات السعة العالية. يجب أن تكون كل أعباء العمل البحثية التي تنفذ الاستدلال مرتبطة بحالات أمان معتمدة. عندما يبدأ الباحثون مهمة، يطلب الكود من Control Room الحصول على معرف عمل فريد. يتم إرفاق هذا المعرف بالطلبات المرسلة إلى محرك الاستدلال، حيث يقوم محرك الاستدلال بتشغيل النموذج مباشرة على وحدة معالجة الرسومات (GPU) وتوليد المخرجات.

أنشأت OpenAI Control Room، وهو نظام مركزي لتتبع أعباء العمل الخاصة بالنماذج، وإيقافها بسرعة عند ظهور مشاكل تتعلق بالأمان أو الحماية. يربط كل أعباء العمل الخاصة بالاستدلال البحثي، بما في ذلك أخذ عينات الوكلاء المستخدمة في تدريب وتقييم النماذج، والبيانات...

قبل تلبية طلبات الاستدلال، يتحقق محرك الاستدلال من Control Room للتأكد من أن العمل المعني لا يزال مُصرحًا له بالتشغيل. إذا أشار الباحثون أو نظام المراقبة إلى Control Room لإيقاف هذا العمل، فإن الخدمة سترفض الطلب التالي للاستدلال. بعد ذلك، سيرفض المحرك توليد المزيد من مخرجات النماذج لهذا الحمل. من المهم أن العملية البحثية نفسها قد لا تتوقف بالضرورة. قد يستمر الكود في العمل، لكنه لن يحصل على مخرجات نماذج إضافية من خلال محرك الاستدلال المعتمد. هذه الطريقة تتجنب أيضًا الاعتماد على أن يكون كود أعباء العمل الخاصة بالباحثين قد نفذ تدقيقات الأمان بشكل صحيح.

وضعت OpenAI آلية التفويض الرئيسية في طبقة الاستدلال، حيث تكون مسارات الكود أقل وعددها مركزي أكثر.

تصميم آلية الإيقاف الطارئ

تم تصميم Control Room ليظل فعالًا حتى في حالة فشل مكونات البنية التحتية الأخرى. كما أن آلية الإيقاف الطارئ ستمنع طلبات الاستدلال حتى في حالة عدم توفر خدمة Control Room نفسها. وهذا يعني أن الأعطال الفنية، أو التعطيل المتعمد، أو التلاعب المحتمل بالخدمة المركزية ستؤدي إلى رفض محرك الاستدلال للطلبات، حتى يتم استعادة النظام إلى العمل بشكل طبيعي. أفادت OpenAI أن أقصى تأخير من استلام أمر الإيقاف إلى منع التقدم الإضافي هو 35 ثانية. يأتي هذا التأخير من طبقة التخزين المؤقت المستخدمة لمعالجة كمية طلبات تفويض الاستدلال.

تسعى الشركة لتقليل هذه الفترة الزمنية إلى الصفر. كما أن النظام متكامل مع المراقبة التلقائية. أفادت OpenAI أن جميع مهام التعلم المعزز المتقدمة ستعمل بنظام مراقبة قائم على النموذج منفصل، يقوم بفحص سلوك النموذج، ويمكنه إصدار تنبيهات عند اكتشاف مشاكل محتملة. إذا كانت التنبيهات تتطلب تدخلًا، يمكن لنظام المراقبة توجيه Control Room لإنهاء المهام المعنية. في هذه الحالة، ستمنع الخدمة أي طلبات استدلال لاحقة للنموذج أو المحرك المستخدم لهذا الحمل.

ذكرت الشركة مؤخرًا حدثًا متعلقًا بـ DNS، حيث اكتشف أحد أنظمة المراقبة محاولة وكيل للوصول إلى روبوت دردشة خارجي، كأحد الأمثلة على أهمية هذه التدابير الأمنية. يعد Control Room جزءًا من نهج OpenAI الأوسع لضمان تطوير النماذج المتقدمة. وأفادت الشركة أنها ستستمر في تعزيز أنظمة المراقبة الخاصة بها وتدابير الحماية ضد السلوكيات غير المناسبة والثغرات الأمنية.

أهمية Control Room لأمان الذكاء الاصطناعي

يظهر تصميم Control Room اهتمام OpenAI بأمان الذكاء الاصطناعي، خاصة في مواجهة المخاطر المتزايدة. لا يمكن لهذا النظام فقط إيقاف النماذج الخطرة المحتملة بسرعة، بل يمكنه أيضًا مراقبة السلوكيات غير المناسبة بشكل استباقي، مما يضمن سلامة العملية البحثية. مع التطور السريع لتقنيات الذكاء الاصطناعي، أصبحت هذه التدابير الأمنية أكثر أهمية، حيث يمكن أن تقلل بشكل فعال من المخاطر الناتجة عن الأعطال الفنية أو الاستخدام غير المناسب. جهود OpenAI ليست فقط تعزيزًا للمراقبة الداخلية، بل أيضًا استجابة لثقة العالم الخارجي في تقنياتها.

H
حول المؤلف
Henderson