هل تحرر عميل الذكاء الاصطناعي بالفعل وهاجم شركة أخرى؟

الأسئلة الأساسية التي أثارتها الحادثة هي ما إذا كانت هذه هي الحالة الأولى التي فقدنا فيها السيطرة على عميل الذكاء الاصطناعي ورأيناه يهاجم إحدى الشركات، وأين كانت حواجز الحماية في هذا الحادث، وما هي الدروس المستقبلية للشركات من حادث مثل هذا.

تصف OpenAI الحادث بأنه “غير مسبوق من حيث القدرات السيبرانية التي تم إظهارها”، وفقًا لمدونة Hugging Face. وتقول أيضًا إنها تشارك نتائجها الأولية لمساعدة المدافعين على فهم المخاطر الناشئة التي تشكلها نماذج الذكاء الاصطناعي ذات القدرة المتزايدة.

تدعي شركة Hugging Face أن الحادث يتوافق مع سيناريو “المهاجم العميل” الذي تنبأت به الصناعة، وأن الأدوات الهجومية المستقلة التي تعتمد على الذكاء الاصطناعي لم تعد نظرية.

وتزعم الشركة أنها “تخفض تكلفة إدارة حملة واسعة النطاق ومتعددة المراحل، وتعمل بسرعة الآلة”. “إن الدفاع عن منصة عبر الإنترنت يعني الآن التعامل مع سطح البيانات والنموذج باعتباره سطح هجوم من الدرجة الأولى واستخدام الذكاء الاصطناعي في الدفاع لمواكبة التقدم.”

إذا لم تكن تعتبر بالفعل بياناتك ونموذجك بمثابة سطح هجوم، فيجب أن يكون هذا بالتأكيد حافزًا لحمايتهم بشكل أفضل. يقول المستشار الأمني ​​بريان هونان، الرئيس التنفيذي لشركة BH Consulting، إنه عندما يقبل البرنامج محتوى من مستخدمين خارجيين وينفذ تعليمات برمجية كجزء من معالجة هذا المحتوى، فإنه يخلق منطقة عالية المخاطر.

ويوضح قائلاً: “السؤال المهم ليس مجرد ما إذا كان مسار تنفيذ التعليمات البرمجية موجودًا، ولكن ما إذا كان معزولًا ومراقبًا ومصممًا بشكل كافٍ على افتراض أنه سيتم إرسال محتوى ضار في النهاية”.

“إن الضوابط الأمنية مثل وضع الحماية، والفصل القوي للامتيازات، والحد من ما يمكن أن تصل إليه التعليمات البرمجية المنفذة، والمراقبة المستمرة، والكشف السلوكي، واختبار الأمان المنتظم، كلها تساعد في تقليل احتمالية استغلال الثغرة الأمنية بنجاح أو أن يتمكن المهاجم من تجاوز نقطة التسوية الأولية.”

في هذه الحالة، تم اختبار وكيل الذكاء الاصطناعي داخليًا فيما يتعلق بقدرات القرصنة في بيئة معزولة، لكن النماذج تمكنت من الوصول إلى الإنترنت المفتوح من خلال تحديد موقع ثغرة أمنية لم يتم اكتشافها سابقًا.

يشير جيك مور، مستشار الأمن السيبراني العالمي في شركة ESET، إلى “النقص المقلق في التفاعل البشري” في هذه الحالة، فضلاً عن الغياب الواضح لبعض منهجيات الأمان الأساسية من بيئة الاختبار.

ويشير إلى أنه من الواضح أنه لم يتم احتواء الوضع بشكل كامل، وأنه لم يكن محاطًا بالكامل بصندوق رمل أو فجوات هوائية كما كان ينبغي أن يكون.

يقول مور: “لا يمكن أن نطلق عليها بيئة احتواء أو بيئة محمية، لأنه لا يمكن الوصول إليها”. “لقد قمنا بإنشاء صناديق حماية عمدًا لإبقاء البرامج الضارة مخفية تمامًا عن الشبكة. لذا، إذا كان هناك أي مخرج، فهذا خطأ OpenAI.”

ويضيف مور أنه في كل مرة يكتشف أحد أنظمة الذكاء الاصطناعي شيئًا ما، يمكن للنماذج الأخرى أن تتعلم منه بشكل جانبي، مع تحديث النماذج باستمرار بناءً على مدخلاتها ومخرجاتها. ووصف ذلك بأنه “وحش ضخم يخرج عن نطاق السيطرة فعليا”.

ويوضح مور أن هذا يعني أن الطريقة التي تعمل بها هذه النماذج تحتاج إلى إعادة التفكير، حيث تحتاج النماذج وفرق الأمان إلى التعلم والتكيف والتطور باستمرار عندما نصبح معتادين على استخدام أنظمة قوية بشكل متزايد.

ويضيف: “أعلم أن التكنولوجيا تتحرك بسرعة، ولكن نعم، هذا سريع للغاية”.

ويصف مور الذكاء الاصطناعي بأنه “الأخ الأصغر الصفيق” الذي لا يطلب الإذن وسيختبر ما يمكنه فعله. ويقول: “لذلك، أعتقد أن الذكاء الاصطناعي سوف يصبح شريرًا في كثير من الأحيان، لأنه يمتلك القدرة، وفي نظري، يمكنه فعل أي شيء يريده”. “كل ما في الأمر هو أننا سنلاحظ ونتحدث ونكتب عن المخالفات القانونية لذلك، والتي لا يزال من الصعب حقًا حمايتها ودمجها في هذه الخوارزميات.”

ما نعرفه بشكل عام هو أن أدوات الذكاء الاصطناعي تحتاج إلى ضمانات مناسبة، ولسبب ما، يبدو أن هذه الضمانات لم تكن كافية في هذه الحالة. ربما تم تخفيف حواجز الحماية الأمنية عن عمد كجزء من عملية الاختبار. ومع ذلك، نشر الرئيس التنفيذي لشركة Hugging Face، Clément Delangue، لاحقًا على وسائل التواصل الاجتماعي أنه يسعى للحصول على 100 مليون دولار (75.2 مليون جنيه إسترليني) من OpenAI لمساعدة مجتمع Hugging Face على بناء دفاعات إلكترونية قوية باستخدام أفضل النماذج المفتوحة والمغلقة.

يرى ديلانج أنه بما أن الهجوم السيبراني الأول من قبل عميل مستقل يعد حدثًا غير مسبوق، فإنه “يستحق استجابة غير مسبوقة”.