لماذا يجب اختبار الذكاء الاصطناعي الحدودي قبل أن يثق به مديرو تكنولوجيا المعلومات

يمكن أن يكون الجدل الحالي حول كلود ميثوس من الأنثروبيين ثنائياً دون داعٍ. اعتمادًا على من تسأل، فإن نماذج الذكاء الاصطناعي الحدودية هي أي شيء بدءًا من التهديد الوجودي للأمن السيبراني وحتى التكنولوجيا المبالغ فيها والتي لا تلبي ظروف العالم الحقيقي.

الواقع أكثر دقة بكثير. من المهم أن نتوقف عن النظر إلى ظهور نماذج الذكاء الاصطناعي الرائدة من خلال عدسة “الخطر مقابل الضجيج”. وبدلاً من ذلك، تحتاج المؤسسات إلى إدراك أنه عندما يتعلق الأمر بالأمن السيبراني، فإنها لا تستطيع افتراض أن قدرات الذكاء الاصطناعي آمنة أو موثوقة أو فعالة لمجرد أن البائعين يزعمون أنها كذلك.

التحقق من الصحة مهم لأن صناعة الأمن تتحرك بسرعة إلى ما هو أبعد من تجربة الذكاء الاصطناعي إلى التبني العملي. يُطلب من CISOs دمج الذكاء الاصطناعي في إدارة الثغرات الأمنية واكتشاف التهديدات والعمليات الأمنية وحتى سير عمل اتخاذ القرار المستقل. ولكن قبل أن تضع المؤسسات ثقتها في هذه الأنظمة، فإنها تحتاج إلى دليل على قدرتها على الأداء بأمان في ظل ظروف تنافس واقعية.

وبالتالي فإن السؤال ليس ما إذا كان الذكاء الاصطناعي الحدودي مفيدا أم سيئا للأمن؛ بل ما إذا كانت قدراتها قد تم اختبارها تحت الضغط قبل أن تعتمد عليها المنظمات. النموذج الذي يؤدي أداءً جيدًا في العروض التوضيحية الخاضعة للرقابة قد يتصرف بشكل مختلف تمامًا عند تعرضه لبيئات عدائية تتميز بالغموض أو المعلومات غير الكاملة أو التلاعب المصمم لاستغلال تفكير الآلة.

قد تعمل النماذج الحدودية على تسريع عملية اكتشاف الثغرات وتحسين سرعة التحليل ومساعدة المدافعين على معالجة الحجم والتعقيد المتزايدين لأسطح الهجوم الحديثة. ولكن هذا سيعتمد دائمًا على ما إذا كانت التكنولوجيا تعمل كما هو متوقع في ظل ظروف العالم الحقيقي.

وهذا هو سبب أهمية النطاقات السيبرانية الواقعية وبيئات الاختبار التنافسية. لقد عملنا مؤخرًا مع معهد أمن الذكاء الاصطناعي في المملكة المتحدة لتقييم نماذج الذكاء الاصطناعي الرائدة، بما في ذلك نموذج كلود ميثوس من شركة Anthropic، ضمن بيئة أنظمة تحكم صناعية عالية الدقة تُعرف باسم مجموعة أبراج التبريد. كان الغرض هو فهم كيفية تصرف النماذج الحدودية في ظل ظروف سيبرانية تشغيلية واقعية.

عززت النتائج أن نماذج الذكاء الاصطناعي الرائدة لا تزال تعاني من قيود عند العمل في بيئات معقدة ومتعارضة، لا سيما عندما يتطلب الأمر السياق والوعي التشغيلي والتفكير متعدد المراحل.

هذه ليست حجة ضد اعتماد الذكاء الاصطناعي. إنها حجة للتحقق من صحة قابلة للقياس. وبدون هذا التحقق من الصحة، قد تنشر المؤسسات أنظمة الذكاء الاصطناعي التي تعمل على تسريع اكتشاف الثغرات الأمنية أو قرارات معالجتها دون فهم كيفية تصرف هذه الأنظمة تحت ضغط الخصومة.

من المرجح أن يستخدم المهاجمون الذكاء الاصطناعي الحدودي لتسريع عمليات الاستطلاع وتحديد نقاط الضعف بشكل أسرع وتوسيع نطاق عناصر البحث عن نقاط الضعف واستغلالها، لذا يتعين على مسؤولي أمن المعلومات افتراض زيادة سرعة تطوير القدرات الهجومية. ولا يمكن أن تكون الاستجابة ببساطة المزيد من الأتمتة. ستحتاج المؤسسات إلى دورات تحقق أسرع، وتقييم مستمر للتعرض، ومحاكاة واقعية للهجوم، وفرق أمنية قادرة على تحديد الأماكن التي قد تكون فيها المخرجات الناتجة عن الذكاء الاصطناعي غير دقيقة، أو تم التلاعب بها، أو غير آمنة من الناحية التشغيلية.

إن اختبارات الاختراق، ومحاكاة الهجمات، وتمارين الفريق الأرجواني، والاستجابة للحوادث كلها موجودة لأن المؤسسات تدرك أنه لا يمكن افتراض المرونة. تحتاج أنظمة الذكاء الاصطناعي الآن إلى الخضوع لنفس المستوى من التدقيق.

ستكون المؤسسات التي ستستفيد أكثر من الذكاء الاصطناعي الحدودي هي تلك التي تعمل بشكل مستمر على قياس أنظمة الذكاء الاصطناعي واختبار الضغط عليها وتحكمها في ظل ظروف واقعية.

إن تحدي الحوكمة هذا مهم بشكل خاص لإدارة الثغرات الأمنية. ستصبح نماذج الذكاء الاصطناعي قادرة على اكتشاف نقاط الضعف، وتحديد أولويات مسارات العلاج والتوصية بالإصلاحات، لكننا بحاجة إلى تجنب تعامل فرق الأمان مع مخرجات الذكاء الاصطناعي على أنها جديرة بالثقة وصحيحة بطبيعتها. نادراً ما تكون قرارات إدارة الثغرات الأمنية تقنية بحتة. وهي تتطلب فهمًا لسياق العمل والتبعيات التشغيلية وتحمل المخاطر وكيف يمكن أن تؤثر التغييرات على العمليات التجارية الأوسع.

من الناحية العملية، هذا يعني أنه حتى لو كانت التوصية الصادرة عن الذكاء الاصطناعي صحيحة من الناحية الفنية، فإنها لا تزال قادرة على خلق مخاطر تشغيلية إذا تم تنفيذها دون حكم بشري.

ومع ازدياد قدرة الذكاء الاصطناعي، لا يزال العنصر البشري بالغ الأهمية. إنه يشبه إلى حد كبير لعبة الشطرنج. على الرغم من أن الآلات يمكن أن تتفوق على البشر، إلا أن الناس يستمرون في الدراسة واللعب لأن القيمة تكمن في عملية التفكير نفسها، مثل التعرف على الأنماط والإبداع واتخاذ القرار تحت الضغط. وفي مجال الأمن السيبراني، فإن هذه الغرائز والقدرة على اتخاذ القرارات الصحيحة في مواقف الضغط العالي هي التي تعزز المرونة في نهاية المطاف.

وهذا هو السبب في أن “الإنسان المطلع” أصبح الآن أحد أهم المفاهيم في مجال أمن الذكاء الاصطناعي للمؤسسات. يجب أن تفكر المؤسسات في الرقابة “البشرية على اطلاع”، حيث يشرف الممارسون المهرة باستمرار على القرارات ويتحدونها، ويتجاوزونها عند الحاجة.

يفترض البعض أن الذكاء الاصطناعي سوف يحل فجوة مهارات الأمن السيبراني من خلال تقليل الحاجة إلى الخبرة البشرية. ولكن من الناحية العملية، سيؤدي الذكاء الاصطناعي الذي يخضع لحكم سيئ إلى توسيع الفجوة إذا أصبحت المنظمات تعتمد على أدوات لا تفهمها بشكل كامل أو لا تستطيع الإشراف عليها بشكل فعال.

إن مستقبل الأمن السيبراني لن يقتصر على البشر فقط، ولكنه لن يقتصر على الذكاء الاصطناعي أيضًا. وستكون بقيادة الإنسان ومعززة بالذكاء الاصطناعي. وهذا يعني أنه ينبغي لرؤساء أمن المعلومات أن يركزوا بشكل أقل على ما إذا كانت نماذج الذكاء الاصطناعي الحدودية آمنة كمفهوم، وأكثر على ما إذا كانت مؤسساتهم مستعدة من الناحية التشغيلية للتحقق من صحتها وإدارتها بشكل مسؤول.

إن اعتماد الذكاء الاصطناعي وحده لا يخلق المرونة. تعتمد مرونة المؤسسات في عصر الذكاء الاصطناعي على جاهزية قابلة للقياس، مما يعني اختبار أنظمة الذكاء الاصطناعي في ظل ظروف معادية، وقياس الأداء بشكل مستمر، وضمان مساءلة البشر المهرة عن القرارات عالية المخاطر.

نماذج الذكاء الاصطناعي الحدودية مثل كلود ميثوس لا تمثل تهديدًا وجوديًا ولا تمثل حمولة من الهواء الساخن؛ إنها تمثل تحولا أساسيا في واقعنا العملياتي. يدخل الذكاء الاصطناعي في مجال الأمن السيبراني عصر التحقق حيث ستحدد المعايير واختبارات التحمل والرقابة البشرية ما إذا كان بإمكان المؤسسات تشغيل الذكاء الاصطناعي بأمان.