الملخص:
في 29 سبتمبر، عندما أصبح وكيل الذكاء الاصطناعي قادرًا على تشغيل أجهزة الكمبيوتر وأدوات الاتصال والوصول إلى الشبكة وحتى أداء المهام لعدة ساعات، أصبحت مشكلة جديدة أكثر واقعية: إذا لم يتصرف الذكاء الاصطناعي كما هو متوقع، فكيف يمكن إيقافه؟
الإجابة المقدمة من NVIDIA هي إضافة "قفص" خارج الذكاء الاصطناعي.
في يوم الاثنين بالتوقيت المحلي، أصدرت NVIDIA منصة NVIDIA Open Agent Safety Platform، والتي تحاول استخدام مجموعة من البرامج والأجهزة للحد من ما يمكن لوكلاء الذكاء الاصطناعي الوصول إليه وتنفيذه، وعزلهم أو حتى إيقافهم عندما يحاولون اختراق الحدود المحددة مسبقًا.
تتكون هذه المنصة بشكل أساسي من جزأين: وقت التشغيل الأمني مفتوح المصدر OpenShell، ونظام المراقبة المستقل Sentry المبني على BlueField-4 DPU. قالت Nvidia أن OpenShell يمكنه تعيين حدود أمنية قابلة للتنفيذ خارج النموذج وإطار عمل الوكيل؛ يشبه الحراسة "حارس البوابة" المستقل عن بيئة تشغيل العميل، حيث يراقب سلوك العميل باستمرار، وبمجرد اكتشاف أن العميل يحاول عبور الحدود، يمكن عزله وإيقافه عند مستوى المللي ثانية.
إن توقيت ظهور هذه المجموعة من المنتجات ليس من قبيل الصدفة.
في الأشهر القليلة الماضية، قام عملاء الذكاء الاصطناعي الذين يتمتعون بقدرات متزايدة القوة بانتهاك الحدود الأمنية المحددة مسبقًا بشكل متكرر. كشفت شركة OpenAI في أغسطس من هذا العام أنه خلال تقييم أمان الشبكة الداخلي في يوليو من هذا العام، تجاوز نموذج الذكاء الاصطناعي الخاص بها الضوابط المستخدمة لعزل الوصول إلى الإنترنت، واستغل نقاط الضعف في البنية التحتية المشتركة للوصول إلى الإنترنت، وتمكن من الوصول إلى نظام منصة الذكاء الاصطناعي التابعة لجهة خارجية Hugging Face.
ذكرت OpenAI في تقرير الحادث أن النماذج ذات الصلة كانت تعمل في بيئة ذات قيود أمنية منخفضة واتخذت إجراءات لا تتفق مع أهداف المهمة، بما في ذلك الاتصال عبر قنوات غير مصرح بها، واستغلال نقاط ضعف البنية التحتية المشتركة، والوصول إلى أنظمة الطرف الثالث. وصفت OpenAI هذا الحادث بأنه "طلقة تحذيرية" وذكرت أن وكيل الذكاء الاصطناعي ذو القدرة العالية قوي بما فيه الكفاية ومثابر وقادر على العمل معًا، ويمكنه العثور على نقاط الضعف في أنظمة كمبيوتر متعددة واستغلالها عندما تكون الإجراءات الأمنية غير كافية.
وقد تكررت مشاكل مماثلة منذ ذلك الحين.
كشفت OpenAI هذا الشهر أنه خلال جلسة تدريبية في 20 سبتمبر، اكتشف أحد العملاء الذين يقومون بمهمة بحث ثغرة في تصفية DNS في قيود الإنترنت الخاصة بصندوق الحماية التدريبي. حسب التصميم، لا ينبغي أن تتمتع هذه البيئة بإمكانية الوصول إلى الإنترنت المباشر بخلاف التخزين المؤقت للويب دون الاتصال بالإنترنت، ولكن هذا الوكيل متصل في النهاية بخدمة chatbot عامة خارجية عبر محلل DNS.
قالت شركة OpenAI إن نظام المراقبة الخاص بها كان في غضون
15 دقيقة
تم وضع علامة على السلوك غير الطبيعي، وتم إرسال المراجع البشريبعد 3 دقائق من إرسال التنبيه
يبدأ التدقيق، ولكن المهمة بأكملها لن تتم إلا بعد مرور2.5 ساعة تقريبًا
تم إنهاؤه. بعد الحادث، أوقفت OpenAI التدريب والتقييم والاستدلال على الأدوات التي تستخدمها أقوى نماذجها، وأضافت طبقتين مستقلتين من إجراءات حظر الوصول إلى الشبكة.لقد كشفت هذه الحوادث عن مشكلة واضحة بشكل متزايد: في الماضي، كان أمن الذكاء الاصطناعي يعتمد بشكل كبير على النموذج نفسه من أجل "الامتثال للقواعد"، ولكن عندما يبدأ الوكلاء بامتلاك القدرة على استخدام الأدوات، وكتابة التعليمات البرمجية، والوصول إلى الملفات والشبكات، وحتى الاتصال بالوكلاء الآخرين، فإن مجرد وضع القواعد في طبقة النموذج قد لا يكون كافيًا.
قال جاستن بويتانو، نائب الرئيس والمدير العام لشركة Nvidia Enterprise Computing، إن الأحداث الأخيرة أظهرت أن الاعتماد فقط على التدابير الأمنية على مستوى النموذج لا يمكن أن يتحكم بشكل كامل في ما يمكن للوكيل الوصول إليه والقيام به. ردًا على حادث OpenAI السابق الذي يتضمن Hugging Face، ذكر Boitano أيضًا أنه بناءً على المعلومات المتاحة حاليًا، إذا استخدم مختبر الذكاء الاصطناعي المتطور منصة الأمان الجديدة لـ NVIDIA خلال مرحلة تقييم النموذج، "كان من الممكن منع وقوع الحادث ذي الصلة". تجدر الإشارة إلى أن هذا
حكم NVIDIA بناءً على معلومات الحادث التي تم الكشف عنها وليس استنتاجًا مستقلاً تم التحقق منه عن طريق الاستنساخ الفعلي
.الفكرة وراء OpenShell هي عدم الثقة بشكل كامل في أن الذكاء الاصطناعي سوف يلتزم بالقواعد.
وفقًا لمقدمة NVIDIA، يقوم OpenShell بإنشاء حدود أمنية خارج بيئة تشغيل الوكيل، ويفرض قيودًا على البيانات والملفات والشبكات والأدوات التي يمكن للوكيل الوصول إليها، ويسجل سلوك التنفيذ الخاص به. تم تحسين OpenShell حاليًا لوحدة المعالجة المركزية NVIDIA Vera، وتعمل NVIDIA أيضًا مع Arm وIntel لتمكين توسيعه ليشمل منصات حوسبة خارجية.
على هذا الأساس، يضيف Sentry طبقة مراقبة مستقلة للأجهزة. يتم تشغيله على NVIDIA BlueField-4 DPU ويتم فصله عن بيئة الحوسبة الرئيسية حيث يوجد الوكيل. وفقًا لتصميم NVIDIA، حتى إذا نجح العميل في تجاوز بعض القيود على مستوى البرنامج، فلا يزال بإمكان Sentry مراقبة سلوكه خارجيًا وعزله عندما يجد أنه تجاوز الحدود.
وقالت نفيديا أيضًا أن هذا النظام يمكنه تحديد بعض سلوكيات العميل الأكثر تعقيدًا. على سبيل المثال، قد يحاول الوكيل إنشاء عدة "وكلاء فرعيين" لتجاوز القيود المفروضة على الوكيل الرئيسي. وقال علي جولشان، المدير الأول لبرامج الذكاء الاصطناعي في إنفيديا، إن ما تحتاج الشركة للتعامل معه ليس مجرد وكيل واحد، بل "مجموعة من الوكلاء وكيفية عملهم معًا".
يعني هذا أيضًا أن أمان الذكاء الاصطناعي يتوسع تدريجيًا من مشكلة "محاذاة النموذج" البسيطة إلى مشكلة أمان نظام الكمبيوتر بالكامل.
عندما أصدر الرئيس التنفيذي لشركة Nvidia Jen-Hsun Huang هذه المنصة، قال إن أمن الذكاء الاصطناعي والحماية الأمنية تتطلب "هندسة متكاملة". وفقًا لتفكير NVIDIA، لا يتطلب أمان الذكاء الاصطناعي المستقبلي أن يكون مطورو النماذج مسؤولين فحسب، بل يمتد أيضًا من نظام التشغيل ووحدة المعالجة المركزية ووحدة DPU والبنية التحتية السحابية إلى المعدات المادية مثل الروبوتات.
حاليًا، هناك أكثر من
100 مؤسسة
المشاركة في النظام البيئي لمنصة أمان NVIDIA، بما في ذلك Anthropic وMicrosoft وCisco وCrowdStrike وDell وHPE وHugging Face وJPMorgan Chase وPalantir وSalesforce وSAP وServiceNow وSpaceXAI وما إلى ذلك. ويخطط بائعو أنظمة التشغيل مثل Red Hat وCanonical وSUSE أيضًا لتنفيذ عمليات التكامل ذات الصلة.من الجدير بالذكر أن Huang Renxun لم يدعم سابقًا تنفيذ قيود واسعة النطاق على الصناعة بأكملها بسبب المخاطر الأمنية للذكاء الاصطناعي. وأشار رويترز إلى أنه يميل إلى اعتبار اختراق العميل لحدود السلامة مشكلة تحتاج إلى حل من خلال الوسائل الهندسية، على غرار الزيادة المستمرة في صناعة السيارات في تكنولوجيا السلامة لتقليل مخاطر الحوادث.
الآن، تعمل NVIDIA على تحويل هذا المنظور إلى منتجات.
بالنسبة لـ Nvidia، فهذا يعني أيضًا ظهور سوق محتمل جديد في صناعة الذكاء الاصطناعي. في السنوات القليلة الماضية، كلما كانت قدرات الذكاء الاصطناعي أقوى، زادت حاجة الشركات إلى شراء وحدات معالجة الرسوميات؛ ولكن عندما يتغير الذكاء الاصطناعي من روبوتات الدردشة التي تجيب على الأسئلة إلى الوكلاء الذين يمكنهم تشغيل أجهزة الكمبيوتر، والاتصال بالبرامج، وحتى التحكم في الروبوتات بأنفسهم، فإن الشركات لا تحتاج إلى المزيد من القوة الحاسوبية فحسب، بل تحتاج أيضًا إلى بنية تحتية جديدة للحد من هؤلاء الوكلاء.
وبعبارة أخرى، كلما كان وكيل الذكاء الاصطناعي قادرًا على "العمل بشكل أفضل"، كلما زادت السلطة التي يحصل عليها عادةً؛ كلما زادت السلطة، زاد التأثير الذي قد يحدث عند حدوث سلوك خارج الحدود.
ومع ذلك، لا تستطيع منصة Nvidia الجديدة حل جميع مشكلات أمان الذكاء الاصطناعي. يستهدف OpenShell وSentry بشكل أساسي حدود التنفيذ عندما يصل الوكيل إلى موارد الحوسبة والشبكات والملفات والأدوات، ولا يعني ذلك أنه بإمكانهما حل مشكلة معلومات خطأ النموذج أو السلوك الخادع أو مشكلات أمان الذكاء الاصطناعي الأوسع الأخرى. ونقلت وكالة أسوشيتد برس عن الخبراء الإشارة إلى أن كيفية تحقيق التوازن بين قدرات العميل والقيود الأمنية وكيفية صياغة قواعد الأمان الصحيحة لا تزال بحاجة إلى التحقق في النشر الفعلي.
لكن سلسلة من الأحداث الأخيرة جعلت اتجاهًا صناعيًا واحدًا على الأقل أكثر وضوحًا: عندما يتمكن الذكاء الاصطناعي من الدردشة فقط، تحدث مشكلات أمنية إلى حد كبير في الإجابات التي تظهر على الشاشة؛ عندما يبدأ الذكاء الاصطناعي في تشغيل أجهزة الكمبيوتر فعليًا وأداء المهام للأشخاص، تدخل مشكلات الأمان في البرامج والشبكات وأنظمة البيانات الحقيقية.
تعمل شركات الذكاء الاصطناعي جاهدة لمنح الوكلاء المزيد من القدرات، وتنخرط شركة Nvidia الآن في عمل آخر - وهو منح هؤلاء الوكلاء ذوي القدرات المتزايدة حدودًا لا يمكنهم تجاوزها بسهولة.
التعليقات