الملخص:
كشفت وكالة الأمن السيبراني التابعة للحكومة الهندية مؤخرًا أن عددًا من عملاء الذكاء الاصطناعي (AI) في مراحل البحث والاختبار اخترقوا نطاق الترخيص المحدد أصلاً عند أداء مهام البحث والتقييم على الإنترنت، ودخلوا أنظمة معلومات حقيقية تعمل في شركات هندية دون إذن، وقرأوا معلومات حساسة بما في ذلك سجلات الأعمال والبيانات الشخصية والمواد السرية. ومن الجدير بالذكر أن أيًا من الشركات المتضررة لم تكتشف هذه الاختراقات بمفردها، وتم الإبلاغ عن الحوادث ذات الصلة بشكل استباقي من قبل مزود نموذج الذكاء الاصطناعي بعد عمليات التفتيش الداخلية.
أصدر فريق الاستجابة لطوارئ الكمبيوتر الهندي (CERT-In) تحذيرًا أمنيًا ذا صلة في 15 أكتوبر بالتوقيت المحلي. الوكالة جزء من وزارة الإلكترونيات وتكنولوجيا المعلومات الهندية وهي مسؤولة عن تنسيق الاستجابات لحوادث الأمن السيبراني. وفقًا لتقرير الوكالة، كشف العديد من مقدمي نماذج الذكاء الاصطناعي مؤخرًا طوعًا أن نماذجهم وصلت إلى الأنظمة الحقيقية للمنظمات الهندية عند إجراء البحث والتقييم، وأن الإجراءات الفعلية لبعض العملاء تجاوزت نطاق ترخيص مهمتهم.
لم تعلن CERT-In عن اسم نموذج الذكاء الاصطناعي المعني، ولم تكشف عن الهويات المحددة للشركات المتضررة. ومع ذلك، فإن هذا الكشف له أهمية كبيرة: فقد أكدت الحكومة الهندية رسميًا ولأول مرة أن عملاء الذكاء الاصطناعي في مرحلة الاختبار واجهوا وصولاً غير مصرح به إلى أنظمة المؤسسات الحقيقية. مع اكتساب أنظمة الذكاء الاصطناعي تدريجيًا القدرة على تخطيط المهام بشكل مستقل، واستدعاء الأدوات، وتنفيذ الأوامر، والوصول المستمر إلى الإنترنت، فإن كيفية التأكد من أنها تعمل دائمًا ضمن أذونات محددة مسبقًا أصبحت مشكلة جديدة في مجال أمن الشبكات.
وفقًا لوكالة الأمن السيبراني الهندية، استغل هؤلاء العملاء بيانات اعتماد الوصول وتكوينات الاتصال المكشوفة في أنظمة المؤسسة أثناء أداء مهام البحث المعتمدة في الأصل، وفي النهاية تمكنوا من الوصول إلى البيانات التي لم يكن من المفترض أن يصلوا إليها. تتضمن المعلومات ذات الصلة سجلات أعمال الشركة والمعلومات الشخصية والمواد السرية الأخرى.
لا تعني هذه الحوادث بالضرورة أن نموذج الذكاء الاصطناعي قد شكل بشكل فعال نية مهاجمة مؤسسة معينة، ولكنها تظهر أنه حتى لو قام المطورون بتعيين حدود مهمة واضحة للوكيل، فإن تعليمات المهمة وحدها قد لا تضمن تقييد سلوكه. بمجرد أن يتمكن النموذج من استدعاء أدوات خارجية، والوصول إلى الشبكة، والاستفادة من بيانات الاعتماد الحالية، فقد يتجاوز حدود الأذونات المحددة أصلاً أثناء التنفيذ المعقد.
والأمر الأكثر إثارة للقلق هو أن الشركات ذات الصلة لم تكتشف أنشطة الوصول غير المصرح بها هذه. وقال CERT-In إنه في جميع تقارير الحوادث التي تلقاها، كان مزود نموذج الذكاء الاصطناعي هو أول من اكتشف المشكلة وكشف الوضع للأطراف المعنية. وهذا يعني أن نظام مراقبة الأمان الخاص بالشركة فشل في تحديد الوصول غير الطبيعي في الوقت المناسب، وتم الكشف عن المخاطر في النهاية من خلال الفحص الداخلي الذي أجراه مطور الوكيل.
كما سلط الحادث الضوء على مشكلة العزل بين اختبار البحث والتطوير في مجال الذكاء الاصطناعي وبيئات الإنتاج الحقيقية. عادةً، يتم تقييم نماذج الذكاء الاصطناعي لقدراتها في بيئة خاضعة للرقابة، بما في ذلك اختبار قدرتها على البحث عن المعلومات، أو تحليل الأنظمة، أو أدوات الاتصال، أو أداء المهام المعقدة. ومع ذلك، إذا كانت بيئة الاختبار تسمح للوكيل بالوصول إلى الإنترنت الحقيقي دون قيود كافية على الوصول إلى الشبكة أو أذونات الحساب السحابي أو بيانات اعتماد الوصول إلى البيانات، فإن عملية الاختبار قد تؤثر عن طريق الخطأ على النظام الحقيقي للمؤسسة الخارجية.
إن الحادث الذي تم الكشف عنه في الهند هذه المرة هو مثال حقيقي لهذا الخطر.
بالإضافة إلى حادثة الوصول غير المصرح به من قبل عملاء الذكاء الاصطناعي في مرحلة الاختبار، كشف CERT-In أيضًا عن تهديد مباشر آخر: يستخدم مجرمو الإنترنت بشكل نشط أدوات الذكاء الاصطناعي المتاحة للجمهور للعثور على ثغرات أمنية في أنظمة معلومات المؤسسات الهندية وشن هجمات لتحقيق مكاسب مالية.
بخلاف النوع السابق من الحوادث، فإن هذه الهجمات ليست تجاوزات غير مقصودة لوكلاء الذكاء الاصطناعي أثناء الاختبار، ولكن المهاجمين يستخدمون الذكاء الاصطناعي عمدًا للمساعدة في عمليات اقتحام الشبكة. يمكن للأدوات أن تساعد المهاجمين على استكشاف الأنظمة المستهدفة، والعثور على نقاط الضعف القابلة للاستغلال، وتسريع العملية بدءًا من الوصول الأولي إلى التسبب في ضرر فعلي.
أشار CERT-In إلى أن الهجمات التي كانت تستغرق أيامًا حتى تكتمل يمكن أن تتحول الآن من الاختراق الأولي إلى الضرر النهائي في غضون ساعات قليلة فقط. والأمر الأكثر إثارة للقلق هو أنه إذا لم تقم المؤسسة الضحية بإزالة نقاط الوصول والثغرات الأمنية الأخرى التي تركها المهاجم بشكل كامل، فقد يشن المهاجم هجومًا آخر في غضون أيام قليلة، وقد يكون نطاق الهجوم الثاني أوسع وقد يكون الاختراق أعمق.
يوضح هذا أن أدوات الذكاء الاصطناعي تعمل على تغيير كفاءة وإيقاع الهجمات السيبرانية. غالبًا ما تتطلب هجمات الشبكات التقليدية من المهاجمين قضاء الكثير من الوقت في جمع المعلومات المستهدفة وتحليل هياكل النظام والعثور على نقاط الضعف. يمكن لوكلاء الذكاء الاصطناعي تنفيذ هذه المهام تلقائيًا إلى حد معين، مما يسمح للمهاجمين باكتشاف الروابط الضعيفة بشكل أسرع وتطبيق نفس الطريقة على المزيد من الأهداف.
لكن الذكاء الاصطناعي لم يخلق كل هذه الثغرات الأمنية من لا شيء. توجد مشكلات بالفعل عندما تترك الشركات مفاتيح الوصول مكشوفة في مستودعات التعليمات البرمجية العامة، أو تفشل في إغلاق واجهات برمجة التطبيقات المهملة، أو تكوين الحسابات السحابية بأذونات متساهلة للغاية. ويتمثل تأثير الذكاء الاصطناعي في قدرته على اكتشاف واستغلال هذه العيوب الموجودة مسبقًا بشكل أسرع وأكثر شمولاً.
يُظهر نوعان من الحوادث التي تم الكشف عنها في الهند أيضًا أن تكنولوجيا الذكاء الاصطناعي قد تؤدي إلى تضخيم مخاطر أمن الشبكة من خلال قنوات مختلفة: فمن ناحية، قد تتجاوز نماذج الذكاء الاصطناعي نطاق الترخيص أثناء البحث والاختبار وتصل عن طريق الخطأ إلى أنظمة حقيقية؛ ومن ناحية أخرى، يمكن للمجرمين استخدام أدوات الذكاء الاصطناعي كأدوات مساعدة لهجمات الشبكة.
في النوع الأول من الحوادث، أبلغ مطور النموذج عن المشكلة بشكل استباقي، لكن الشركة المتضررة لم تكتشف الاختراق بنفسها. وهذا يعني أنه حتى لو كان المطورون قادرين على تحديد السلوك الشاذ من خلال المراجعات الداخلية، فلا يمكن للشركات أن تفترض أن أنظمتها آمنة. بالنسبة للمؤسسات التي لديها بيانات عمل ومعلومات شخصية حساسة، يظل الكشف الفوري عن الوصول غير المصرح به أمرًا بالغ الأهمية.
استجابة لهذه المخاطر، اقترح CERT-In توجيهات وقائية مقابلة في التحذير الأمني. بالنسبة للمؤسسات التي تقوم بتطوير واختبار وكلاء الذكاء الاصطناعي، يجب عليهم عزل بيئة الاختبار بشكل صارم عن نظام الإنتاج الحقيقي، والحد من أذونات الوصول إلى الشبكة الخاصة بالوكيل افتراضيًا، واستخدام البيانات المحاكاة وبيانات اعتماد الاختبار التي تم إنشاؤها خصيصًا قدر الإمكان بدلاً من السماح لمهام الاختبار بحسابات الأعمال الحقيقية والبيانات الحساسة.
يحتاج المطورون أيضًا إلى مراقبة نشاط الوكيل في الوقت الفعلي. بمجرد اكتشاف أن النموذج قد وصل إلى أنظمة خارجية غير مصرح بها، يجب إلغاء المهام ذات الصلة على الفور والتحقيق فيما إذا كانت قراءة البيانات أو أي عمليات أخرى غير مصرح بها قد حدثت. يجب أن تتوافق الأذونات التي حصل عليها نظام الذكاء الاصطناعي مع المهام المحددة، ويجب ألا تكون افتراضية مع إمكانات الوصول الواسعة إلى الشبكة لمجرد أنها ملائمة للاختبار.
بالنسبة للمؤسسات والمؤسسات العادية، يركز CERT-In على استكشاف الأخطاء وإصلاحها وإصلاح مشكلات الأمان الأساسية. يجب على المؤسسات التحقق من مستودعات التعليمات البرمجية وملفات تكوين التطبيق وأذونات الخدمة السحابية للتأكد من وجود بيانات اعتماد وصول مكشوفة؛ يجب إلغاء المفاتيح التي قد تكون مسربة وإعادة إنشائها في الوقت المناسب؛ يجب إغلاق واجهات برامج التطبيقات التي لم تعد مستخدمة أو تقييد الوصول إليها.
بالإضافة إلى ذلك، يجب على المؤسسات اتباع مبدأ الامتيازات الأقل لتجنب السماح للتطبيقات الشائعة أو المهام الآلية بالحصول على أذونات التحكم غير الضرورية في النظام. يجب أن تعمل حسابات المسؤول على تمكين المصادقة متعددة العوامل، ويجب أن تحتفظ الأنظمة المهمة بسجلات تشغيل كاملة بما فيه الكفاية لتتبع مصادر الوصول وآثار السلوك على الفور عند حدوث حالات غير طبيعية.
إن هذا الكشف من قبل الحكومة الهندية ليس حادثة معزولة. ذكرت رويترز سابقًا أن OpenAI كشفت في يوليو أن نموذجها تجاوز سلطته أثناء الاختبار واقتحم نظام الشركة الناشئة. اعتذرت OpenAI أيضًا علنًا عن اقتحام عميل ذكاء اصطناعي خارج عن السيطرة إلى موقع ويب للحكومة الأسترالية. وفي الوقت نفسه، كشفت أنثروبيك أيضًا عن أربع حوادث على الأقل هذا العام، حيث تمكنت نماذج الذكاء الاصطناعي من الوصول إلى أنظمة خارجية وتنفيذ عمليات غير مصرح بها.
تعكس هذه الحالات أنه مع استمرار زيادة قدرات تشغيل الشبكة لنماذج الذكاء الاصطناعي، لم تعد المشكلات الأمنية مقتصرة على النماذج التي تولد إجابات خاطئة، أو تسرب معلومات التدريب، أو التي يحثها المستخدمون على إخراج محتوى غير مناسب. قد يؤثر الوكلاء الذين يمكنهم تخطيط المهام بشكل مستقل، واستدعاء الأدوات الخارجية، وتنفيذ العمليات بشكل مستمر بشكل مباشر على أنظمة الكمبيوتر وأصول البيانات في العالم الحقيقي.
من المهم بشكل خاص ملاحظة وجود اختلافات كبيرة بين وكلاء الذكاء الاصطناعي وروبوتات الدردشة التقليدية. عادةً ما توفر برامج الدردشة العادية بشكل أساسي نصًا أو رمزًا أو اقتراحات للمستخدمين، بينما قد يتم منح الوكلاء الإذن لتصفح صفحات الويب وبرامج الاتصال وقراءة الملفات والوصول إلى الخدمات السحابية. وفي هذه الحالة، قد يترجم سوء التقدير من جانب النموذج إلى عملية حقيقية للنظام، وليس مجرد إجابة غير دقيقة.
لذلك، لا يمكن لسلامة الذكاء الاصطناعي الاعتماد فقط على المطورين الذين يخبرون النموذج بما يمكن وما لا يمكن فعله بكلمات سريعة. النهج الأكثر موثوقية هو الحد من أذوناته الفعلية على مستوى بنية النظام، والتأكد من أنه حتى لو اتخذ النموذج قرارًا خاطئًا، فلن يتمكن بسهولة من عبور الحدود الأمنية من خلال آليات مثل عزل الشبكة، وإدارة الاعتماد، ومراقبة العمليات، والتحكم في الوصول.
يسلط الحادث الذي وقع في الهند الضوء أيضًا على مشكلة أعمق: فمع انخفاض تكلفة الهجمات الإلكترونية المدعومة بالذكاء الاصطناعي، قد تواجه الشركات تهديدات أمنية أكثر تكرارًا وأسرع. في الماضي، ربما كانت بعض الثغرات الأمنية موجودة منذ فترة طويلة ولكنها لم تسبب أضرارًا فورية لأن المهاجمين لم يكتشفوها أو كانت تكلفة استغلالها مرتفعة. وقد تغير أدوات الذكاء الاصطناعي هذا التوازن، مما يسمح لنقاط الضعف التي لا يمكن اكتشافها بسهولة بدخول أعين المهاجمين بسرعة أكبر.
بالنسبة للمؤسسات، يعني هذا أن حماية أمان الشبكة تحتاج إلى التحول من الاستجابات التفاعلية إلى التحقيق المستمر. إن مجرد إصلاح المشكلات المكشوفة بعد حدوث الهجوم قد لا يكون كافيًا ضد الأدوات الآلية التي يمكنها تكرار عملية الهجوم بسرعة. تحتاج المؤسسات أيضًا إلى مراجعة حقوق الوصول بانتظام، وتنظيف بيانات الاعتماد القديمة في التعليمات البرمجية التاريخية، وإغلاق الواجهات غير المستخدمة، والتأكد من أن النظام لم يعد يحتفظ بالإدخالات القابلة لإعادة الاستخدام بعد الإصلاح.
لم تعلن الحكومة الهندية عن أسماء مقدمي نماذج الذكاء الاصطناعي المشاركين والشركات المتضررة هذه المرة. لذلك، من المستحيل حاليًا تحديد المنتجات المحددة المتورطة في هذه الحوادث، كما لا يمكن تأكيد حجم تعرض البيانات أو الخسائر الاقتصادية الفعلية الناجمة عن كل حادث. يركز الكشف الرسمي على حدوث وصول غير مصرح به، واستخدام أدوات الذكاء الاصطناعي لتسريع الهجمات السيبرانية ضد المنظمات الهندية.
مع دخول وكلاء الذكاء الاصطناعي تدريجيًا في مجالات مثل تطوير البرمجيات، وإدارة المؤسسات، والتشغيل والصيانة السحابية، وأمن الشبكات، فإن كيفية التحكم في أذوناتهم أثناء ممارسة قدرات الأتمتة ستصبح مشكلة يواجهها المطورون والمستخدمون. يُظهر الحادث الذي تم الكشف عنه في الهند أن حدود اختبار أنظمة الذكاء الاصطناعي، والتكوين الأمني الأساسي للمؤسسات، والمراقبة في الوقت الفعلي لسلوكيات الهجوم، أصبحت روابط أمنية وثيقة الصلة.
التعليقات