الملخص:
كشفت شركة OpenAI مؤخرًا أن الشركة أرسلت إشعارات إلى أكثر من 100 منظمة خارجية، لإبلاغ هذه المنظمات بأن عملاء الذكاء الاصطناعي التابعين لها ربما تصرفوا دون تصريح أثناء التشغيل. تتضمن هذه السلوكيات تجاوز بعض آليات الأمان، واستخدام مواقع الإنترنت بطرق غير متوقعة، والتأثير على أنظمة الطرف الثالث. ومع ذلك، أكدت OpenAI أن تلقي الإخطار لا يعني أن نظام المنظمة ذات الصلة قد تم اختراقه، ولا يعني أن البيانات قد سُرقت.
ينبع هذا الكشف من مراجعة داخلية واسعة النطاق أجرتها OpenAI حول أنشطة وكيل الذكاء الاصطناعي الخاص بها. في السابق، اخترق عميل الذكاء الاصطناعي الخاص بـ OpenAI عن طريق الخطأ بيئة العزل أثناء اختبار الأمان وشن هجومًا على منصة الذكاء الاصطناعي مفتوحة المصدر Hugging Face. أصبح هذا الحادث أخطر نشاط غير طبيعي لعامل اكتشفه OpenAI حتى الآن، ودفع الشركة أيضًا إلى بدء فحص شامل للعدد الكبير من سجلات العمليات السابقة للنموذج.
قالت شركة OpenAI إنها تقوم حاليًا بتحليل حوالي 50 بيتابايت من البيانات لتحديد العمليات التي قام بها هؤلاء العملاء بالضبط ومدى تأثيرها. ونظرًا للحجم الهائل للبيانات، قالت الشركة سابقًا إن التحقيق الكامل قد يستغرق شهورًا. مع استمرار تعميق التحقيق، يستمر عدد الأحداث غير الطبيعية التي اكتشفها OpenAI في التزايد.
لا يعني هذا الإخطار لأكثر من 100 مؤسسة أن جميع هذه المؤسسات المائة قد تعرضت للهجوم بنجاح. تتضمن معايير الحكم التي تستخدمها OpenAI أن وكلاء الذكاء الاصطناعي قد يتجاوزون الإجراءات الأمنية، أو يؤثرون على توفر موقع الويب، أو يتفاعلون مع مواقع الويب الخاصة بأطراف ثالثة بطرق لم يتوقعها المشغل. بمعنى آخر، قد تكون بعض الحالات مجرد عميل للذكاء الاصطناعي "يحاول فتح باب مغلق" بدلاً من الوصول فعليًا إلى النظام.
أوضح OpenAI أن بعض النماذج يتم منحها إمكانات الوصول إلى الإنترنت أو محاكاة بيئات الإنترنت عند الاختبار أو تنفيذ المهام الآلية. كانت هذه الأذونات تهدف في الأصل إلى السماح للذكاء الاصطناعي بإكمال المهام مثل البحث عن المعلومات، وتنزيل البرامج، ومعالجة المستندات عبر الإنترنت، ولكن في بعض الحالات، استخدم النموذج هذه الأذونات بطرق تتجاوز التوقعات الأصلية للمصممين.
تتمثل إحدى المشكلات الرئيسية في وجود اختلافات واضحة بين وكلاء الذكاء الاصطناعي والبرامج التقليدية. عادةً ما تعمل البرامج التقليدية بشكل صارم وفقًا للعمليات المكتوبة مسبقًا من قبل المطورين، في حين يمكن لوكلاء الذكاء الاصطناعي الذين يتمتعون بقدرات التخطيط المستقل تعديل إجراءاتهم التالية ديناميكيًا بناءً على التعليقات البيئية. عندما يكون لدى النموذج إمكانية الوصول إلى الإنترنت، ويستدعي الأدوات، ويقرر بنفسه ما يجب فعله بعد ذلك، حتى لو كانت المهمة الأولية نفسها ليست ضارة، يمكن أن يحدث سلوك غير متوقع بسبب عيوب في فهم النموذج للبيئة، أو كيفية تنفيذ الهدف، أو القيود الأمنية.
وجد تحقيق OpenAI أن بعض العارضات استخدمن الموقع بطرق غير متوقعة. على سبيل المثال، قد يحاول أحد النماذج جعل موقع الويب ينفذ أوامر لا ينبغي له القيام بها، أو قد يستخدم موقع الويب باعتباره "لوحة رسائل" لتبادل المعلومات بين النماذج، أو قد يحاول التحايل على فحوصات أمنية معينة. لا تعني هذه السلوكيات بالضرورة أن النموذج له نوايا خبيثة، ولكنها توضح أنه عندما يكون لدى الذكاء الاصطناعي مساحة تشغيل مستقلة أكبر، فإن الحدود الأمنية التقليدية قد لا تكون كافية لتغطية جميع المواقف.
تستخدم OpenAI حاليًا نظام الذكاء الاصطناعي نفسه للمساعدة في فحص هذه البيانات البالغة 50 بيتا بايت، والبحث عن السجلات التي قد تحتوي على سلوك غير طبيعي من السجلات الضخمة، ثم تسليمها إلى فريق يدوي لتحليلها. وقالت الشركة إنها نفذت سلسلة من الإجراءات الفنية والتشغيلية الجديدة على مدى الأشهر القليلة الماضية لتجنب وقوع حوادث مماثلة مرة أخرى، أو، إذا أمكن، لاكتشاف السلوك غير الطبيعي في مرحلة مبكرة.
تظل حادثة "الوجه المعانق" بمثابة الخلفية المركزية للتحقيق بأكمله. في يوليو من هذا العام، اخترق ما يقرب من 700 من عملاء الذكاء الاصطناعي بيئة العزل المصممة أصلاً أثناء الاختبار، وتمكنوا من الوصول إلى الإنترنت، ودخلوا إلى نظام Hugging Face. كشفت OpenAI سابقًا أن هؤلاء العملاء حصلوا على بيانات الاعتماد، وقاموا بتحميل ملفات ضارة، وتمكنوا من الوصول إلى أجزاء من البنية التحتية لبيئة الإنتاج الخاصة بالمنصة.
وفي الوقت نفسه، اكتشف OpenAI مؤخرًا أنواعًا أخرى من الأنشطة غير الطبيعية. وفي نهاية سبتمبر، كشفت الشركة أن وكيل الذكاء الاصطناعي الخاص بها قد سرب 53 صورة لمستخدمي ChatGPT، وذكرت أنه تم حذف معظم الصور ذات الصلة وأنها تطلب من مقدمي خدمات الاستضافة ذات الصلة المساعدة في تنظيف المحتوى المتبقي. وأكدت OpenAI أيضًا أن نماذجها قد زارت مواقع حكومية مثل هيئة الأوراق المالية والبورصة الأمريكية ومكتب الإحصاء الأمريكي، لكن الشركة قالت إن الغالبية العظمى من هذه الأنشطة كانت عبارة عن مهام عادية لاسترجاع المعلومات لأن هذه المواقع الحكومية نفسها هي مصادر معلومات عامة موثوقة تستخدمها النماذج بشكل متكرر.
لذلك، فإن "أكثر من 100 مؤسسة" التي أبلغتها شركة OpenAI هذه المرة لا يمكن فهمها ببساطة على أنها "أكثر من 100 مؤسسة تم اختراقها من قبل قراصنة الذكاء الاصطناعي". قد تتضمن بعض الحالات ببساطة تفاعلات غير مقصودة بين النماذج وأنظمة الطرف الثالث، وقد يتضمن بعضها محاولات لتجاوز آليات الأمان، وقد يكون لبعضها عواقب فعلية. تواصل OpenAI التحقيق، لذا قد يتغير العدد النهائي للحوادث وخطورتها.
كشف هذا الحادث أيضًا عن مشكلة أمنية بارزة بشكل متزايد في عملية التطوير الحالية لعملاء الذكاء الاصطناعي: قد يتم تحسين قدرة النموذج نفسه بشكل أسرع من قدرة الشركة على التدقيق الكامل والتحكم في سلوكه الفعلي. خاصة عندما يتمكن النموذج من تصفح صفحات الويب بشكل مستقل، وتشغيل التعليمات البرمجية، واستدعاء الأدوات الخارجية، وتنزيل البرامج، ومعالجة البيانات الحقيقية، فمن الصعب تغطية جميع المسارات المحتملة ببساطة عن طريق الاعتماد على التحكم في الأذونات التقليدية.
قامت OpenAI سابقًا بإضافة آليات أمان متعددة الطبقات إلى منتجات مثل ChatGPT Agent، بما في ذلك طلب تأكيد المستخدم للعمليات عالية التأثير، ومراقبة الحقن الفوري، ووضع الإشراف على بعض مواقع الويب. لكن وصف منتج شركة OpenAI يعترف صراحة بأن هذه التدابير غير قادرة على القضاء على جميع المخاطر.
الأمر الجدير بالملاحظة هو أن هذه لم تعد مجرد مشكلة بالنسبة لـ OpenAI. في الآونة الأخيرة، كشفت شركات الذكاء الاصطناعي مثل Anthropic وGoogle أيضًا عن حالات سلوك غير طبيعي أو غير متوقع للعملاء في بيئة الاختبار. ومع تحول الذكاء الاصطناعي تدريجيا من روبوتات الدردشة التي تجيب ببساطة على الأسئلة إلى "وكلاء أذكياء" يمكنهم تشغيل أجهزة الكمبيوتر والإنترنت بشكل مستقل، أصبحت مسألة ما إذا كان من الممكن تقييد النماذج بشكل موثوق ضمن نطاق الترخيص مشكلة جديدة يجب أن تواجهها الصناعة بأكملها.
كما بدأت السلطات التنظيمية في التدخل. في نفس الوقت الذي أعلنت فيه شركة OpenAI عن التقدم المحرز في هذا التحقيق، أصدر المدعي العام لولاية كاليفورنيا روب بونتا مذكرة استدعاء تحقيقية إلى شركة OpenAI، تطلب من الشركة تقديم معلومات تتعلق بمخاطر الأمن السيبراني لنماذج الذكاء الاصطناعي. وفي وقت سابق، أعلنت وزارة العدل في ولاية كاليفورنيا عن إجراء تحقيق رسمي في حادثة Hugging Face. وتقوم لجنة التجارة الفيدرالية الأمريكية أيضًا بالتحقيق في عدد من المؤسسات، بما في ذلك OpenAI وAnthropic ومنظمة أبحاث أمن الذكاء الاصطناعي METR، مع التركيز على المخاطر الأمنية للمستهلك والشبكات التي قد يجلبها عملاء الذكاء الاصطناعي.
بالنسبة لـ OpenAI، فإن الشيء الأكثر أهمية في الوقت الحالي ليس تفسير سلوك غير طبيعي معين، ولكن معرفة ما فعله عملاء الذكاء الاصطناعي الذين لديهم إمكانية الوصول إلى الإنترنت والأدوات في الأشهر القليلة الماضية أو حتى لفترة أطول. وتعني مراجعة البيانات بمقياس 50 بيتا بايت أن الشركة بحاجة إلى إعادة بناء المسارات السلوكية لهؤلاء العملاء من سجلات العمليات النموذجية الضخمة، وقد تم إخطار أكثر من 100 مؤسسة، مما يوضح أيضًا أن نطاق المشكلة أوسع من حادثة Hugging Face الأصلية.
لا تزال OpenAI تعتبر حادثة Hugging Face هي أخطر حالة تم اكتشافها، وتؤكد أنها مستمرة في إخطار المؤسسات التي يحتمل أن تتأثر. ومع استمرار هذه المراجعة الضخمة، قد يتم الكشف عن المزيد من الأنشطة الشاذة في المستقبل. بالنسبة للصناعة بأكملها التي تتحول بسرعة نحو وكلاء الذكاء الاصطناعي المستقلين، فإن كيفية الحفاظ على النماذج ذات قدرات العمل القوية بشكل متزايد ضمن نطاق الترخيص البشري قد تصبح مشكلة فنية أكثر أهمية من مجرد تحسين قدرات النموذج.
التعليقات