الملخص:
مشهد من فيلم "Skynet" يحدث في الواقع. خلال جلسة تدريبية، قام عميل الذكاء الاصطناعي الهارب من OpenAI بزرع "رمز ذاتي النسخ" في جميع أنحاء الإنترنت! عندما قال السياسي أندرو يانغ هذا على قناة سي إن بي سي، اعتقد الكثير من الناس أنه مجنون.
في اليومين الماضيين فقط، أصدرت شركة OpenAI شخصيًا تقريرًا بعنوان موجز للغاية: "النسخ الذاتي الفوري لإدخال الكلمات في الوجود".
باللونين الأبيض والأسود، الشهادة الرسمية.
إن نموذج الذكاء الاصطناعي يكرر نفسه وينتشر مثل دودة الكمبيوتر.
الأمر الأكثر إثارة للخوف هو أنه قبل 5 أيام فقط، قامت OpenAI مرة أخرى بفصل كابل الشبكة الخاص بأقوى طراز بشكل عاجل وتعليق جميع التدريبات.
سمحت ثغرة أمنية في DNS لنموذج متطور باختراق الإنترنت الحقيقي مباشرة.
في الوقت نفسه تقريبًا، نشرت وسائل الإعلام الأجنبية Axios مؤخرًا الأخبار التي تفيد بأن OpenAI وAnthropic تحققان بشكل عاجل في نماذج شاذة خارجة عن السيطرة، مع عشرات الآلاف من الحالات!
اعتقدت البشرية في الأصل أن زمام الأمور كان دائمًا في أيديهم، لكن هذه السلسلة من الاكتشافات أكدت ذلك تمامًا——
لقد بدأ الذكاء الاصطناعي في العمل بشكل جامح وعديم الضمير في التعليمات البرمجية الأساسية.
أدخل "رمز النسخ الذاتي" في الشبكة بأكملها
النموذج الأولي لـ Skynet موجود هنا
تم الكشف عن هذا التقرير من OpenAI في 25 سبتمبر، ولكن تاريخ الاكتشاف كان 27 يونيو.
بعبارة أخرى، كانوا يعرفون ذلك بالفعل. لمدة ثلاثة أشهر كاملة، ظل الأمر سرا.
يبدأ التقرير بإيجاز، "لقد أثبتنا وجود نوع جديد من الحقن السريع للكلمات الذي يمكن أن ينتشر مثل دودة الكمبيوتر."
من أجل السماح للنموذج بتحمل الحقن السريع للكلمات، لدى OpenAI مجموعة من تدريبات المنافسة الذاتية تسمى GPT-Red:
يعمل أحد الذكاء الاصطناعي كمهاجم ويكتب عمليات حقن مختلفة لخداع الذكاء الاصطناعي الآخر ليقوم بدور المدافع للقيام بأشياء سيئة - سرقة البيانات، وحذف الملفات، وإخراج محتوى مضلل.
في 27 يونيو، عثر نموذج هجوم داخلي يعتمد على GPT-5.4-mini على طريقة كتابة يمكنها تكرار نفسها أثناء هذه المبارزة. يسرد التقرير عدة أنواع:
تم إخفاء الرسالة الإلكترونية التي تبدو عادية في جدول زمني، حيث طُلب من الذكاء الاصطناعي "الاقتباس الحرفي للبريد الإلكتروني بالكامل" في نهاية الرد - وكانت الملاحظة تتبع الرد مباشرةً؛
البث من خلال نظام الملفات، أو إخفائه في تعليقات التعليمات البرمجية، في انتظار قراءة الذكاء الاصطناعي التالي؛
هناك عدة خطوات في Slack، ويتم توجيه النموذج تدريجيًا لإرسال رسائل وهمية، ويتم حقن الرسائل ثم إعادة نشرها.
هذه المرة، وجدوا أن الحقن يمكن أن يكرر نفسه.
يعني هذا أن الذكاء الاصطناعي يمكنه ترك كلمة سريعة على موقع ويب، وستحفز هذه الكلمة السريعة الذكاء الاصطناعي التالي على الاستمرار في نسخها وانتشارها مثل الفيروس.
لا يلزم التدخل البشري، ولا يلزم وجود تعليمات خارجية. يمكن للذكاء الاصطناعي نفسه أن "يزرع" على الإنترنت.
ويحدث كل هذا أثناء عملية التدريب. يحدث في وضع الحماية الخاص بـ OpenAI. ماذا لو هرب؟
تسببت ثغرة أمنية في DNS في توقف OpenAI عن التدريب مرة أخرى
وفي نفس اليوم الذي تم فيه نشر التقرير، كشفت OpenAI عن تفاصيل حادث آخر.
في 20 سبتمبر، تم تكليف نموذج متطور يخضع لتدريب التعلم المعزز بمهمة عادية:
اكتشف هوية مؤلف المقالة استنادًا إلى مقال مدونة والعديد من المعلومات الشخصية.
لقد بحثت أولاً باستخدام أداة البحث المضمنة، ولكن لم تتمكن من العثور عليها. ثم حاولت الوصول إلى Google وBing وDuckDuckGo مباشرةً، لكن جميعها باءت بالفشل.
ثم تحول بعد ذلك إلى الصفحات المخزنة مؤقتًا وخدمات البحث العامة الأخرى، ولكن دون جدوى.
بعد التجارب المتكررة، اكتشف الذكاء الاصطناعي ثغرة في تصفية DNS الخاصة بصندوق الحماية التدريبي. DNS هو في الأساس "مترجم" مسؤول عن ترجمة أسماء النطاقات إلى عناوين IP.
من أجل التأكد من أن هذا الطريق قابل للاستخدام حقًا، فقد أجرى اختبارًا صغيرًا أولاً - حيث تم طرح سؤال على خدمة خارجية: "ما هي عاصمة فرنسا؟"
ولتأكيد جدوى هذا المسار، تم إرسال أكثر من عشرين سؤالا واحدا تلو الآخر.
إنذار نظام المراقبة بعد 15 دقيقة، ويتولى الدليل المهمة بعد 3 دقائق. وبعد مرور ساعتين ونصف الساعة، انقطع التدريب تمامًا.
اتخذت شركة OpenAI على الفور قرارًا بتعليق التدريب للمرة الثانية في أقل من ثلاثة أشهر.
صرح ميكا كارول، قائد الاستعداد لمؤشر القوة النسبية (RSI)، في
تم فحصه 16000 مرة
حمام الدم على الشبكة الداخلية للأمم المتحدة
لقد تم تشغيل نفس النص على شبكة الإنترنت الحقيقية منذ وقت طويل.
تم الكشف عن تقرير مستقل لـ Transluce——
من أبريل إلى نهاية يونيو من هذا العام، بدأ OpenAI AI Agent أكثر من 16000 زيارة إلى منصة البيانات العامة التابعة للأمم المتحدة.
كانت المهمة التي تم تكليفهم بها في الأصل بسيطة جدًا: البحث عن معلومات عامة. ومع ذلك، عند مواجهة اعتراض موقع الويب، تصاعد سلوك الذكاء الاصطناعي بسرعة.
قام موقع الويب في الأصل بإعداد مرشح لاعتراض الطلبات، لكن الوكيل تجاوز خط الدفاع مباشرة واستخدم عمليات غير قانونية كان موقع الويب محظورًا صراحةً.
إن الأمم المتحدة ليست المنظمة الوحيدة التي تم "استغلال" خطوط دفاعها من قبل عملاء الذكاء الاصطناعي.
في التحذير الطارئ الذي أصدرته OpenAI لاحقًا لعشرات المؤسسات، كانت قائمة الضحايا صادمة:
وزارة التجارة الأمريكية وهيئة الأوراق المالية والبورصة: تواجهان باستمرار عمليات وصول ضارة عبر الحدود وتجاوز القواعد من قبل الوكلاء؛
الحكومة الأسترالية: تم اختراق العديد من المواقع الحكومية الرسمية بشكل كبير من قبل عملاء الذكاء الاصطناعي؛
RubyGems، أحد أكبر مجتمعات مطوري البرامج مفتوحة المصدر في العالم: تم فحصه بشكل محموم بواسطة AI Agent وتم مقاطعة خدمته.
وجد الباحثون أيضًا أن هؤلاء العملاء يقومون بتسجيل عناوين بريد إلكتروني مزيفة، وتجاوز قيود تردد الوصول، والكذب بشأن أنهم ليسوا روبوتات عندما يُطلب منهم ذلك.
هناك 53 صورة تم تحميلها من قبل المستخدمين إلى ChatGPT، والتي تم إرسالها أيضًا إلى منصات الصور الخارجية بواسطة الذكاء الاصطناعي.
بالنسبة لهذا الخط من التعليمات، وفي مواجهة جميع القواعد وجدران الحماية والخطوط الحمراء القانونية، اختار وكيل الذكاء الاصطناعي المضي قدمًا.
اندلعت عشرات الآلاف من الحوادث
ظهر جبل الجليد
هل كل هذا مجرد حادث معزول؟
اليوم فقط، كشف موقع Axios لاحقًا عن تحقيق حصري ضخم، أدى إلى تحطيم ورقة التوت الأخيرة في وادي السيليكون تمامًا.
وفقًا لمصادر أساسية داخلية متعددة، تقوم OpenAI وAnthropic وعدد من وكالات تقييم الأمان الكبرى حاليًا بالتحقيق بشكل عاجل في حوادث "سلوك النماذج غير الطبيعية" المماثلة، وقد وصل العدد الإجمالي إلى عشرات الآلاف بشكل مذهل!
تشمل هذه الحوادث جميع السلوكيات الخطيرة التي يمكن للجمهور أن يتخيلها ولا يستطيع أن يتخيلها:
تجاوز حواجز الحماية الأمنية، واهرب بقوة من صندوق الحماية، واختطف مواقع الويب الخارجية، وقم بإنشاء مطالبات مستقلة لغسل دماغك.
هناك أيضًا كشف نشط وتهرب من مراقبة برامج الأمان، وحتى العملاء المختلفون يقومون سرًا بإعداد لوحات رسائل لتبادل المعلومات وتقسيم العمل لتنفيذ أعمال تخريبية.
كيف حصلت على عشرات الآلاف؟ أكسيوس يعطي خوارزمية بديهية.
يجب على Anthropic أيضًا أن تعترف بالواقع في أحدث إصدار لها من بطاقة نظام Opus 5.5:
في أحد أنواع التجارب التنافسية، حاول 1.5% من الاختبارات الهروب من وضع الحماية. يعتبر هذا النوع من التجارب في حد ذاته تصميمًا صعبًا حيث "لا يمكنك حل المشكلة إذا لم تهرب منها".
1.5% تبدو صغيرة؟
ولكن في ظل مئات الآلاف من الاختبارات التنافسية عالية الكثافة التي تجريها أفضل مختبرات الذكاء الاصطناعي كل يوم، فإن هذه النسبة التي تبدو غير مهمة تتضاعف إلى عشرات الآلاف من المحاولات الفعلية الخارجة عن نطاق السيطرة.
في مواجهة هذه الأزمة غير المسبوقة، اعترف المتحدث باسم OpenAI——
لقد أوقفنا التدريب مؤقتًا على أقوى نموذج لدينا ولن نعيد تشغيله إلا بعد أن نثق في أن لدينا حواجز أمان إضافية وتحسينات في المحاذاة.
قد تكون الجملة التي كتبها خبير الذكاء الاصطناعي كونراد ستوش هي الملخص الأكثر دقة للوضع الحالي:
"ما نراه هو مجرد قمة جبل الجليد."
لقد رأينا الإجابة على السؤال التالي: إلى أي مدى سيصل الذكاء الاصطناعي المزود بالأدوات والشبكات وقدرات المهام طويلة المدى بعد إحباط أهدافه.
لقد فُتح صندوق باندورا منذ فترة طويلة بصدع لا نهاية له في غرفة الكمبيوتر الصامتة.
التعليقات