تقول OpenAI إنها تنشر نظامًا جديدًا لمراقبة أحدث نماذج استدلال الذكاء الاصطناعي الخاصة بهاo3 وo4-mini للكشف عن الإشارات المرتبطة بالتهديدات البيولوجية والكيميائية.وفقًا لتقرير الأمان الخاص بـ OpenAI، وهو نظام مصمم لمنع هذه النماذج من تقديم توصيات يمكنها توجيه شخص ما لتنفيذ هجمات قد تكون ضارة.
وقالت OpenAI إن أداء O3 وo4-mini قد تحسن بشكل كبير مقارنة بالنماذج السابقة، مما يعرض أيضًا مخاطر جديدة للمهاجمين الضارين. وفقًا لمعايير OpenAI الداخلية، فإن o3 أكثر كفاءة في الإجابة على أنواع محددة من الأسئلة المتعلقة بالتهديد البيولوجي. ولهذا السبب، ولتقليل المخاطر الأخرى، أنشأت شركة OpenAI نظام مراقبة جديدًا، تصفه الشركة بأنه "جهاز مراقبة الاستدلال الذي يركز على الأمان".
تعمل الشاشة على o3 وo4-mini ويتم تدريبها خصيصًا للتفكير في سياسات محتوى OpenAI. وهو مصمم لتحديد الإشارات المتعلقة بالمخاطر البيولوجية والكيميائية وتوجيه النموذج لرفض التوصيات بشأن هذه المواضيع.
لإنشاء خط أساس، طلبت OpenAI من أعضاء الفريق الأحمر قضاء ما يقرب من 1000 ساعة في وضع علامة على المحادثات "غير الآمنة" المتعلقة بالمخاطر البيولوجية في o3 وo4-mini. قالت OpenAI إنه في اختبار يحاكي "منطق الحظر" لمراقبيها الأمنيين، رفضت النماذج الاستجابة لمطالبات المخاطر بنسبة 98.7% من الوقت.
اعترفت OpenAI بأن اختباراتها لم تأخذ في الاعتبار الأشخاص الذين قد يحاولون تجربة مطالبات جديدة بعد أن تم حظرهم بواسطة الشاشة، ولهذا السبب قالت الشركة إنها ستواصل الاعتماد جزئيًا على المراقبة البشرية.
وقالت OpenAI إن O3 وo4-mini لم يتجاوزا عتبة "المخاطر العالية" للمخاطر البيولوجية التي حددتها OpenAI. ومع ذلك، تقول OpenAI أن الإصدارات السابقة من o3 وo4-mini أكثر فائدة في الإجابة على الأسئلة حول تطوير الأسلحة البيولوجية من o1 وGPT-4.
رسم تخطيطي لبطاقات النظام o3 وo4-mini (لقطة الشاشة: OpenAI)
وفقًا لإطار عمل الوقاية الذي تم تحديثه مؤخرًا من OpenAI، تتتبع الشركة بنشاط كيف تسهل نماذجها على المستخدمين الضارين تطوير التهديدات الكيميائية والبيولوجية.
تعتمد OpenAI بشكل متزايد على الأنظمة الآلية لإزالة مخاطر نماذجها. على سبيل المثال، لمنع مولد الصور الأصلي لـ GPT-4o من إنشاء محتوى الاعتداء الجنسي على الأطفال (CSAM)، قالت OpenAI إنها تستخدم شاشة استدلال مشابهة لتلك التي نشرتها الشركة لـ o3 وo4-mini.
ومع ذلك، يشعر بعض الباحثين بالقلق من أن OpenAI لا تضع الأمن في مكانه الصحيح. وقال متر، أحد شركاء الفريق الأحمر للشركة، إنه لم يكن لديهم سوى القليل من الوقت لتقييم خداع o3. وفي الوقت نفسه، قررت OpenAI عدم إصدار تقرير أمني حول نموذج GPT-4.1 الذي أصدرته في وقت سابق من هذا الأسبوع.