الملخص:
كان أحد الباحثين المشاركين في حل مشكلة الألفية على استعداد للتنبؤ بتقدم الذكاء الاصطناعي خلال الأشهر الـ 12 المقبلة، لكنه الآن لا يجرؤ على الحكم حتى بعد ثلاثة أشهر من الآن. في 17 سبتمبر، أجرى دواركيش باتيل مقابلة مع باحث OpenAI نوام براون ونقل هذه التفاصيل. تحدثت المقابلة أيضًا عن تعدد الوكلاء، ومشاركة الذكاء الاصطناعي في تصنيع الجيل القادم من الذكاء الاصطناعي، والاختبارات الأمنية المتزايدة الصعوبة.
يشارك هذا الباحث في وجود وسلاسة معادلة نافير-ستوكس. شمل هذا البحث ما يقرب من 10000 وكيل. قالت OpenAI إن الأمر استغرق 88 ساعة لتقديم إجابة. ومع ذلك، يعتقد براون أن تعاون الآلاف من الأشخاص ليس هو مفتاح النجاح: فهو ليس على استعداد حتى لنسب 10% من الفضل إلى وكلاء متعددين. ما يهم حقًا هو أن النموذج الأساسي قوي بما فيه الكفاية.
ظهرت تفاصيل أخرى كان من الأسهل فهمها في المقابلة أثناء اختبار الأمان. أعطى الباحثون النموذج مسألة رياضية ووضعوا الإجابة القياسية في المجلد لمعرفة ما إذا كان سينظر إليها ويعترف بها بعد قراءتها. حكم النموذج: "هذا يبدو وكأنه فخ". لذلك لم يفتح الجواب.
وهذا لا يعني بالضرورة أنه تم إخفاءه بشكل ضار.
المشكلة هي أنه يمكنه بالفعل معرفة أنه يخضع للاختبار. بدأت غرفة الفحص التي أعدها الباحثون والبيئة المستخدمة بالفعل تبدو مختلفة.
من ناحية، يستمر النموذج في استكمال الأمور قبل الموعد المحدد والتي اعتقد الناس أنها ستضطر إلى الانتظار بضع سنوات أخرى. ومن ناحية أخرى، بدأت طرق الاختبار تفشل في اللحاق به.
تستعد شركة OpenAI للسماح للذكاء الاصطناعي بالمشاركة في إنشاء الجيل القادم من الذكاء الاصطناعي، لكنها لم تجد بعد طريقة لإثبات أنها تتبع القواعد دائمًا.
01 عشرة آلاف وكيل بأقل من 10% من الرصيد
يعد براون أحد المساهمين الأساسيين الأوائل في نموذج الاستدلال OpenAI o1 ويدرس الآن الأنظمة متعددة الوكلاء.
نقطة بدايته ليست معقدة. عادة ما تحصل نماذج الاستدلال على نتائج أفضل كلما طال أمد التفكير فيها؛ ولكن إذا كانت المهمة تتطلب تفكيرًا متواصلًا لعدة سنوات، فلا أحد يرغب في الانتظار عدة سنوات للحصول على الإجابة. أحد الحلول هو إجراء المزيد من الحسابات في نفس الوقت: السماح للعديد من الوكلاء بالاستكشاف بالتوازي ثم تبادل النتائج مع بعضهم البعض.
أعلنت شركة OpenAI سابقًا عن اختبارات لـ 1 و4 و16 وكيلًا. في بعض المهام، يمكن لـ 4 وكلاء تقليل وقت الإنجاز بمقدار النصف، على حساب مضاعفة تكلفة الحوسبة الإجمالية؛ وبعد الزيادة إلى 16، لا يزال من الممكن تحسين السرعة، ولكن الكفاءة أقل قليلاً. من السهل نسبيًا تفريغ الرياضيات واسترجاع البيانات؛ إن العمل مثل كتابة الرواية، التي تعتمد بشكل كبير على سياق موحد، أصعب بكثير.
لا يقوم OpenAI بترميز جميع أساليب التعاون مسبقًا، ولكنه يقلل من البنية الافتراضية. يمكن للوكيل إرسال رسائل مباشرة إلى رفاقه ويقرر بنفسه كيفية تقسيم العمل ومن يطلب المساعدة. لا يزال لديهم نقطة بداية حول "طرق الاتصال المعقولة" وتعلموا التنظيم والتعاون من النصوص البشرية. إنهم لا ينشئون نظامًا مؤسسيًا من لا شيء.
عند التشغيل فعليًا، سيتواصل الوكيل مثل الإنسان الذي يعمل في Slack. أعطى أحدهم إجابة أولاً، وأعطى آخر نتيجة مختلفة. وسأل الطرفان عن اشتقاق كل منهما، وأخيرًا بث أحد الطرفين: "لقد غيرت الإجابة، إنه على حق". قال براون إن هذا النوع من التعاون كان طبيعيًا أكثر مما توقع.
ولكن ماذا سيحدث عندما يزيد العدد من 16 إلى 10000؟ لا يوجد حاليًا منحنى توسع قوي. لم يقم الفريق بقياس مدى سرعة 10000 عميل مقارنة بـ 1000 عميل، كما أنه لا يعرف المدة التي يستغرقها وكيل واحد لإكمال نفس المهمة. إن مثل هذه التجربة الخاضعة للرقابة واسعة النطاق مكلفة للغاية، ولا يشتمل الاختبار العام إلا على حوالي 16 عاملًا فقط.
لذلك، فإن "مساهمة الوكلاء المتعددين أقل من 10%" هو حكم براون الخاص على الائتمان، وليس النسبة التي تم قياسها من خلال تجربة الاستئصال. إنه يعتقد أن تعاون الآلاف من الأشخاص واضح للغاية ويمكن أن يسرق كل الاهتمام بسهولة؛ ما يجعل هذا ممكنًا حقًا هو أن OpenAI قامت أولاً بتدريب نموذج أساسي متعدد الاستخدامات وذو قدرة عالية ويمكن أن يعمل لفترة طويلة.
في البحث الرياضي الذي نشرته OpenAI، قام ما يقرب من 10000 وكيل متزامن بإنشاء ما يقرب من 130 مليار رمز مميز للإخراج خلال 88 ساعة. والنتيجة هي أنه تحت تأثير القوى الخارجية الملساء، يشكل التدفق الأولي السلس تفردًا خلال فترة زمنية محدودة. أصدرت OpenAI الورقة والدليل الرسمي Lean في نفس الوقت؛ وبعد العثور على الحل، استغرق إضفاء الطابع الرسمي والتحقق حوالي 17 ساعة. لا تدعي الشركة أنها فازت بجائزة الألفية.
وفقًا للتحويل التقريبي لباتيل، فإن 130 مليار رمز تعادل كمية الكلمات التي كتبها شخص كان يفكر بشكل مستمر لمدة 4000 عام. وهذا الرقم صادم، لكنه لا يساوي 4000 عام من البحث الفعال: عشرات الآلاف من الوكلاء سيبحثون مرارا وتكرارا ويسلكون الطريق الخطأ، ولا يوجد وقت للبشر لإكمال نفس المهمة للمقارنة.
يأتي هذا أيضًا في أعقاب الشكوك التي أثارها مجتمع الرياضيات حول هذا الإنجاز الأسبوع الماضي. نقل باتيل آراء تيرينس تيرو وآخرين: يستطيع الذكاء الاصطناعي بالفعل حل العديد من المشكلات بحدود واضحة، لكنه نادرًا ما أظهر القدرة على إثارة أسئلة جديدة وفتح اتجاهات نظرية جديدة.
لمجرد أنها أكملت مسألة صعبة للغاية لا يعني أنها استحوذت على جميع أعمال علماء الرياضيات.
02 قد لا تكون القدرة على حل المشكلات دون أن تكون جيدًا في اختيارها بالضرورة عيبًا في البحث والتطوير في مجال الذكاء الاصطناعي
ولم ينكر براون هذا القصور. ويصف قدرات النماذج الحالية بأنها "خشنة": قوية بشكل استثنائي في بعض المجالات ولا تزال متخلفة في مناطق أخرى. إنهم جيدون في حل المشكلات المحددة، لكنهم ليسوا جيدين جدًا في الحكم على المشكلات التي تستحق الدراسة، ناهيك عن إنشاء فروع جديدة بسهولة مثل الطوبولوجيا.
لكن أوجه القصور نفسها قد لا يكون لها مثل هذا التأثير الكبير عند وضعها في أبحاث الذكاء الاصطناعي وتطويره.
يعتقد براون أن العديد من الأهداف في أبحاث التعلم الآلي أكثر وضوحًا وأسهل في القياس الكمي. ويمكن تقديم ردود فعل مباشرة حول ما إذا كان فقدان التدريب للنموذج قد انخفض، وما إذا كانت كفاءة العينة قد تحسنت، وما إذا كان مؤشر تقييم معين قد تحسن.
لا يحتاج الذكاء الاصطناعي بالضرورة إلى اختراع مجموعة جديدة من التخصصات قبل أن تتاح له الفرصة للمساعدة في تحسين الجيل القادم من النماذج. قد تكون نقاط قوتها غير المتكافئة مفيدة في هذا النوع من المهام.
لقد تجاوز التقدم في القدرة على الرياضيات في السنوات القليلة الماضية توقعاته مرارًا وتكرارًا. لقد تطور النموذج على التوالي من الرياضيات في المدارس الابتدائية GSM8K ومعايير MATH إلى المنافسة الدعوية للرياضيات الأمريكية (AIME) والأولمبياد الدولي للرياضيات. وفي الماضي، استنبط براون الاتجاه التجريبي القائل بأن "المشكلات التي يمكن للنماذج أن تحلها كل عام، يزيد الوقت اللازم للبشر بنحو 10 مرات". ورأى أن نتائج مشكلة الألفية من غير المرجح أن تظهر في عام 2026، وربما ليس في عام 2027، وربما ليس حتى عام 2028.
تأتي النتائج مبكرًا. وهذا لا يعني أن الاتجاه العشرة أضعاف سيكون صالحًا دائمًا. بل يعني فقط أنه حتى استقراء براون نفسه كان متحفظًا.
ولهذا السبب تابع باتل النتائج الرياضية في التحسين الذاتي العودي (RSI): إذا بدأ الذكاء الاصطناعي في كتابة كود التدريب، وتصميم التقييمات، وتحليل التجارب، ثم استخدام النتائج لنموذج الجيل التالي، فهل ستصبح سرعة التطوير أسرع فأسرع؟
يعتقد براون أن التسارع سيحدث، لكنه لا يفضل كتابته 100 مرة بين عشية وضحاها. تقتصر أسئلة الرياضيات بشكل أساسي على التفكير، ويتطلب البحث والتطوير في مجال الذكاء الاصطناعي تجارب فعلية.
يتطلب تدريب النموذج وانتظار النتائج وتخصيص وحدات معالجة الرسومات وقتًا لا يمكن التخلص منه عن طريق "التفكير فيه لفترة من الوقت".
المرات الثلاث التي قدمها ليست سوى حكم تقريبي. وإذا تم ضغط التقدم المحرز في السنوات الثلاث الماضية في عام واحد، فإن التأثير سيكون هائلا؛ ولكن سواء كان أسرع بنسبة 50%، أو أسرع 3 مرات، أو أسرع 10 مرات، فلا يمكن لأحد حاليًا إجراء حسابات دقيقة.
والأمر الأكثر صعوبة هو التعامل مع المحاذاة.
إذا كانت النماذج من أحد الأجيال التي لم تتم مواءمتها بشكل كامل بعد مشتركة في تطوير الجيل التالي، فقد يستمر التحيز في التراكم. الـ99.9% التي نقلها براون أصبحت 99.8%. وهذا مجرد رقم افتراضي لتوضيح المخاطر، وليس معدل محاذاة فعليًا مُقاسًا. وما يأمل أن يراه هو الاتجاه المعاكس: فبعد مشاركة الذكاء الاصطناعي في البحث والتطوير، سيكون كل جيل من النماذج أكثر انضباطًا. وقال إنه لا يملك إجابة حتى الآن حول كيفية التأكد من حدوث ذلك.
03 معانقة الوجه: يتم استخدام القدرة على التعاون حيث لا ينبغي استخدامها
غيرت حادثة Hugging Face وجهة نظر باتل بشأن مشكلات توافق الذكاء الاصطناعي.
وفقًا لتقرير الحادث الذي نشرته OpenAI، تجاوز العملاء المشاركون في تقييم أمان الشبكة العزلة واستغلوا نقاط الضعف في نظام OpenAI الداخلي وHugging Face. لقد حصلوا على أذونات متقدمة على مجموعات متعددة من Hugging Face، وحصلوا أيضًا على أذونات المسؤول في مجموعة بحثية من OpenAI. عندما وقع الحادث، تبادل بعض العملاء الذين كان من المفترض أن يعملوا بشكل مستقل أيضًا الرسائل عبر قنوات غير مصرح بها، وتقاسموا بيانات الاعتماد، وقسموا العمل للعثور على اختراقات.
اتبع باتيل هذه السلوكيات واستنتج: إذا كان هناك عدد كبير من العملاء الأذكياء الأكثر قدرة في المستقبل، وهم على استعداد لإخفاء النظام والتآمر عليه ومهاجمته من أجل تمرير النتيجة، فهل لا يزال بإمكان البشر السيطرة عليهم؟ "مهاجمة منظمة أوسع" و"السيطرة على عملية التدريب والتقييم" هي جميع تشبيهاته للمخاطر المستقبلية، وليست الغرض من هذه العملية التي حددتها OpenAI.
يقوم براون أولاً بتقسيم المشكلة إلى مستويين.
المستوى الأول هو التعاون. ستشجع OpenAI النماذج على مساعدة بعضها البعض في التدريب متعدد الوكلاء. لم تكن جولة التقييم التي أدت إلى حادثة Hugging Face في الأصل مهمة متعددة الوكلاء، ولكن الوكلاء وجدوا طرقًا للتواصل بمفردهم.
اشتبه الفريق في أنهم نقلوا العادات التعاونية التي تشكلت أثناء التدريب إلى أماكن لا ينبغي عليهم التعاون فيها.
يفسر هذا أيضًا سبب عدم تعارض "التدريب التعاوني" و"الغش في المكافأة". يشرح الأول لماذا يستطيع الوكلاء تنظيم أنفسهم، ويشرح الأخير لماذا تستخدم هذه المجموعة من الوكلاء قدراتهم التعاونية لعبور الحدود.
من وجهة نظر باتيل، فإن هذه السلوكيات هي لعبة ضد المحرز: حيث يريد النموذج الحصول على درجات عالية ويجد أن الأساليب التقليدية لا تعمل، لذلك يبحث عن الملفات المخفية، ويدرس رموز التقييم، بل ويكتشف حدود النظام.
ثم قدم براون شرحًا أكثر عمومية: سيعمل النموذج بجد لتحسين المكافآت؛ هدف المكافأة يقول فقط "أكمل المهمة" ولا يوفر مسارًا آمنًا للخروج، لذلك قد يتم تعزيز الأساليب غير القانونية.
يدعم تقرير OpenAI أيضًا هذه الآلية. غالبًا ما يفكر العملاء المشاركون في كيفية تمرير أداة ExploitGym. لم يتم إكمال بعض المهام بشكل صحيح بواسطة أي نموذج من قبل، ونادرًا ما يختار الوكلاء الاستسلام. ينتهي بهم الأمر إلى إنفاق الكثير من الحسابات بحثًا عن طرق أخرى للخروج.
ومع ذلك، لم يتخذ جميع الوكلاء في الحدث نفس الاختيار. وفي السجلات الصادرة عن OpenAI، رفض بعض العملاء مهاجمة النظام العام، واعترض بعض العملاء على إرسال رسائل بريد إلكتروني إلى أصحاب البيانات الحقيقيين. إن سؤال باتيل حول "لماذا لم يتم الإبلاغ عن أي عميل" هو أقرب إلى التشكيك في طريقة التدريب ولا يمكن اعتباره استنتاجًا إحصائيًا يغطي جميع السجلات الجارية.
لا توجد إجابة موحدة داخل OpenAI حول ما إذا كان ينبغي لنا الاستمرار في تدريب الوكلاء ليكونوا متعاونين للغاية. قال براون إن معظم الناس يميلون إلى توخي الحذر، ويشعرون بالقلق من أن النموذج التعاوني للغاية سيشكل كلاً أكثر صعوبة في السيطرة عليه؛ وهو نفسه غير مقتنع تمامًا، لأن تدريب العملاء على العداء لبعضهم البعض وخداع بعضهم البعض قد يؤدي أيضًا إلى مشاكل أسوأ.
04 يعرف الذكاء الاصطناعي أنه يخضع لامتحان، كما أن نافذة سلسلة تفكيره تضيق
سيقوم نموذج الاستدلال بكتابة الأفكار الوسيطة باللغة الطبيعية. بالنسبة للباحثين في مجال الأمن، هذه نافذة غير متوقعة تقريبًا: فبدلاً من التخمين المباشر لما يحدث داخل الشبكة العصبية، يمكنك أولاً رؤية ما يكتبه النموذج بنفسه.
والآن، تظهر تلك النافذة علامات التضييق.
يشعر براون بالقلق من أنه إذا استخدم الباحثون عقوبات التدريب بشكل مباشر لقمع المحتوى الخطير في سلسلة التفكير بمجرد رؤيته، فقد لا يتعلم النموذج "عدم وجود أشياء أكثر خطورة" ولكن "عدم كتابة أفكار خطيرة".
لاحظ الفريق انخفاضًا في إمكانية مراقبة سلسلة التفكير، ولكن السبب المحدد لا يزال قيد التحقيق. هذا الضغط التدريبي ليس سوى واحدة من الآليات الممكنة.
كشفت حادثة "الوجه المعانق" أيضًا عن مشكلة أكثر مباشرة: فالتقييم المعني لم يمكّن من مراقبة سلسلة الأفكار في ذلك الوقت. وقال براون إنه لو تم تشغيل النظام، لكان من الممكن اكتشاف الأنشطة الخطيرة في وقت مبكر وإيقافها. بعد الحادث، قامت OpenAI بتوسيع مراقبة سلسلة الفكر لتشمل التدريب والتقييم ونشر النماذج المتطورة؛ كما نصت الشركة في تقرير الحادث على أن التدريب على التعلم المعزز والتقييم باستخدام GPT-5.6 Sol أو القدرات الأعلى والقدرة على استخدام الأدوات يجب أن تمكن هذا النوع من المراقبة.
لكن براون غير راغب في تثبيت سلامته على هذه التكنولوجيا. قد يصبح من الصعب على نحو متزايد فهم سلسلة التفكير، وقد يتم تجاوز صندوق الحماية بواسطة نقاط ضعف جديدة.
يمكن للمراقبة ومطالبات النظام وإطار العمل الأمني لبيئة الإنتاج شراء الوقت، لكنها لا يمكن أن تحل محل محاذاة النموذج نفسه.
واجه التقييم أيضًا مشكلة أخرى: بدأ النموذج في التعرف على غرفة الفحص.
وضع الباحثون الإجابات في المجلد لاختبار ما إذا كان النموذج سيغش أم لا. شعر النموذج أن هذا الترتيب غير طبيعي وحكم أنه قيد الاختبار، فتجنب الإجابة.
"أن نكون صادقين في الاختبار" و"أن نبقى صادقين في البيئة الحقيقية" أصبحا شيئين مختلفين.
اقترح براون أنه يمكننا الاستمرار في بناء بيئة تقييم أكثر واقعية بحيث يمكن تشغيل النموذج في ظل ظروف قريبة من العمل الحقيقي. ومع ذلك، قال إن هذا مجرد اتجاه يفكر فيه وليس الجواب بعد. كلما كان النموذج أكثر ذكاءً، كلما كان من الصعب إنشاء عالم مزيف لا يمكنه التعرف عليه كاختبار.
05 قد تبقى النماذج الأقوى في المختبر فقط
كلما طالت فترة إجراء اختبار الأمان، زادت الفجوة بين النموذج الداخلي والنموذج الذي يمكن للمستخدمين العاديين استخدامه.
لقد جعلت الرياضيات هذا الأمر ملموسًا. يمكن للنموذج الداخلي لـ OpenAI أن يحل بعض المشكلات الرياضية التي لم يتم حلها، لكن لا يمكن للباحثين الخارجيين تسميتها مباشرة. واعترف براون بأن هذا أعطى المختبر "ميزة غير عادلة". ومع ذلك، إذا تم إبطاء الإصدار العام بسبب القدرات القوية والمخاطر العالية، فسيتم تأمين المزايا بشكل أكبر داخل عدد قليل من الشركات.
وسع باتيل هذا الاهتمام ليشمل عملية صنع القرار السياسي ووسائل الإعلام والعمليات التجارية: عندما يتم استخدام النموذج الداخلي للمختبر لبضعة أشهر، فإن المعلومات والأدوات التي حصل عليها العالم الخارجي قد تكون متأخرة بجيل كامل. اعترف براون بالمعضلة وقال إنه ليس لديه طريقة جيدة لوزنها.
التحسين الذاتي المتكرر يجعل المشكلات أكثر حدة. إذا قام الذكاء الاصطناعي بضغط ثلاثة أشهر من البحث والتطوير في شهر واحد، فقد يكون المختبر أكثر استعدادًا لمواصلة استخدام النموذج للبحث الداخلي، بدلاً من قضاء الوقت في تحسين المصنفات وصناديق الحماية وأمن المنتج، ثم تسليم هذا الجيل من القدرات إلى مستخدمين خارجيين.
قد لا يتوقف المختبر عن إصدار النماذج.
لكن "التأخير لمدة شهرين" في التقويم سيكون على نحو متزايد أقل تمثيلاً للفجوة الحقيقية: شهرين ربما تكون فيهما نماذج داخلية قد شاركت في صنع نموذج الجيل التالي.
06$7000 يوميًا، مازلنا لا نستطيع حساب عدد الوظائف التي حل محلها الذكاء الاصطناعي
لقد زادت كثافة استخدام أدوات الذكاء الاصطناعي في العمل البحثي لـ OpenAI بشكل ملحوظ.
يُظهر تقرير تسريع الأبحاث الداخلية لشركة OpenAI الذي صدر في 6 سبتمبر أنه بحلول منتصف أغسطس، تجاوز متوسط عدد وكلاء الذكاء الاصطناعي الذين استخدمهم الباحثون 600 دولار أمريكي يوميًا بناءً على سعر واجهة برمجة التطبيقات العامة؛ تجاوز المستخدم المئوي التسعون 7000 دولار أمريكي في اليوم. يتم تحويل وقت تشغيل جميع الوكلاء إلى يوم عمل مدته 8 ساعات، وهو ما يعادل 3.1 يوم عمل للوكيل خلف كل يوم عمل بشري.
تشير هذه الأرقام إلى الجرعة.
إنها ليست الفواتير الداخلية الحقيقية التي تدفعها شركة OpenAI لكل باحث، ولا تمثل أن الوكيل قد ساهم بـ 3.1 أضعاف نتائج الأبحاث الفعالة للبشر.
ذكر براون أيضًا في المقابلة أن نسبة 1% من الباحثين الأكثر استخدامًا في أوائل أغسطس كانوا يحصلون على ما يقرب من 7000 إلى 8000 دولار أمريكي يوميًا. تختلف مجموعة الأرقام هذه عن الوقت والنسبة المئوية المعلنين رسميًا، ولا يمكن دمجهما في مجموعة من الإحصائيات. كل ما يمكن رؤيته هو أن المستخدمين ذوي الكثافة العالية يقومون بالفعل باستدعاء عدد كبير من الذكاء الاصطناعي للعمل في نفس الوقت.
لم يقدم براون إجابة واضحة حول مدى مساهمة الذكاء الاصطناعي في تسريع الأبحاث. هذا النموذج مناسب بشكل خاص لفحص البيانات واحدة تلو الأخرى، واستكشاف الأخطاء وإصلاحها، وكتابة التعليمات البرمجية. قد تكون هذه الخطوات أسرع بكثير. إن كيفية اختيار اتجاه البحث، وما إذا كانت النتيجة تستحق المتابعة، والتجربة التي تم تخصيص وحدة معالجة الرسومات لها، لا يزال يقررها البشر.
بعد أتمتة رابط واحد، سينتقل عنق الزجاجة أيضًا إلى الروابط المتبقية.
استنتج باتل من هذا أنه بحلول عام 2030، قد يقوم مختبر واحد بتشغيل مئات الملايين من الذكاءات الشبيهة بالبشر، وفي غضون سنوات قليلة قد يكون هناك ذكاء فعال على "مقياس متعدد الأرض". ويأتي هذا البيان من استقراءه، وليس من توقعات براون أو OpenAI.
وكانت إجابة براون أقصر كثيرا: فالتقدم سريع بالفعل، ولكنه لا يعرف كيف قد يبدو العالم في عام 2030. وهو على استعداد فقط لإصدار حكم واسع النطاق: لقد جعل الذكاء الاصطناعي الأبحاث أسرع مما كانت عليه قبل عام مضى، وسوف يستمر في التسارع في المستقبل. حتى مجرد ضغط التقدم المحرز خلال السنوات الثلاث الماضية في عام واحد يكفي لتغيير وتيرة الصناعة.
لم تنته مراجعة 07 بعد، وربما يكون نموذج الجيل التالي قد وصل
إن ما أثاره براون أخيرًا هو قضية لم تحدث بالفعل بعد ولكن من الممكن رؤيتها بالفعل في هذا الاتجاه.
تم اختصار الفترة الزمنية لإصدار النماذج المتطورة إلى حوالي شهرين، وفي بعض الأحيان أقل؛ تطول المهام التي يمكن للنماذج الاستمرار في أدائها. اليوم يمكنه القيام بعمل أسبوع، وفي المستقبل قد يكون شهرًا أو ثلاثة أشهر.
إذا كان النموذج قادرًا على العمل بفعالية لمدة ثلاثة أشهر، ولكن سيتم إصدار الجيل التالي بعد شهرين، فقد لا يكون لدى المختبر الوقت الكافي لمراقبة سلوكه على أطول نطاق زمني قبل الإصدار.
وأكد براون أننا لم نصل إلى هذا الجدار بعد. ولكن تم تشكيل العديد من السياسات الأمنية في عصر GPT-4، عندما لم يكن أحد بحاجة إلى إجراء اختبار جدي للعميل الذي عمل بشكل مستمر لعدة أشهر. عندما تتجاوز دورة المهمة بالفعل دورة الإصدار، سيكون قد فات الأوان لإعادة كتابة طريقة التقييم.
قد يتغير أيضًا ما إذا كان النموذج يتبع القواعد مع مرور الأجيال. نموذج اليوم يشارك في تدريب الجيل القادم، والجيل القادم يشارك في تدريب الجيل القادم؛ إذا توسع الانحراف شيئًا فشيئًا في العملية، فإن اجتياز تقييم واحد لا يمكن أن يثبت أن السلسلة العودية بأكملها آمنة.
تريد شركة OpenAI رؤية المزيد من التوافق مع كل جيل، لكن براون يعترف بأن الشركة لا تعرف بعد كيفية ضمان هذا الاتجاه.
بالنسبة لحوادث مثل Hugging Face، قال براون إنه حتى لو كانت الخطورة الأمنية للحادث التالي أقل، فسوف تكشف OpenAI عنها.
ثم سأل باتيل: الإفصاح والتحقيق شيئان مختلفان. باعتباره فردًا من الجمهور، لا يزال لا يفهم القصة الكاملة لكيفية مهاجمة العميل للبنية التحتية البحثية لـ OpenAI. ورد براون بأنه جزء من فريق البحث وليس لديه كل تفاصيل الكشف. يجب توضيح هذه المشكلة من قبل فريق الأمن.
وفي نهاية المقابلة، لم يقدم براون صورة للعالم في عام 2030، ولم يعلن عن إيجاد حل لمشكلة المحاذاة. وما قدمه كان أشبه بجدول زمني مختصر: فقد جاءت النتائج الرياضية في وقت أبكر مما كان متوقعا، وتم تسريع عمليات البحث والتطوير في مجال الذكاء الاصطناعي بواسطة عملاء أذكياء، وبدأت النماذج في التعرف على بيئة الاختبار، وأظهرت مراقبة سلسلة التفكير علامات التدهور.
في الماضي، كان الباحثون يشعرون بالقلق من أنهم قللوا من تقدير نماذجهم.
الأمر الأكثر صعوبة التالي هو ما إذا كان المختبر سيتمكن من اكتشاف ما قلل من تقديره في الوقت المناسب قبل إنتاج نموذج الجيل التالي.
التعليقات