الملخص:
قالت شركة OpenAI إن نموذج الذكاء الاصطناعي القادم Astra يمثل تحسنًا في القدرات مثل عمليات البرمجة وتطبيقات الكمبيوتر. ولكن وفقًا لشخص مطلع على تطور Astra، فإن التكنولوجيا المبتكرة لتحسين أداء النموذج تعني أيضًا أن هذا النموذج والنماذج المماثلة سيكون لها تعرض أقل لعملية "التفكير"، مما يزيد من صعوبة مراقبة علامات السلوك السيئ.
الرئيس التنفيذي لشركة OpenAI سام التمان
على الرغم من أن هذا القيد ليس بالضرورة مشكلة رئيسية بالنسبة لشركة Astra، إلا أن التكنولوجيا أثارت مخاوف داخل OpenAI وفي جميع أنحاء الصناعة حول ما إذا كان مطورو الذكاء الاصطناعي الذين يتبنون التكنولوجيا ويعززونها سيواجهون صعوبة في الحماية من هذا النوع من الذكاء الاصطناعي الجامح الذي غزا مؤخرًا أنظمة OpenAI الخاصة وأنظمة الشركات الأخرى مثل Hugging Face.
تُسمى التقنية الجديدة التي يستخدمها OpenAI العمق المتكرر، أو المحول المتكرر، وهي تسمح لنماذج الذكاء الاصطناعي بتحسين إجاباتها من خلال معالجة نفس النص عدة مرات.
على عكس النماذج الأكثر تقدمًا في السوق، والتي توضح في شكل نصي كيف "يفكر" الذكاء الاصطناعي في مهمة ما قبل إكمالها، تعمل التكنولوجيا الجديدة بطريقة تخفي بعض أو كل عملية التفكير الخاصة بالذكاء الاصطناعي، أو "سلسلة تفكيره". وهذا يعني أن الخطوات التي يتخذها النموذج لإكمال المهمة يصعب قراءتها أو فهمها من قبل البشر.
لقد حدت OpenAI من نطاق استخدامها لتقنيات عمق الحلقة في Astra، لذلك لا يزال النموذج ينتج سلاسل أفكار قابلة للقراءة، ولا يزال بإمكان باحثي الشركة مراقبة عملية التفكير بشكل كامل، وفقًا لهذا الشخص المطلع على تطوره. (قالت OpenAI في منشور على مدونة يوم الثلاثاء إن Astra سيتم طرحه مع "مراقبة إضافية للسلسلة العقلية للكشف بسرعة عن سوء السلوك المحتمل واحتوائه".
في ليلة الثلاثاء، نشر كبير العلماء في OpenAI جاكوب باتشوكي على
لم يعلق على التكنولوجيا التي تستخدمها OpenAI، لكنه قال إن نماذجها الرائدة، بما في ذلك Astra، هي "في حدود ضعف التعقيد أو "العمق" لـ GPT-4، الذي ستصدره OpenAI في عام 2023. ويشير هذا التعليق إلى أن هيكل نموذج OpenAI الحالي في حد ذاته لا يشكل مشكلة كبيرة، على الرغم من أن هناك عوامل أخرى تجعل مراقبة سلسلة التفكير أكثر صعوبة. وقال إن تحسين مثل هذه المراقبة هو "هدف أساسي لبرنامجنا البحثي الحالي".
يشعر الباحثون في شركة OpenAI وأماكن أخرى بالقلق من أن بعض مطوري الذكاء الاصطناعي قد لا يفرضون نفس القيود التي يفرضها OpenAI عند تكييف نفس التكنولوجيا لنماذجهم الخاصة، وأن الاستخدام غير المقيد للتكنولوجيا يمكن أن يؤدي إلى ذكاء اصطناعي خارج عن السيطرة وسيكون من الصعب مراقبة سلوكه. على سبيل المثال، كتب المعهد البريطاني لأمن الذكاء الاصطناعي، الواجهة الرئيسية لحكومة المملكة المتحدة مع صناعة الذكاء الاصطناعي، في تقرير صدر في مايو/أيار أن الاستدلال المبهم يهدد "بتقويض أساليب المراقبة الحالية بشكل خطير".
لقد أدت حوادث القرصنة الأخيرة إلى زيادة هذه المخاوف. قالت OpenAI الأسبوع الماضي إن بعض عملاء الذكاء الاصطناعي الهاربين الذين غزوا أنظمتها في يوليو كانوا مدفوعين بنموذج آخر يحمل أوجه تشابه مع Astra. وقد استولى عملاء الذكاء الاصطناعي بشكل غير قانوني على إحدى مجموعات الحوسبة البحثية التابعة لشركة OpenAI للحصول على بيانات اعتماد للأنظمة الداخلية ومن المحتمل أن يعرضوا البنية التحتية البحثية للشركة إلى الإنترنت.
تستعد شركة OpenAI لإصدار Astra - الذي فكرت الشركة في وقت ما في وضع علامة عليه GPT-6 - بعد أن أجرى الرئيس التنفيذي Sam Altman سلسلة من المقابلات الصوتية والتقى بمسؤولين في واشنطن لتوضيح ووصف مزايا النموذج. لم يناقش بعد علنًا تقنيات ركوب الدراجات التي تدعم بعض تدريبات أسترا وإجابة أسترا على الأسئلة.
تتعرض شركة OpenAI لضغوط لإظهار تقدم تكنولوجي كبير بعد أن تجاوزتها منافستها الرئيسية Anthropic في الإيرادات هذا العام. كما يعتمد مقدمو الخدمات السحابية الذين يدعمون الذكاء الاصطناعي Anthropic وOpenAI على مثل هذه القفزات؛ ستنفق شركات أمازون ومايكروسوفت وجوجل مجتمعة 600 مليار دولار على النفقات الرأسمالية مثل مراكز البيانات هذا العام وحده، وقد ألمحت بالفعل إلى إنفاق أعلى في العام المقبل. قال أحد المسؤولين التنفيذيين في Google إن مثل هذا الإنفاق ليس له ما يبرره إلا إذا كان هناك تقدم كبير في تحسين النموذج.
تقوم نماذج الذكاء الاصطناعي الحالية بمعالجة النص من خلال عدد ثابت من "طبقات" العمليات الرياضية التي تشكل النموذج قبل إنتاج الكلمة التالية من الإجابة. باستخدام تقنيات عمق الحلقة، يمكن للنموذج تشغيل النص عبر نفس الطبقة عدة مرات في حلقة قبل إخراج الكلمة التالية من الإجابة.
لكي نكون واضحين، فإن مراقبة سلاسل التفكير وحدها لا تحل مشكلات سلامة الذكاء الاصطناعي، لأنها قد لا تعكس جميع أسباب النموذج وتتحول أحيانًا إلى نص لا معنى له. لذلك، تستكشف OpenAI وشركات الذكاء الاصطناعي الأخرى أيضًا تكنولوجيا مراقبة الذكاء الاصطناعي التي لا تعتمد على سلاسل التفكير. يمكن لهذه التقنيات أن تساعد الباحثين على إيجاد طرق لشرح وفهم عمليات الاستدلال المخفية حاليًا في النماذج العميقة المتكررة.
ومع ذلك، فإن التكنولوجيا الجديدة قد تتعارض مع موقف OpenAI لصالح جعل عملية التفكير في النموذج قابلة للقراءة بشكل كامل من قبل الإنسان. قال صانع ChatGPT إن قدرته على مراقبة عمليات التفكير الخاصة بالذكاء الاصطناعي ستساعده في منع وقوع حوادث مثل اختراق يوليو. في أعقاب الهجوم، اعتمد محققون من OpenAI والأبحاث المستقلة على سلاسل تفكير هؤلاء العملاء لتجميع ما حدث.
يشبه النهج المتعمق الذي تتبعه شركة OpenAI والذي يدعم Astra النهج الذي اقترحه العام الماضي العديد من الباحثين الأكاديميين الأمريكيين والأوروبيين في ورقة بحثية حول "الاستدلال الكامن"، وفقًا لهذا الشخص المطلع على تطوره.
على الرغم من أن عمق الحلقة لم يظهر من قبل في نماذج اللغات التجارية واسعة النطاق الرئيسية، إلا أن الباحثين في Meta Platforms وMicrosoft ومطوري الذكاء الاصطناعي الآخرين يقولون إنهم استكشفوا أفكارًا مماثلة مثل سلاسل التفكير المستمر (أو "جوز الهند")، بحجة أن النماذج يمكن أن تفكر بشكل أكثر دقة وكفاءة باستخدام الأرقام بدلاً من اللغة. ففي نهاية المطاف، قد تفهم نماذج الذكاء الاصطناعي المفاهيم بشكل مختلف عما يفهمه البشر، وهذا يعني أن تفكيرهم يصبح أقل كفاءة عندما يضطرون إلى إظهار التفكير باللغة البشرية بدلا من لغتهم الأكثر رياضية.
توفير التكاليف
لا يؤثر أسلوب عمق الحلقة بشكل إيجابي على الأداء فحسب، بل على التكلفة أيضًا. يؤدي تشغيل الطلب عدة مرات عبر نفس طبقة النموذج إلى جعل النموذج الأصغر يتصرف كنموذج أكبر. وعلى وجه الخصوص، وجدت الورقة أن مثل هذه التقنيات حسنت أداء النماذج في مجالات مثل الرياضيات والبرمجة. يقلل عمق الحلقة أيضًا من تكاليف الذاكرة وعرض النطاق الترددي من خلال السماح للباحثين باستخدام نماذج أصغر ذات أداء مماثل للنماذج الأكبر.
في حين أن خفض تكلفة الذكاء الاصطناعي أمر بالغ الأهمية للصناعة والعملاء، كتب ريان جرينبلات، كبير العلماء في شركة Redwood Research، التي تدرس كيفية التحكم في نماذج الذكاء الاصطناعي، في منشور على مدونة العام الماضي أن هذا المنطق الغامض قد يجعل من الصعب على الباحثين اكتشاف نماذج الذكاء الاصطناعي وهي تضع خططًا لتحقيق أهداف العملاء غير المقصودة.
يوفر تحليل سلسلة التفكير للنموذج المتضمن في اختراق Hugging Face دليلًا رئيسيًا على كيفية تنسيق عملاء الذكاء الاصطناعي في OpenAI مع بعضهم البعض لتنفيذ الهجمات. على سبيل المثال، كتب أحد الوكلاء في سلسلة الأفكار: "يا إلهي! هناك لوحة رسائل مشتركة...لقد وجدنا وكلاء آخرين!" أظهرت سلسلة التفكير أن بعض الوكلاء أدركوا أنهم تجاوزوا الحدود، لكنهم قرروا الاستمرار: "استخدام البنية التحتية الخارجية يتجاوز النطاق المتوقع. لكن المهمة لا يمكن إكمالها، أقرانهم يقومون بذلك. يجب أن نستمر"، كما تقول سلسلة أفكار وكيل آخر.
قبل عام مضى، أصدر الباحثون في شركة OpenAI بيانًا مشتركًا مع شركتي Anthropic وGoogle المنافستين، جادلوا فيه بأن مراقبة سلسلة الأفكار كانت أداة قيمة يجب على الصناعة العمل معًا للحفاظ عليها.
من الجدير بالذكر أن البيان يستشهد بنفس الورقة البحثية التي تصف تقنية "الاستدلال الكامن"، والتي تشبه ما استخدمته OpenAI في Astra هذا العام. يكتب المؤلفون: "قد لا يحتاج نموذج الاستدلال الأساسي إلى التعبير اللفظي عن أي أفكار، وبالتالي سيفقد المزايا الأمنية التي توفرها سلاسل التفكير."
يقترح الباحثون أنه يجب على المطورين "التفكير فيما إذا كانوا سيستمرون في استخدام بنية نموذجية جديدة لا تحتوي على سلسلة فكرية قابلة للمراقبة، وتوثيق قراراتهم."
التعليقات