الملخص:
في هذا الصيف، سارعت فرق العمل داخل OpenAI إلى فهم سبب تسبب الذكاء الاصطناعي الخاص بهم في حدوث انتهاكات أمنية داخل الشركة وخارجها. خلال هذه الفترة، عقد العديد من كبار المسؤولين التنفيذيين، بما في ذلك الرئيس التنفيذي سام ألتمان، العديد من الاجتماعات مع شركة Goodfire الناشئة. تهدف تقنية Goodfire المدعومة بشريًا إلى فهم الأسباب الكامنة وراء تصرف نماذج الذكاء الاصطناعي بطرق معينة وكيفية منع الذكاء الاصطناعي من الخروج عن السيطرة. ص> ص>

الرئيس التنفيذي لشركة Goodfire إريك هو (يسار) والرئيس التنفيذي لشركة OpenAI سام التمان. ص>
كشف شخصان مطلعان على الأمر أنه خلال عملية التفاوض، عرض أحد المسؤولين التنفيذيين في OpenAI جمع
أكثر من 5 مليارات دولار
ستقوم الشركة بشراء هذه الشركة الناشئة البالغة من العمر عامين بسعر معقول، أو الدخول في أشكال أخرى من التعاون التجاري. أكملت Goodfire جولة تمويلية في فبراير/شباط الماضي قدرت قيمة الشركة بمبلغ 1.25 مليار دولار في الاكتتابات الخاصة، ويمثل العرض البالغ 5 مليارات دولار علاوة كبيرة على هذا التقييم. ص>لم تتم عملية الاستحواذ في النهاية. تُظهر هذه السلسلة من المفاوضات، التي لم يتم الإبلاغ عنها من قبل، أنه مع تزايد الحوادث الأمنية المرتبطة بالذكاء الاصطناعي، تشعر كل من Anthropic وOpenAI بالقلق بشأن "القدرة على التحكم في تكنولوجيا الذكاء الاصطناعي التي يبنونها". إن إمكانية تفسير الآلية، والتي كانت اتجاهًا صناعيًا لم يكن يحظى بشعبية كبيرة، أصبحت الآن تكتسب الكثير من الاهتمام. ص>
قال أحد الأشخاص المطلعين على الأمر إن أحد الأسباب الرئيسية لانهيار المفاوضات هو أن إدارة Goodfire تعتقد أنها إذا حافظت على التطوير المستقل وصدرت التكنولوجيا إلى العديد من شركات الذكاء الاصطناعي، فإن قيمة الشركة ستكون أعلى من 5 مليارات دولار. ص>
يعترف المسؤولون التنفيذيون في OpenAI، وAnthropic، وGoogle بأن موثوقية الأساليب التقليدية لمراقبة سلوك الذكاء الاصطناعي آخذة في الانخفاض، ونتيجة لذلك، أصبحت برمجيات Goodfire ذات قيمة متزايدة. يختلف مساره الفني عن الحل التقليدي للمطورين مثل OpenAI: الحل التقليدي هو قراءة نص مخرجات سلسلة الأفكار أثناء الاستدلال النموذجي، مع مراقبة السلوك الفعلي للذكاء الاصطناعي عن كثب. (شاهد المقابلة مع الرئيس التنفيذي لشركة Goodfire أدناه)
ستعمل تطورات الذكاء الاصطناعي الجديدة، مثل التكنولوجيا السرية وراء نموذج Astra الخاص بشركة OpenAI، على ضغط كمية معلومات سلسلة التفكير التي ينتجها النموذج، مما يزيد من صعوبة المراقبة. ص>
لقد وقعت حوادث أمنية تتعلق بالذكاء الاصطناعي الواحدة تلو الأخرى في الأشهر الأخيرة (بما في ذلك حادثة اختراق Hugging Face المعروفة، والتي تسببت فيها تقنية OpenAI، بل إنها اجتاحت بعض أنظمة OpenAI الخاصة). بالنسبة لمصنعي النماذج الكبيرة مثل OpenAI، من الضروري بناء حماية أمنية أقوى. ص>
بمجرد غزو الذكاء الاصطناعي الخاص بها لأنظمة الشركات والحكومة والتسبب في خسائر اقتصادية، قد تواجه شركات مثل OpenAI وAnthropic أيضًا خطر التعويض القانوني الضخم أو حتى الملاحقة القضائية. ص>
تتمثل الخبرة الأساسية لشركة Goodfire في
التدخل الميكانيكي
. تختلف البرامج من المنتجات المنافسة مثل Goodfire وMartian عن مراقبة سلسلة الأفكار، حيث تراقب بشكل مباشر الحسابات الرياضية التي تجري داخل النموذج. واعترفت Goodfire أيضًا بأن النضج الحالي لهذه التكنولوجيا ليس بجودة مراقبة سلسلة الأفكار؛ يعتقد بعض الباحثين في مجال الذكاء الاصطناعي أيضًا أن دقة البحث العلمي أضعف من اتجاهات أبحاث التعلم الآلي الأخرى. ص>
لكن المؤسس المشارك لـ Goodfire وكبير العلماء توم ماكجراث قال في مقابلة على موقع YouTube إن تقنية الشركة الناشئة سوف تتكرر بسرعة وستكون التكلفة أقل بكثير من مراقبة سلسلة الفكر - حيث يتطلب الأخير تشغيل نموذج كبير لقراءة مخرجات سلسلة الفكر بواسطة نموذج آخر. ويتوقع أنه خلال الأشهر الستة المقبلة، سوف تلحق حلول المراقبة القائمة على قابلية التفسير بقدرات مراقبة سلسلة الأفكار. ص>
تبيع الشركة الناشئة في سان فرانسيسكو اشتراكات سنوية للشركات لمنتجها Silico، الذي ينشر عملاء الذكاء الاصطناعي لإجراء تجارب بحثية مختلفة تلقائيًا، مثل اكتشاف ما إذا كان النموذج يحاول شن هجوم إلكتروني. ومن بين عملائها Rakuten وشركة Prima Mente المتخصصة في علم الأعصاب بالذكاء الاصطناعي. حققت Goodfire إيرادات، ولكن لم يتم الكشف عن الحجم الدقيق. ص>
تتطلب إمكانية تفسير الآلية وصولاً عميقًا إلى أوزان النموذج (المعلمات العددية التي تشكل نموذج الذكاء الاصطناعي)، والتي تظل سرية تمامًا من قبل الشركات المصنعة الكبرى. ولذلك، سيكون بعض موظفي Goodfire متواجدين في الموقع لدى الشركات العميلة لتنفيذ العمل. ص>
كشفت مصادر مطلعة أنه خلال المفاوضات بين OpenAI وGoodfire، أولى ألتمان اهتمامًا خاصًا لنتائج بحث باحث Goodfire Nick Cammarata. عمل كاماراتا ذات مرة في OpenAI. في الشهر الماضي، نشر مقالًا تم تداوله على نطاق واسع في الدائرة بعنوان "الشبكات العصبية واضحة وقابلة للتفسير". واقترح أنه بمساعدة إمكانية تفسير الآلية، يمكن للباحثين فهم مليارات الخلايا العصبية (وحدات العمليات الرياضية داخل النموذج) داخل نموذج الذكاء الاصطناعي بسهولة أكبر مما كان يعتقد سابقًا. يعتقد العديد من الباحثين أن هذا النوع من الفهم يمكن أن يساعد في تطوير نماذج ذات أداء أفضل. ص>
قامت العديد من الشركات الرائدة في مجال النماذج الكبيرة بإنشاء فرق بحثية حول إمكانية تفسير الآليات؛ باعتبارها واحدة من الرواد في هذا المجال، كانت الأنثروبيك نشطة بشكل خاص في هذا الاتجاه. ص>
يعتبر كريس أولا أحد مؤسسي مجال تفسير الآليات. شارك في تأسيس Anthropic بعد ترك OpenAI في عام 2020، ويقود الآن أبحاث التفسير في المشروع الذي طوره كلود. أكملت Anthropic استثمارها في Goodfire العام الماضي، وهي المرة الأولى في تاريخها التي تحصل فيها Anthropic على حصة مباشرة في شركة خارجية ناشئة. قال الرئيس التنفيذي داريو أمودي في ذلك الوقت: "يمثل هذا الاستثمار إيماننا بأن قابلية شرح الآلية هي الأكثر واعدة لتحويل الشبكات العصبية للصندوق الأسود إلى أنظمة مفهومة ويمكن التحكم فيها."
انطلاقًا من معلومات التوظيف، تقوم OpenAI أيضًا بتوظيف باحثين في مجال المواءمة وقابلية التفسير؛ وفي وقت سابق من هذا العام، قامت OpenAI بدمج تقنية التفسير في العملية الأمنية لتحديد النتائج الخطيرة للنموذج، مثل الرد على الأسئلة الخبيثة المتعلقة بالهجمات السيبرانية والأسلحة البيولوجية. يقول الأشخاص المقربون من OpenAI أن الحماس لاتجاه التفسير يتزايد بين الباحثين داخل الشركة. ص> ص>
التعليقات