ربما تكون Microsoft قد دخلت في شراكة مع OpenAI ونموذج اللغة GPT واسع النطاق الخاص بها للمساعدة في إنشاء خدمات ذكاء اصطناعي مولدة مثل Copilot (أداة الدردشة Bing سابقًا). ومع ذلك، تعمل الشركة أيضًا على تطوير نموذج اللغة الخاص بها. أعلنت شركة Microsoft Research هذا الأسبوع عن إطلاق Orca2، الإصدار الثاني من لغة Orca الخاصة بها.
وقالت مايكروسوفت في تدوينة أن Orca2 مصمم لـ LM على نطاق صغير، ولكن لا يزال من الممكن استخدامه للإجابة على الأسئلة المعقدة مثل LLM. يأتي Orca2 بحجمين (7 مليارات و13 مليار معلمة) وقد تم تصميمه جزئيًا باستخدام Llama2LLM، الذي ساعدت Microsoft Meta في إطلاقه في وقت سابق من هذا العام. قامت الشركة بضبط النموذج القائم على Llama2 "استنادًا إلى بيانات تركيبية عالية الجودة ومصممة خصيصًا".
تقول Microsoft إن هذا يجعل نموذج Orca2 مشابهًا لنماذج اللغات الأخرى "أكبر بـ 5-10 مرات" في حل المشكلات:
يتم تدريب Orca2 باستخدام مجموعة بيانات تركيبية موسعة ومخصصة للغاية. يؤدي إنشاء بيانات التدريب هذه إلى تعليم Orca2 تقنيات التفكير المختلفة، مثل المعالجة خطوة بخطوة، والاستدعاء ثم التوليد، وتوليد الاستدلال والاستدعاء، وتوليد الاستخراج والإجابة المباشرة، كما يعلمه أيضًا اختيار استراتيجيات حل مختلفة لمهام مختلفة.
أجرى نموذج Orca2 سلسلة من الاختبارات القياسية باستخدام نماذج لغوية كبيرة مثل Llama2 وWizardLM. يتضمن محتوى الاختبار "فهم اللغة، والتفكير المنطقي، والتفكير متعدد الخطوات، وحل المشكلات الرياضية، وفهم القراءة"، وما إلى ذلك.
ذكرت مدونة Microsoft الرسمية: تظهر نتائج الاختبار الأولية لدينا أن أداء Orca2 يفوق بشكل كبير أداء النماذج ذات الحجم المماثل. كما أنها حققت مستويات أداء مشابهة أو أفضل من تلك الخاصة بالنماذج الأكبر بعشر مرات على الأقل، مما يدل على إمكانية تجهيز النماذج الأصغر بقدرات استدلال أفضل.
وبينما تعترف مايكروسوفت بأن Orca2 لديه قيود، فإن الاختبار حتى الآن يظهر "إمكانية التقدم المستقبلي". ستقوم Microsoft بإصدار Orca2 كمشروع مفتوح المصدر حتى يتمكن الآخرون من تطويره.