اعتبارًا من يوم الجمعة، احتل نموذج Maverick غير المعدل "Llama-4-Maverick-17B-128E-Instruct" مرتبة أقل من نماذج مثل GPT-4o من OpenAI، وAnthropic's Claude3.5Sonnet، وGemini1.5Pro من Google. تم إطلاق العديد من هذه النماذج قبل بضعة أشهر.
لماذا الأداء الضعيف؟ توضح ميتا في رسم بياني نُشر يوم السبت أن نموذجها التجريبي Maverick، Llama-4-Maverick-03-26-Experimental، قد تم "تحسينه ليناسب طبيعة المحادثة". يبدو أن هذه التحسينات تعمل بشكل جيد في LMArena، حيث تتطلب المنصة من المقيمين البشريين مقارنة مخرجات النماذج الفردية واختيار النموذج الذي يفضلونه.
لأسباب مختلفة، لم يكن LMArena أبدًا المقياس الأكثر موثوقية لقياس أداء نموذج الذكاء الاصطناعي. ومع ذلك، فإن تصميم نموذج وفقًا لمعيار مرجعي - بالإضافة إلى كونه مضللًا - يجعل من الصعب أيضًا على المطورين التنبؤ بدقة بكيفية أداء النموذج في بيئات مختلفة.
وقال متحدث باسم ميتا في بيان إن ميتا جربت "جميع أنواع الأشكال المخصصة".
وقال المتحدث: "إن 'Llama-4-Maverick-03-26-Experimental' هو الإصدار المحسّن للدردشة الذي اختبرناه وأدى أداءً جيدًا على LMArena". "لقد أصدرنا الآن الإصدار مفتوح المصدر وسنراقب كيفية قيام المطورين بتخصيص Llama4 لحالات الاستخدام الخاصة بهم. ونحن نتطلع بشدة إلى رؤية نتائجهم النهائية ونتطلع إلى تعليقاتهم المستمرة."