في قياس أداء الذكاء الاصطناعي، مجموعة الاختبار عبارة عن مجموعة من البيانات المستخدمة لتقييم أداء النموذج بعد التدريب. يمكن أن يؤدي التدريب على مجموعة الاختبار إلى تضخيم الدرجات المعيارية للنموذج بشكل مضلل، مما يجعل النموذج يبدو أكثر قوة مما هو عليه في الواقع.
خلال عطلة نهاية الأسبوع، بدأت شائعة غير مؤكدة تنتشر على X وReddit مفادها أن Meta تعمل بشكل مصطنع على تعزيز النتائج المعيارية لنموذجها الجديد. يبدو أن هذه الشائعة قد نشأت من منشور على أحد مواقع التواصل الاجتماعي الصينية كتبه مستخدم ادعى أنه استقال من ميتا احتجاجًا على ممارسات الشركة في مجال قياس الأداء.
التقارير التي تفيد بأن أداء Maverick وScout ضعيف في بعض المهام غذت الشائعات، كما فعل قرار Meta باستخدام نسخة تجريبية لم يتم طرحها من Maverick لتحقيق درجات أفضل في LMArena القياسي. لاحظ الباحثون في X اختلافات واضحة بين سلوك Maverick القابل للتنزيل علنًا والنماذج المستضافة على LMArena.
واعترف الدهلي بأن بعض المستخدمين وجدوا أن جودة Maverick وScout "تتنوع" بين موفري الخدمات السحابية المختلفين لنماذج الاستضافة.
وقال الدحلة: "نظرًا لأننا نقوم بإزالة النماذج بمجرد أن تصبح جاهزة، فإننا نتوقع أن تستغرق جميع عمليات التنفيذ العامة عدة أيام حتى تكتمل". "سنواصل العمل الجاد لإصلاح الأخطاء وإشراك الشركاء."
مقالات ذات صلة: