هل يعتبر بوكيمون معيارًا صعبًا للذكاء الاصطناعي؟ يعتقد فريق من الباحثين أن لعبة Super Mario Bros. أكثر تحديًا. قام باحثون في مختبر هاو للذكاء الاصطناعي بجامعة كاليفورنيا في سان دييغو (HaoAILab) بوضع الذكاء الاصطناعي في البث المباشر للعبة Super Mario Bros. يوم الجمعة. كان أداء Claude3.7 من Anthropic هو الأفضل، يليه Claude3.5. كان أداء Gemini1.5Pro من Google وGPT-4o من OpenAI ضعيفًا.
كما تعلم، فإن إصدار Super Mario Bros. ليس تمامًا نفس الإصدار الأصلي الذي تم إصداره في عام 1985. تعمل اللعبة في محاكي وتتكامل مع إطار عمل GamingAgent للسماح للذكاء الاصطناعي بالتحكم في ماريو.
يوفر برنامج GamingAgent الذي طورته شركة HaoAILab تعليمات أساسية للذكاء الاصطناعي، مثل "إذا كان هناك عائق أو عدو يقترب، تحرك يسارًا/اقفز لتجنبه" بالإضافة إلى لقطات شاشة للعبة. يقوم الذكاء الاصطناعي بعد ذلك بإنشاء المدخلات التي تتحكم في ماريو على شكل كود بايثون.
ومع ذلك، قال هاو، إن اللعبة تجبر كل نموذج على "التعلم" لتخطيط العمليات المعقدة وتطوير استراتيجيات اللعبة. ومن المثير للاهتمام أن المختبر وجد أن النماذج الاستنتاجية (مثل نموذج O1 الخاص بشركة OpenAI، والذي "يفكر" في المشكلة خطوة بخطوة للوصول إلى حل) كان أداؤها أقل جودة من النماذج "غير الاستدلالية"، على الرغم من أنها كانت أقوى بشكل عام في معظم المعايير.
يقول الباحثون إن أحد الأسباب الرئيسية التي تجعل نماذج الاستدلال تواجه صعوبة في لعب مثل هذه الألعاب في الوقت الفعلي هو أنها تستغرق بعض الوقت - غالبًا ثوانٍ - لاتخاذ قرار بشأن إجراء ما. التوقيت هو كل شيء في Super Mario Bros. فالثانية يمكن أن تعني الفرق بين القيام بقفزة آمنة أو الوقوع في الهاوية.
تم استخدام الألعاب كمعيار للذكاء الاصطناعي لعقود من الزمن. لكن بعض الخبراء يشككون في الحكمة من ربط مهارات ألعاب الذكاء الاصطناعي بالتقدم التكنولوجي. على عكس العالم الحقيقي، تميل الألعاب إلى أن تكون مجردة وبسيطة نسبيًا، وتوفر نظريًا كميات غير محدودة من البيانات لتدريب الذكاء الاصطناعي.
تشير معايير الألعاب المبهرجة الأخيرة إلى أن عالم أبحاث OpenAI والعضو المؤسس أندريه كارباثي يواجه "أزمة تقييم".
"أنا حقًا لا أعرف ما هي مقاييس الذكاء الاصطناعي التي يجب النظر إليها الآن. TLDR، رد فعلي هو أنني لا أعرف حقًا مدى جودة هذه النماذج في الوقت الحالي،" كتب في منشور على X.
ولكن على الأقل يمكننا مشاهدة الذكاء الاصطناعي وهو يلعب ماريو.