سيكون عام 2024 عامًا كبيرًا عند تقاطع الذكاء الاصطناعي/النماذج الأساسية الكبيرة والروبوتات. من التعلم إلى تصميم المنتج، تعد إمكانات التطبيقات مثيرة. يعد باحثو الروبوتات في DeepMind من Google أحد الفرق العديدة التي تستكشف إمكانات هذا المجال. في تدوينة اليوم، سلط الفريق الضوء على الأبحاث الجارية التي تهدف إلى منح الروبوتات فهمًا أفضل لما نريد نحن البشر أن يفعلوه.
تقليديا، تركز حياة الروبوت على أداء مهمة واحدة بشكل متكرر. تميل الروبوتات ذات الغرض الواحد إلى أن تكون جيدة جدًا في هذا الأمر، ولكن حتى في هذه الحالة قد تواجه صعوبات عند ظهور تغييرات أو أخطاء غير مقصودة.
تم تصميم AutoRT الذي تم إصداره حديثًا لاستخدام نماذج أساسية كبيرة لمجموعة متنوعة من الأغراض المختلفة. في مثال قياسي قدمه فريق DeepMind، يستخدم النظام أولاً نموذج اللغة المرئية (VLM) لتحسين الوعي الظرفي. يدير AutoRT أسطولًا من الروبوتات التي تعمل معًا ومجهزة بكاميرات لالتقاط تخطيط البيئة والأشياء الموجودة بداخلها.
وفي الوقت نفسه، يمكن لنماذج اللغات الكبيرة أيضًا اقتراح المهام التي يمكن للأجهزة، بما في ذلك منفذي الأجهزة الطرفية، تنفيذها. يعتقد الكثيرون أن نماذج اللغة هي المفتاح لفتح الروبوتات، مما يسمح لهم بفهم المزيد من تعليمات اللغة الطبيعية بشكل فعال وتقليل الحاجة إلى المهارات المشفرة.
لقد خضع النظام لاختبارات مكثفة على مدى الأشهر السبعة الماضية. AutoRT قادر على تنسيق ما يصل إلى 20 روبوتًا و52 جهازًا مختلفًا في وقت واحد. في المجمل، جمعت DeepMind ما يقرب من 77000 اختبار، بما في ذلك أكثر من 6000 مهمة.
الجديد أيضًا من الفريق هو RT-Trajectory، الذي يستخدم إدخال الفيديو لتعلم الروبوت. تستكشف العديد من الفرق استخدام مقاطع فيديو YouTube كوسيلة لتدريب الروبوتات على نطاق واسع، لكن RT-Trajectory يضيف طبقة مثيرة للاهتمام من خلال تركيب رسومات ثنائية الأبعاد لحركات الذراع أعلى مقاطع الفيديو.
وأشار الفريق إلى أن "هذه المسارات، في شكل صور RGB، توفر إشارات بصرية عملية منخفضة المستوى للنموذج أثناء تعلمه استراتيجيات التحكم في الروبوت".
وقالت DeepMind أنه عند اختباره على 41 مهمة، كان معدل نجاح هذا التدريب ضعف معدل تدريب RT-2، بنسبة 63% و29% على التوالي.
وأشار الفريق إلى أن "RT-Trajectory يستغل الثروة الغنية من معلومات حركة الروبوت الموجودة في جميع مجموعات بيانات الروبوت ولكنها غير مستغلة بشكل كافٍ حاليًا". "لا يمثل RT-Trajectory خطوة أخرى على طريق بناء الروبوتات التي يمكنها التحرك بكفاءة ودقة في المواقف الجديدة فحسب، بل يفتح أيضًا المعرفة من مجموعات البيانات الموجودة."