يعمل نموذج الذكاء الاصطناعي التابع لمعهد ماساتشوستس للتكنولوجيا على تسريع رؤية الكمبيوتر عالية الدقة للسيارات ذاتية القيادة

تحسين المعالجة في الوقت الحقيقي

تتعلم نماذج التجزئة الدلالية الحديثة بشكل مباشر التفاعلات بين كل زوج من وحدات البكسل في الصورة، وبالتالي فإن جهدها الحسابي يتضاعف أربع مرات مع دقة الصورة. ولهذا السبب، على الرغم من دقة هذه النماذج، إلا أنها بطيئة جدًا في معالجة الصور عالية الدقة في الوقت الفعلي على أجهزة الاستشعار أو الأجهزة الطرفية مثل الهواتف المحمولة.

صمم باحثون من معهد ماساتشوستس للتكنولوجيا لبنة بناء جديدة لنماذج التجزئة الدلالية التي تحقق نفس القدرات التي تتمتع بها هذه النماذج الحديثة، ولكن مع تعقيد حسابي خطي فقط وتعمل بكفاءة الأجهزة.

والنتيجة هي عائلة جديدة من النماذج للرؤية الحاسوبية عالية الدقة والتي، عند نشرها على الأجهزة المحمولة، تؤدي أداء أسرع بما يصل إلى تسع مرات من النماذج السابقة. والأهم من ذلك أن هذه المجموعة الجديدة من النماذج تظهر دقة مساوية أو أفضل من هذه النماذج البديلة.

يتيح برنامج EfficientViT للسيارات ذاتية القيادة أداء التجزئة الدلالية بكفاءة، وهي مهمة رؤية حاسوبية عالية الدقة تتضمن تصنيف كل بكسل في المشهد حتى تتمكن السيارة من التعرف على الأشياء بدقة. في الصورة صورة من الفيديو التجريبي توضح الألوان المختلفة المستخدمة لتصنيف الكائنات. الصورة المقدمة من الباحثين

نظرة فاحصة على الحلول

ولن تساعد هذه التكنولوجيا السيارات ذاتية القيادة على اتخاذ قرارات في الوقت الفعلي فحسب، بل ستحسن أيضًا كفاءة مهام الرؤية الحاسوبية الأخرى عالية الدقة، مثل تجزئة الصور الطبية.

"بينما يستخدم الباحثون محولات الرؤية التقليدية لفترة طويلة، وقد حققوا نتائج مبهرة، نأمل أن يركز الناس أيضًا على جوانب كفاءة هذه النماذج. يُظهر عملنا أنه من الممكن تقليل الحمل الحسابي بشكل كبير، بحيث يمكن إجراء تجزئة الصور في الوقت الفعلي محليًا على الجهاز." قال هان سونج، الأستاذ المشارك في قسم الهندسة الكهربائية وعلوم الكمبيوتر (EECS)، وعضو في مختبر MIT-IBM Watson AI Lab، وكبير مؤلفي الورقة التي تصف النموذج الجديد.

كما شارك في كتابة الورقة كل من كاي هان، وهو طالب دراسات عليا في قسم الهندسة الكهربائية وعلوم الكمبيوتر، والمؤلف الأول للورقة، ولي جونيان، وهو طالب جامعي في جامعة تشجيانغ، وهو مويان، وهو طالب جامعي في جامعة تسينغهوا، وغان تشوانغ، الباحث الرئيسي في مختبر واتسون للذكاء الاصطناعي في معهد ماساتشوستس للتكنولوجيا – آي بي إم. سيتم تقديم البحث في المؤتمر الدولي للرؤية الحاسوبية.

حل مبسط

يعد تصنيف كل بكسل في صورة عالية الدقة والتي قد تحتوي على ملايين البكسل مهمة صعبة لنماذج التعلم الآلي. في الآونة الأخيرة، تم تطبيق نموذج جديد قوي يسمى المحول المرئي بشكل فعال.

تم تطوير المحولات في الأصل لمعالجة اللغة الطبيعية. في هذه الحالة، يقومون بتشفير كل كلمة في الجملة كرمز ثم يقومون بإنشاء خريطة انتباه تلتقط العلاقة بين كل رمز وجميع الرموز المميزة الأخرى. تساعد خريطة الانتباه هذه على فهم السياق عندما يقوم النموذج بالتنبؤات.

باستخدام نفس المفهوم، يقوم المحول البصري بتقسيم الصورة إلى بقع بكسل وترميز كل تصحيح في تسمية، ثم يقوم بإنشاء خريطة انتباه. عند إنشاء خريطة الانتباه هذه، يتعلم النموذج مباشرة التفاعلات بين كل زوج من وحدات البكسل باستخدام وظيفة التشابه. وبهذه الطريقة، يشكل النموذج ما يسمى بحقل الاستقبال العالمي، مما يعني أنه يمكنه الوصول إلى جميع الأجزاء ذات الصلة من الصورة.

نظرًا لأن الصور عالية الدقة قد تحتوي على ملايين البكسلات ويمكن تقسيمها إلى آلاف المقاطع، فقد تصبح الرسوم البيانية للانتباه كبيرة جدًا بسرعة. ولذلك، مع زيادة دقة الصورة، يزيد مقدار الحساب أربعة أضعاف.

في عائلة جديدة من النماذج تسمى EfficientViT، اعتمد باحثو معهد ماساتشوستس للتكنولوجيا آلية أبسط لبناء خرائط الانتباه - استبدال وظائف التشابه غير الخطية بوظائف التشابه الخطية. ولذلك، يمكنهم إعادة ترتيب ترتيب العمليات وتقليل الجهد الحسابي الإجمالي دون تغيير الوظيفة وفقدان مجال الاستقبال العالمي. في نموذجهم، الجهد الحسابي المطلوب للتنبؤ ينمو خطيًا مع دقة الصورة.

وقال هان: "لكن لا يوجد غداء مجاني. فالاهتمام الخطي لا يمكن إلا أن يلتقط الخلفية العالمية للصورة وسيفقد المعلومات المحلية، مما يجعل الدقة أسوأ". للتعويض عن فقدان الدقة، أضاف الباحثون عنصرين إضافيين إلى النموذج، كل منهما يضيف كمية صغيرة فقط من الحسابات.

يمكن أن يساعد أحد المكونات النموذج في التقاط تفاعل الميزات المحلية وتخفيف ضعف الوظائف الخطية في استخراج المعلومات المحلية. العنصر الثاني هو الوحدة النمطية التي تنفذ التعلم متعدد النطاق، مما يساعد النموذج على التعرف على الأشياء الكبيرة والصغيرة.

وقال كاي هان: "الجزء الأكثر أهمية هنا هو أننا بحاجة إلى تحقيق التوازن بين الأداء والكفاءة بعناية." لقد صمموا EfficientViT ببنية صديقة للأجهزة، مما يسهل تشغيلها على أنواع مختلفة من الأجهزة، مثل سماعات الرأس VR أو أجهزة الكمبيوتر المتطورة للسيارات ذاتية القيادة. يمكن أيضًا تطبيق نموذجهم على مهام رؤية الكمبيوتر الأخرى مثل تصنيف الصور.

تبسيط التجزئة الدلالية

عندما اختبروا نموذجهم على مجموعة بيانات مستخدمة للتجزئة الدلالية، وجدوا أن النموذج يعمل بشكل أسرع بتسع مرات على وحدات معالجة الرسومات NVIDIA (GPUs) مقارنة بنماذج المحولات المرئية الشائعة الأخرى، بنفس الدقة أو أفضل منها.

وقال هان سونج: "الآن، يمكننا الحصول على أفضل ما في العالمين، وإبطاء العمليات الحسابية بما يكفي لتشغيلها على الأجهزة المحمولة والسحابية". وبناءً على هذه النتائج، يأمل الباحثون في تطبيق هذه التقنية لتسريع نماذج التعلم الآلي التوليدية، مثل تلك المستخدمة لتوليد صور جديدة. ويأملون أيضًا في الاستمرار في توسيع تطبيق EfficientViT ليشمل مهام الرؤية الأخرى.

وقال لوتيان، المدير الأول لخوارزميات الذكاء الاصطناعي في AMD: "لقد أصبح نموذج المحول الفعال الذي ابتكره فريق البروفيسور هان سونغ الآن العمود الفقري للتكنولوجيا المتطورة في مختلف مهام الرؤية الحاسوبية مثل الكشف والتجزئة. ولا توضح أبحاثهم كفاءة وقدرات المحول فحسب، بل تكشف أيضًا عن إمكاناته الهائلة في تطبيقات العالم الحقيقي، مثل تحسين جودة الصورة في ألعاب الفيديو."

"يعد ضغط النماذج وتصميم النماذج خفيفة الوزن موضوعات بحثية رئيسية لتحقيق حوسبة ذكاء اصطناعي فعالة، خاصة في النماذج الأساسية واسعة النطاق. وقد حققت مجموعة أبحاث البروفيسور هان سونغ تقدمًا كبيرًا في ضغط وتسريع نماذج التعلم العميق الحديثة، وخاصة المحولات البصرية." وأضاف جاي جاكسون، نائب الرئيس العالمي للذكاء الاصطناعي والتعلم الآلي في شركة أوراكل، والذي لم يشارك في البحث. "لقد دعمت Oracle Cloud Infrastructure فريقه في تطوير هذا البحث المؤثر لتمكين الذكاء الاصطناعي الفعال والصديق للبيئة."