تم إصدار أحدث اختبار لاستدلال نموذج GPT كبير من MLPerf! احتلت شركة الطاقة الحاسوبية المحلية هذه المرتبة الأولى في العالم مرة أخرى، بأداء يصل إلى 1.8 مرة أداء NVIDIA H100. نظرًا لأن تطبيقات AIGC مثل ChatGPT أطلقت موجة من النماذج الكبيرة، أصبحت طبقة الطاقة الحاسوبية، مثل البنية التحتية، أول صناعة تستفيد.
ومع ذلك، أصبحت المشكلات مثل ارتفاع الطلب على الطاقة الحاسوبية والتكلفة العالية نقاط ألم شائعة للمؤسسات لتنفيذ نماذج كبيرة، ومن المرجح أن تحد من التطوير المستقبلي للذكاء الاصطناعي: تتزايد معلمات النماذج الكبيرة يومًا بعد يوم، في حين أن اختناقات إمدادات الطاقة الحاسوبية وشيكة، مما يخلق تناقضًا كبيرًا بين الاثنين.
تعد كيفية استكشاف حلول أفضل لطاقة الحوسبة ذات النماذج الكبيرة محورًا مشتركًا للصناعة.
في الآونة الأخيرة، أعلنت مؤسسة التقييم العالمية الموثوقة MLPerf عن أحدث نتائج تقييم الاستدلال. هذه هي المرة الأولى التي تقدم فيها MLPerf اختبار استدلال النموذج الكبير لـ GPT. وصلت نسبة المشاركة إلى رقم قياسي جديد. وقد تلقت أكثر من 13500 نتيجة أداء مقدمة من NVIDIA وIntel وGoogle وQualcomm وشركات أخرى.
في MLPerfInference3.1، احتلت بطاقة الحوسبة MoffetAI S30 المرتبة الأولى في قوة الحوسبة لبطاقة واحدة و4 بطاقات و8 بطاقات على الطراز الكبير GPT-J (6 مليار معلمة).
هذا هو الدفاع الثالث على التوالي عن لقب Ink Core في MLPerf.
سبق أن فاز قلب الحبر بالمركز الأول في MLPerfInference2.0 و2.1 لمدة عامين متتاليين.
بطاقة الحوسبة Ink Core S30
جلبت نتائج Ink Core اتجاهات ابتكارية مجدية لحلول طاقة الحوسبة ذات النماذج الكبيرة.
أثبتت الحقائق أن الابتكار التعاوني للأجهزة والبرامج التي تجمع بين نماذج الذكاء الاصطناعي ومنصات الحوسبة يمكن أن يطلق العنان لإمكانات قوة حاسوبية أكبر. وهذا يثبت أيضًا مرة أخرى أن التقنيات المبتكرة المتمثلة في الحوسبة المتفرقة ستكون المفتاح لتطوير قوة الحوسبة في عصر النماذج الكبيرة.
يشارك قلب الحبر في قسم MLPerf المفتوح. وفقا للمنظم MLCommons، تم تصميم هذا القسم لتشجيع الابتكار. ولذلك، يمكن للمتسابقين استكشاف طرق لتحسين قوة الحوسبة من خلال التعاون بين البرامج والأجهزة.
في الطراز الكبير GPT-J في MLPerf، مقارنةً بحل تسريع الأجهزة النقي H100 لعملية 4 نانومتر، حققت بطاقة الحوسبة Ink Core S30 لعملية 12 نانومتر ميزة تصل إلى 1.8 مرة من خلال نهج "الخوارزمية المزدوجة الأصلية المتناثرة + تعاون الأجهزة" ، .
نموذج GPT-J الذي تم تقييمه هذه المرة هو نموذج ذكاء اصطناعي توليدي. في أوضاع 8 بطاقات و4 بطاقات وبطاقة واحدة، يبلغ أداء بطاقة الحوسبة Inkcore S30 170.59 و91.57 و23.28 (عينة/نماذج) على التوالي، ويصل إلى 1.6 مرة و1.8 مرة و1.8 مرة أداء NVIDIA H100، مما يوضح قدرات منتجات Inkcore في مهام AIGC. فاز
بالبطولة ثلاث مرات. كانت قوة الحوسبة ذات النماذج الكبيرة هي أول من "خضع للاختبار"، واستمر التعاون في البرامج والأجهزة في الابتكار. تم اختبار قوة منتج Ink Core بدقة بواسطة MLPerf عدة مرات، كما استكشفت أيضًا مسارًا جديدًا لتطوير قوة الحوسبة ذات النماذج الكبيرة.
01
الحوسبة المتفرقة - "المخزونات المحتملة" من النماذج الكبيرة اكتسبت شهرة في السوق
ترجع النتائج الممتازة لقلوب الحبر بشكل أساسي إلى التصميم التعاوني من البرامج والأجهزة على أساس خوارزميات التناثر.
في عصر النماذج الكبيرة، أصبحت أهمية الحوسبة المتفرقة واضحة بذاتها: حجم نموذج الذكاء الاصطناعي يتناسب بشكل مباشر مع إمكانية تناثره.
بمعنى آخر، عندما يكون النموذج أكبر، يكون هناك احتمال أكبر للتشتت في الخوارزمية، وتكون درجة تسارع الحسابات المتفرقة أعلى أيضًا. بالنسبة لنماذج اللغات العامة الكبيرة، يمكن أن تؤدي الحوسبة المتفرقة إلى تسريع عشرات المرات.
إن خوارزمية Inkcore الأصلية المزدوجة المتفرقة، جنبًا إلى جنب مع التصميم التعاوني للبرامج والأجهزة، تجعل شريحة Antoum® من Inkcore أول شريحة ذكاء اصطناعي ذات تكبير عالي متفرق في العالم، تدعم ما يصل إلى 32 مرة من التناثر - وهذا هو مفتاح أداء Inkcore الذي حطم الأرقام القياسية في MLPerf.
كلما كان النموذج أكبر، كانت ميزة الحوسبة المتفرقة أكثر وضوحًا - خاصة في الوضع الحالي حيث تصل معلمات النماذج الكبيرة مثل GPT غالبًا إلى عشرات المليارات أو مئات المليارات، مما يجعل خندق قلب الحبر أكثر استقرارًا.
وقد اعترفت الصناعة أيضًا بقوة منتج Ink Core والاتجاه العام للحوسبة المتفرقة: حققت عملية تسويق Ink Core اختراقات مهمة واحدة تلو الأخرى، مما ساعد المؤسسات على تسريع تطبيقات الذكاء الاصطناعي.
في الآونة الأخيرة، أصبحت Ink Core رسميًا أحد الموردين الذين يدعمون ByteMLPerf.
المصدر: موقع ByteMLPerf
عنوان المشروع: https://github.com/bytedance/ByteMLPe rf/blob/main/README.md
حاليًا، يمكن لمنصة الحوسبة Moxin AI دعم نماذج كبيرة بمستويات مختلفة من المعلمات، بما في ذلك BLOOM وOPT وGPT-J وLLaMA وStableDiffusion وما إلى ذلك.
تتميز أيضًا بخصائص الإنتاجية العالية وزمن الوصول المنخفض واستهلاك الطاقة المنخفض، مما يخفف من صعوبة قوة الحوسبة ويقدم حقًا حلول طاقة حوسبة كبيرة الحجم "سهلة الاستخدام" و"ميسورة التكلفة" للمؤسسات.
02
يجلب تغييرات أساسية في قوة الحوسبة، وتساعد الحوسبة المتفرقة في تطوير نماذج كبيرة
لا يمكن أن يؤدي حل الحوسبة المتفرقة لـ Ink Core إلى تخفيف التيار الحالي فحسب. مشكلة قوة الحوسبة، ولكنها تفتح أيضًا مساحة جديدة للتطوير المستمر للذكاء الاصطناعي.
تعمل الحوسبة المتفرقة على تقليل العبء الحسابي لنماذج الذكاء الاصطناعي، مما يعني أن النماذج الكبيرة يمكنها زيادة عدد المعلمات بعدة أوامر من حيث الحجم دون توليد الكثير من العبء الحسابي. من المتوقع أن يتم حل التناقض بين نمو معلمات النموذج الكبير واختناقات قدرة الحوسبة بشكل أساسي.
وفي الوقت نفسه، نظرًا لانخفاض مقدار الحساب، تم أيضًا حل نقاط الألم الخاصة بمتطلبات طاقة الحوسبة العالية، والاستهلاك العالي للطاقة، والتكلفة العالية للنماذج الكبيرة، مما يحقق تأثير "المربح للجانبين".
شريحة Antoum الأساسية للحبر: أول شريحة ذكاء اصطناعي عالية التكبير متفرق في العالم، تدعم ما يصل إلى 32 مرة متناثرة
متواصلة. النتائج الممتازة لـ MLPerfs الثلاثة لا تثبت قوة منتجات الحبر الأساسية فحسب، بل تثبت أيضًا جلب أيضًا اكتشافات جديدة إلى الصناعة: بمساعدة الحوسبة المتفرقة والتقنيات الأخرى، من المتوقع أن يؤدي تطوير النماذج الكبيرة وتطبيقها إلى فتح مساحة أوسع للتطوير، مما يؤدي إلى تسريع انتشار AIGC والتطبيقات الأخرى في جميع مناحي الحياة.
03
حول MLPerf
تم إنشاء MLPerf على يد ديفيد باترسون الحائز على جائزة تورينج بالتعاون مع أفضل المؤسسات الأكاديمية من Google وستانفورد وجامعة هارفارد. إنه الاختبار القياسي الدولي لأداء الذكاء الاصطناعي الأكثر موثوقية وتأثيرًا لإجراء تتبع وتقييم في الوقت المناسب لمتطلبات وأداء حوسبة الذكاء الاصطناعي المتنامية بسرعة.