الملخص:
تتحول صناعة الذكاء الاصطناعي من "طاقة الحوسبة المحدودة" إلى "الذاكرة المحدودة" بسبب استمرار نقص إمدادات ذاكرة الوصول العشوائي الديناميكية (DRAM). وفقًا للتقارير، بدأت جوجل في تفكيك الخوادم التي تم إيقاف تشغيلها، وإعادة تدوير وحدات ذاكرة DDR4 التي لا يزال من الممكن استخدامها، وإعادة استخدامها في بعض خوادم الذكاء الاصطناعي المبنية حديثًا، وإنشاء سلسلة توريد لإعادة تدوير الذاكرة الداخلية تدريجيًا.
كشف نيخيل شيريان، المدير الأول للبنية التحتية لسلسلة التوريد في Google، مؤخرًا في منتدى القمة أن الذاكرة عالية الأداء تمثل حاليًا حوالي 75% من تكلفة فاتورة المواد لخادم الذكاء الاصطناعي. ومن أجل تجاوز عنق الزجاجة في الذاكرة، تعمل Google على الترويج للحلول على مستوى البرامج والأجهزة، بما في ذلك تفكيك الخوادم التي تم إيقاف تشغيلها وإعادة تدوير المكونات القابلة للاستخدام.
لقد صممت Google أيضًا محولات أجهزة مصممة خصيصًا لتمكين الأجيال السابقة من حلول الذاكرة مثل DDR4 من الاتصال بخوادم الذكاء الاصطناعي من الجيل الجديد. واعترف شيريان أيضًا بأن Google ستعيد على وجه التحديد بعض الخوادم المتقاعدة فقط لإزالة وحدات ذاكرة DDR4.
وفي الوقت نفسه، تواصل Google أيضًا تحسين مكتبة الوظائف الأساسية، وهندسة النماذج، وتقنية ضغط ذاكرة التخزين المؤقت KV لتقليل سعة الذاكرة المطلوبة لكل وحدة من طاقة الحوسبة.
أطلقت Google إصدارين من TPU ASIC هذا العام، حيث يتم استخدام TPU8t بشكل أساسي للتدريب على نماذج الذكاء الاصطناعي، في حين تم تحسين TPU8i لمهام الاستدلال. للتخلص من اختناقات الأداء، يعتمد TPU8i على تصميم ذاكرة متعدد الطبقات مخصص للغاية.
تم تجهيز كل شريحة من شرائح TPU 8i بذاكرة HBM3e بسعة 288 جيجابايت، والتي يمكنها توفير نطاق ترددي فائق للذاكرة يصل إلى 8.6 تيرابايت في الثانية. تدمج الشريحة أيضًا 384 ميجابايت من ذاكرة الوصول العشوائي (SRAM) الموجودة على الشريحة لتخزين ذاكرة تخزين مؤقت نشطة لقيمة المفتاح لتجنب الوصول المتكرر إلى ذاكرة النظام الخارجية.
في الجزء المضيف للخادم، يقوم خادم TPU 8i بإلغاء المعالج الرئيسي التقليدي x86 تمامًا ويستخدم معالج Axion المخصص من Google استنادًا إلى بنية Arm. يعتمد معالج Axion على بنية ذاكرة DDR5 عالية السرعة وهو مسؤول بشكل أساسي عن المهام على مستوى المضيف مثل المعالجة المسبقة للبيانات.
ومع ذلك، واستنادًا إلى بيان شيريان الأخير، يبدو أن Google استخدمت ذاكرة DDR4 الأقدم في بعض خوادم الذكاء الاصطناعي الجديدة لتحل محل وحدات DDR5 التي كان من المفترض في الأصل أن يتم تجهيزها. لم يتم الكشف بعد عن نطاق الخادم المحدد وعدد وحدات DDR4 المعنية.
التعليقات