ركز مؤتمر WWDC على التصميم السائل، وهي لغة التصميم المرئي الجديدة القادمة لنظام التشغيل الخاص بها، وأعلنت Apple أيضًا عن الجيل التالي من النماذج الأساسية للذكاء الاصطناعي التي ستدعم كلاً من الجهاز والسحابة. وبعد المؤتمر، يبدو أن عملاق التكنولوجيا مستعد لفهم استراتيجية الذكاء الاصطناعي الخاصة بشركة Apple بشكل أفضل من خلال تقرير فني مفصل يمنح المستخدمين ومجتمع التكنولوجيا نظرة ثاقبة حول عملية التدريب والتحسين لنماذجها. وأكدت شركة آبل في التقرير أنها تركز حقًا على الخصوصية والكفاءة عند تدريب النماذج.
على الرغم من أنه ليس مهمًا جدًا في مجال الذكاء الاصطناعي الحالي، إلا أن شركة آبل أصدرت تقريرًا تفصيليًا عن نموذجها الأساسي يسمى "نموذج اللغة الأساسية لذكاء Apple - 2025 التقرير الفني"، والذي يقدم مقدمة متعمقة للعناصر الأساسية لأحدث نموذج للذكاء الاصطناعي. يغطي هذا التقرير كل شيء تقريبًا بدءًا من بنية النموذج وحتى مرحلة التدريب ومرحلة ما بعد التدريب وكيفية ضبط النموذج. يستكشف التقرير أيضًا الطرق المستخدمة لضمان التحسينات التقنية للنموذج لزيادة كفاءة النموذج مع تجنب انتهاكات الخصوصية.
على الرغم من أن شركة Apple قد شاركت سابقًا نماذج الذكاء الاصطناعي الموجودة على الجهاز والمتاحة للمطورين والمعلمات التي يبلغ عددها 3 مليارات، إلا أن القيد هو أن هيكلها كان متناثرًا حتى الآن. ويقال إن النموذج مقسم إلى أجزاء متعددة لتحسين الكفاءة. الجزء الأول يسمى الكتلة 1 ويحتوي على أكثر من 60% من وحدات البناء الأساسية (تسمى طبقات التحويل). ثم يفهم الذكاء الاصطناعي التعبيرات الرئيسية للغة ويولد الاستجابات.
الجزء الثاني، المسمى Block 2، يتميز بخفة الوزن بسبب إزالة مكونين تقنيين يستهلكان الذاكرة بشكل مكثف: عرض المفتاح والقيمة. وبفضل هذه الإستراتيجية، تمكنت Apple من تقليل أثر ذاكرة النموذج بحوالي 38%، بل وتسريع وقت استجابة النموذج. وكانت الشركة تبحث في كيفية تحسين أداء نماذج الذكاء الاصطناعي الخاصة بها محليًا، وقبل بضع سنوات استكشفت فكرة تشغيل نموذج أكبر من سعة ذاكرة الجهاز. على الرغم من أنهم لم ينتهوا إلى اعتماد الحل القائم، إلا أنهم كانوا يبحثون عن طرق للتعامل مع قيود الأجهزة والتحديات الأخرى.
فيما يتعلق بجانب الخادم من نموذج الذكاء الاصطناعي، تضمن شركة Apple أن نظام الحوسبة السحابية الخاص بها يعتمد بنية مخصصة. يُطلق على هذا النهج اسم Parallel Orbit Mixed Experts (PT-MoE)، وهي استراتيجية ذكية تقوم ببساطة بتقسيم نماذج الذكاء الاصطناعي الكبيرة إلى أجزاء أصغر تسمى الخبراء. الآن، من خلال تقسيم النموذج إلى خليط من الخبراء، لا يحتاج النموذج إلى التشغيل الكامل في كل مرة؛ وبدلاً من ذلك، يمكنها التركيز فقط على الخبراء ذوي الصلة بالمهمة الحالية. يتم تنشيط أجزاء النموذج التي تتمتع بخبرة المجال فقط، مما يوفر الأداء ويزيد الكفاءة.
بالإضافة إلى ذلك، صممت Apple أيضًا بنية Transformer جديدة تسمى "Parallel Track Transformer"، والتي تحتوي على مسارات متعددة تعمل بشكل مستقل والتي تعمل معًا فقط في النقاط الرئيسية. ولهذا السبب، لا يواجه هذا النموذج زمن الوصول على مستوى النظام. لقد عالج عملاق التكنولوجيا أيضًا إحدى أكبر نقاط الضعف لدى Apple Intelligence: الدعم اللغوي المحدود.
مع النموذج الجديد، قامت شركة Apple بتحسين قدراتها المتعددة اللغات بشكل كبير. ولتوسيع دعم اللغة، قامت شركة Apple بزيادة نسبة البيانات غير الإنجليزية في عملية التدريب من 8% إلى 30%، لتغطي المحتوى الحقيقي والمحتوى الناتج عن الذكاء الاصطناعي، وبالتالي تحسين فهم النموذج ودعم نطاق أوسع من اللغات. وهذا سيجعل ميزات مثل أدوات الكتابة تعمل بشكل أفضل. عند تدريب نظام الذكاء الاصطناعي الجديد، تعتمد Apple بشكل كبير على بيانات الويب التي تم جمعها بواسطة Applebot، وهو زاحف الويب المحلي الخاص بها، والذي تم استخدامه أيضًا في النماذج السابقة. ومن المثير للاهتمام، بما أن شركة Apple تحترم الخصوصية، فإذا لم يرغب موقع الويب في الزحف إليه، فلن يتم استخدام محتواه.
تستخدم الشركة مجموعة متنوعة من التقنيات لتدريب نماذجها؛ في المقام الأول باستخدام بيانات الويب العامة كمواد تدريبية. تميل Apple إلى تصفية المحتوى غير ذي الصلة والتركيز على مجموعات البيانات المفيدة وذات الصلة. وبالمثل، يعتمد عملاق التكنولوجيا على الناشرين للحصول على المحتوى المرخص، على الرغم من أنه كشف عن أسماء شركات الإعلام التي يعتمد عليها. تستخدم الشركة أيضًا نماذج أصغر لجمع البيانات الاصطناعية، خاصة عندما يتعلق الأمر بمهام لغة الصور أو تنفيذ التعليمات البرمجية أو التعليمات، من أجل ضبط أفضل.
يتضمن هذا النهج المتعدد أيضًا البيانات المرئية، حيث يمتلك العملاق أكثر من 10 مليارات زوج من التعليقات التوضيحية للصور، بما في ذلك لقطات الشاشة والملاحظات المكتوبة بخط اليد. كما أنه يستخدم نموذجه الخاص لإنشاء ترجمات أكثر ثراءً. تساعد كل أساليب التدريب هذه شركة Apple في بناء نماذج أكثر ذكاءً وقوة. إن النهج الذي تتبعه شركة Apple في تدريب نماذج الذكاء الاصطناعي الخاصة بها واضح للغاية. إنها استراتيجية متوازنة تضمن بقاء النظام قويًا ومتعدد الاستخدامات دون المساس بقيمته الأساسية: الخصوصية.