في مساء يوم 16 مارس، تحدث الرئيس التنفيذي لشركة Tesla Musk علنًا على منصات التواصل الاجتماعي، مشيدًا بأحدث الإنجازات التكنولوجية لفريق شركة الذكاء الاصطناعي الصينية Kimi، قائلاً إن العمل كان "مثيرًا للإعجاب" ووضع الأبحاث المتطورة لهذا النموذج الكبير المنتج محليًا أمام أعين الجمهور.
نظرًا لإصدار الأوراق الفنية في وقت واحد، جذب Guangyu Chen، الذي احتل المرتبة الأولى في قائمة المؤلفين، انتباه الإنترنت بالكامل - كان المؤلف الأساسي في الواقع طالبًا في المدرسة الثانوية يبلغ من العمر 17 عامًا من Shenzhen، Guangdong.
وفقًا للمعلومات الموضحة في ملحق الورقة، فإن كل من Chen Guangyu وZhang Yu وSu Jianlin جميعهم مؤلفون مشاركين أولون بمساهمات متساوية، ولم يسجل المؤلفون المشاركون الـ 34 الباقون هذا المؤهل.
من بينهم، Zhang Yu هو المطور الأساسي لبنية نموذج Kimi الفعالة، وSu Jianlin هو مقترح تشفير الموضع الدوراني (RoPE).
ومن الجدير بالذكر أن Chen Guangyu لم يشارك بعمق في مجال الذكاء الاصطناعي إلا لمدة عام واحد فقط. في المرحلة الأولية، أكمل بسرعة المعرفة الأساسية والقدرات العملية للذكاء الاصطناعي من خلال دراسة الأبحاث المتطورة بشكل مستقل وتتبع مشاريع GitHub مفتوحة المصدر.
في الصيف الماضي، ذهب إلى سان فرانسيسكو لإكمال تجربة تدريب مدتها 7 أسابيع. وبعد عودته إلى الصين، انضم إلى فريق كيمي في نوفمبر من العام الماضي للمشاركة في التدريب.
بعد إصدار الورقة، نشر تشين غوانغيو مراجعة للنتائج في دائرة أصدقائه، وذكر على وجه التحديد المؤلفين الثلاثة الذين ساهموا بالتساوي، بالإضافة إلى زملاء الفريق المسؤولين عن توسيع النموذج وإنشاء البنية التحتية. فأجاب بطريقة هادئة: "إنه جهد جماعي، وليس إلهًا".
وفقًا للتقارير، يقترح هذا التقرير الفني الصادر عن فريق Kimi آلية جديدة لبقايا الانتباه لتحقيق إعادة بناء مدمرة للاتصال المتبقي التقليدي الذي تم استخدامه في مجال التعلم العميق منذ ما يقرب من عشر سنوات.
يعادل ابتكار كيمي تثبيت "مرشح ذكي" على الذكاء الاصطناعي، وترحيل آلية انتباه المحول إلى البعد العميق للنموذج، مما يسمح لكل طبقة بتصفية المعلومات المفيدة سابقًا ديناميكيًا، وتقليل التكرار، وتحسين كفاءة النقل.