في 28 يوليو، أعلنت شركة Moonshot AI في وقت متأخر من الليلة الماضية أنها ستفتح مصدر أوزان طراز Kimi K3، وستصدر تقريرًا فنيًا، وستفتح في الوقت نفسه ثلاث تقنيات رئيسية للبنية التحتية (Infra): MoonEP، وFlashKDA، وAgentEnv. يغطي هذا الافتتاح النماذج وطرق التدريب وأنظمة التدريب الأساسية. يمكن للمطورين تنزيل نماذج للنشر والتطوير الثانوي. يجب أن يتوافق نطاق الاستخدام المحدد مع ترخيص Kimi K3.
وفقًا للمقدمة الرسمية، يعتمد Kimi K3 على بنية خبيرة هجينة (MoE)، بمقياس معلمات إجمالي يبلغ 2.8 تريليون، وقدرات فهم بصري أصلية، ودعم مليون نافذة سياق رمزية. بالمقارنة مع الجيل السابق Kimi K2.5، تم زيادة مقياس معلمة Kimi K3 بنحو 3 مرات. ذكرت The Dark Side of the Moon أنه مع موارد الحوسبة المحدودة، واستخدام تقنيات مثل Kimi Delta Attention وAttention Residuals وMoonEP، زادت كفاءة مقياس النموذج الخاص بها بحوالي 2.5 مرة.
تم أيضًا إصدار التقرير الفني لـ Kimi K3 بالتزامن مع أوزان النموذج. وفقًا للمحتوى العام، كشف التقرير عن العديد من التفاصيل الفنية للتدريب النموذجي وتصميم الهندسة المعمارية، بما في ذلك هيكل الاهتمام الهجين KDA وGated MLA، وآلية توجيه الخبراء Stable LatentMoE، وحل التدريب على التشفير المرئي MoonViT-V2، وطرق التدريب والتقييم بعد النموذج. من بينها، يعتمد النموذج تصميم وزارة التعليم الذي يضم 896 خبير توجيه و16 خبيرًا يتم تفعيلهم بواسطة كل رمز مميز، ويغطي تدريب وتقييم القدرات المتعددة مثل التفكير العام والوكيل ووكيل البرمجة.
بالإضافة إلى النموذج نفسه، أعلنت Dark Side of the Moon أيضًا عن المصدر المفتوح لتقنيات البنية التحتية الرئيسية التي تدعم تدريب Kimi K3. من بينها، MoonEP عبارة عن مجموعة من مكتبات الاتصالات الموازية المتخصصة عالية الأداء لنماذج وزارة التربية والتعليم واسعة النطاق؛ FlashKDA هو Kimi Delta بالنسبة لمشغل الحوسبة عالية الأداء المتوافق مع Attention، تظهر البيانات الرسمية أن سرعة التعبئة المسبقة الخاصة به على NVIDIA H20 أعلى بمقدار 1.72 إلى 2.22 مرة من خط الأساس للانتباه الخطي الفلاش؛ AgentEnv هو نظام Sandbox للوكلاء تم تطويره بشكل مشترك بواسطة Dark Side of the Moon وKVCache.ai، والذي يمكنه دعم إمكانات مثل اللقطات السريعة والاسترداد وFork، ويستخدم في بيئات تدريب العملاء واسعة النطاق.
ذكر The Dark Side of the Moon أن هذا الافتتاح يهدف إلى تعزيز تطوير نظام بيئي نموذجي مفتوح الوزن. وتأمل في خفض عتبة نشر النموذج وتطويره من خلال فتح النماذج وأساليب التدريب والبنية التحتية الأساسية، وتوفير المزيد من الموارد التقنية القابلة لإعادة الاستخدام لمجتمع الذكاء الاصطناعي والأبحاث ذات الصلة.