الملخص:
أصدر المطور Cactus Compute مؤخرًا نموذجًا خفيف الوزن للذكاء الاصطناعي يسمى Needle 2.
يبلغ حجم النموذج 14 ميجابايت فقط وهو مُحسّن للغاية لبيئة معالج Raspberry Pi 5. ويمكنه تحويل تعليمات اللغة الطبيعية إلى استدعاءات وظائف محددة مسبقًا في الوقت الفعلي دون الحاجة إلى لوحة توسيع تسريع الذكاء الاصطناعي.
وفقًا لمدونة Raspberry Pi الرسمية، فإن Needle 2 ليس روبوتًا تقليديًا للدردشة للأغراض العامة، ولكنه نموذج مخصص يركز على تنفيذ الأوامر من جانب الجهاز. عندما يقوم المستخدم بإدخال إضاءة LED، يستغرق النظام 78 مللي ثانية فقط لإكمال العملية بأكملها من التعرف إلى التنفيذ، مما يحقق استجابة فورية تقريبًا.
فيما يتعلق بالأداء واستخدام الموارد، تُظهر Needle 2 أيضًا كفاءة فائقة. في القياس الفعلي لـ Raspberry Pi 5 (إصدار ذاكرة 8 جيجابايت)، تبلغ الذاكرة التي يشغلها هذا النموذج عند التشغيل حوالي 28 ميجابايت فقط. حتى لو تم تشغيل برنامج عرض Python الكامل، فإن إجمالي استهلاك الذاكرة يبلغ 46.4 ميجابايت فقط.
يتيح هذا التصميم خفيف الوزن فصل النموذج تمامًا عن واجهة برمجة التطبيقات السحابية وبيئة الشبكة، وتحقيق تحكم ذكي محلي بحت على الحافة.
فيما يتعلق بميزات الأجهزة واستدعاءات الواجهة، ترتبط Needle 2 ارتباطًا وثيقًا بالأجهزة الأساسية من خلال نظام التعليقات التوضيحية في Python. يحتاج المطورون فقط إلى إضافة علامات محددة إلى رمز الوظيفة الحالي، ويمكن للنموذج تلقائيًا التقاط اسم الوظيفة والوصف وأنواع المعلمات وإنشاء مواصفات الاتصال.
على سبيل المثال، يبلغ وقت استجابة تعليمات الاستعلام عن درجة حرارة المعالج 149 مللي ثانية، وسيقوم النظام بإرجاع قيمة الدرجة المئوية بدقة. تتم العملية برمتها بالكامل داخل المعالج المحلي.
ومع ذلك، تجدر الإشارة إلى أن النموذج مقيد للغاية في الحكم المنطقي. بالنسبة للأسئلة غير ذات الصلة التي لا يمكن أن تتطابق مع الوظيفة المحددة مسبقًا (مثل "أين عاصمة فرنسا؟")، ستعيد Needle 2 قيمة فارغة خلال 92 مللي ثانية بدلاً من الإجابة القسرية.
في الوقت الحالي، تم إصدار أوزان نموذج Needle 2 على منصة Hugging Face، كما أن الكود ذي الصلة مفتوح المصدر أيضًا على GitHub بعد بروتوكول Apache 2.0.
التعليقات