أطلق الباحثون العاملون لدى شركة Apple وباحثون من جامعة كولومبيا بهدوء LLM متعدد الوسائط مفتوح المصدر في أكتوبر، وهو إصدار بحثي يسمى "Ferret" يمكن الاستعلام عنه باستخدام مناطق الصورة. تم إصدار Ferret على Github في أكتوبر دون أن يلاحظه أحد إلى حد كبير ودون أي إصدار عام أو إجراء ترويجي. تم إصدار كود Ferret مع Ferret-Bench في 30 أكتوبر، وتم إطلاق نسخة نقطة التفتيش في 14 ديسمبر.
على الرغم من أنه لم يحظ بالكثير من الاهتمام في البداية، إلا أن إصدار يوم السبت أصبح يمثل أهمية كبيرة للباحثين في مجال الذكاء الاصطناعي، حسبما أفاد موقع VentureBeat. نشر Bart DeWitte، الذي يدير مؤسسة طبية غير ربحية تعتمد على الذكاء الاصطناعي، عن النسخة "المفقودة" على X، واصفًا إياها بأنها "دليل على التزام شركة Apple بأبحاث الذكاء الاصطناعي المؤثرة".
يخضع إصدار Ferret مفتوح المصدر لترخيص غير تجاري، لذا لا يمكن تسويقه في حالته الحالية. ومع ذلك، هناك دائمًا فرصة لاستخدامها في منتج أو خدمة Apple المستقبلية بطريقة ما.
أوضح عالم أبحاث Apple AI/ML Gan Zhe هدف Ferret في تغريدة في أكتوبر باعتباره نظامًا يمكنه "الإشارة إلى أي شيء ووضعه في أي مكان وبأي دقة" في الصورة. ويمكنه أيضًا القيام بذلك باستخدام أي منطقة ذات شكل في الصورة.
ببساطة، يقوم النموذج بتحليل المنطقة المرسومة على الصورة، ويحدد العناصر الموجودة فيها والتي تكون مفيدة لاستعلام المستخدم، ويحددها، ويرسم مربعًا محيطًا حول العناصر المكتشفة. ويمكنه بعد ذلك استخدام العناصر المحددة كجزء من الاستعلام والرد بطريقة نموذجية.
على سبيل المثال، من خلال تسليط الضوء على حيوان في صورة وسؤال LLM عن الحيوان، يمكن لـ LLM تحديد نوع الحيوان وتحديد ما إذا كان المستخدم يشير إلى حيوان في المجموعة. ويمكنه بعد ذلك تقديم المزيد من الاستجابات باستخدام سياق العناصر الأخرى المكتشفة في الصورة.
يعد هذا الإعلان مهمًا للباحثين لأنه يشير إلى أن شركة Apple تريد أن تكون أكثر انفتاحًا بشأن عملها في مجال الذكاء الاصطناعي، بدلاً من اتخاذ الموقف الغامض الذي كانت عليه في الماضي.
تعد البنية التحتية أيضًا مشكلة بالنسبة لشركة Apple، لأنه بينما تعمل على زيادة عدد خوادم الذكاء الاصطناعي لديها، فقد لا يكون لديها النطاق الكافي للتنافس مع أمثال ChatGPT. وبينما يمكن لشركة أبل أن تتعاون مع شركات أخرى لتوسيع قدراتها، فإن المسار الآخر هو القيام بما فعلته للتو وإصدار نموذج مفتوح المصدر.
يمكن العثور على ملاحظة مثيرة للاهتمام في المعلومات المنشورة على Github. وجدت شركة Reddit's r/Apple أن Ferret "تم تدريبه على 8 وحدات معالجة رسوميات A100 و80 جيجابايت من الذاكرة." نظرًا لتاريخ Apple في دعم وحدات معالجة الرسومات NVIDIA، يعتبر هذا بمثابة تأييد نادر للشركة المصنعة لوحدة معالجة الرسومات.