قد يكون من الصعب عليك أن تتخيل أنه من بين أكثر من 7000 لغة نشطة في العالم، لم يتمتع سوى بضع مئات منها "بفضل" تكنولوجيا الكلام الحديثة. إن الغالبية العظمى من المتحدثين باللغات البشرية - من رجال القبائل الأفريقية الأصلية، وسكان غابات الأمازون المطيرة، إلى كبار السن في المدن الريفية الذين لا يزالون يتحدثون اللهجات القديمة - عاشوا دائمًا خارج سرد العصر الرقمي.
ومن بين أكثر من 7000 لغة بشرية، لا يُسمع سوى عدد قليل منها بواسطة تكنولوجيا الكلام الحديثة، والآن قد يتم كسر هذا التفاوت. يمكن لنظام Omnilingual ASR الذي أصدرته شركة Meta التعرف على أكثر من 1600 لغة ويمكنه تعلم لغات جديدة بسرعة من خلال عدد قليل من الأمثلة. مع المصدر المفتوح والإبداع المشترك للمجتمع باعتباره جوهرها، تمنح هذه التكنولوجيا كل صوت فرصة للتواجد على مسرح الذكاء الاصطناعي.
يبدو أن المساعدين الصوتيين، والترجمات التلقائية، والترجمة الفورية، ووسائل الراحة هذه التي يوفرها الذكاء الاصطناعي، متاحة فقط لعدد قليل من اللغات "السائدة"، ولا يزال بقية مجتمع اللغات محجوبًا عن الباب التكنولوجي.
تعاني هذه الفجوة الرقمية الآن من عامل تعطيل.
أصدر فريق أبحاث الذكاء الاصطناعي Meta مؤخرًا نظام Omnilingual ASR، وهو عبارة عن مجموعة من نماذج الذكاء الاصطناعي التي يمكنها التعرف على الكلام ونسخه تلقائيًا بأكثر من 1600 لغة، مما يسمح "بفهم" جميع اللغات البشرية تقريبًا بواسطة الآلات.
تتم مشاركة هذا النظام مع العالم بطريقة مفتوحة المصدر، ويمكن للمجتمع توسيعه إلى لغات جديدة، مما يمنح كل صوت فرصة للتواجد على مسرح الذكاء الاصطناعي.
1600 لغة، مجرد البداية
حقق نظام Omnilingual ASR الذي أطلقته شركة Meta هذه المرة رقمًا قياسيًا جديدًا لعدد اللغات التي يغطيها نظام التعرف على الكلام، حيث يدعم أكثر من 1600 لغة، بما في ذلك 500 لغة لم يتم نسخها بواسطة أي نظام ذكاء اصطناعي من قبل.
وبالمقارنة، فإن نموذج Whisper مفتوح المصدر من OpenAI يدعم 99 لغة فقط، في حين أن Omnilingual ASR يعمل تقريبًا على تحسين هذا العدد بأمر من حيث الحجم.
بالنسبة للعديد من الأشخاص حول العالم الذين يتحدثون لغات الأقليات، يعد هذا بلا شك "انتقامًا رقميًا": فللمرة الأولى، أصبحت لغتهم الأم لديها إمكانية فهمها بطلاقة بواسطة الذكاء الاصطناعي.
لقد وصل أداء التعرف على هذا النظام إلى مستويات رائدة في العديد من اللغات.
وفقًا للبيانات المقدمة من Meta، من بين أكثر من 1600 لغة تم اختبارها، فإن 78% منها لديها معدل خطأ في التعرف (CER) أقل من 10%. وإذا نظرت إلى اللغات التي تم تدريبها بأكثر من 10 ساعات من بيانات الكلام، فإن هذه النسبة تصل إلى 95%.
حتى بالنسبة للغات منخفضة الموارد ذات التدريب المتناثر للغاية، لا يزال 36% منها يحقق معدل خفض الانبعاثات المعتمد أقل من 10%.
تعني هذه الأرقام أن Omnilingual ASR لا يتمتع بتغطية واسعة فحسب، بل يقدم أيضًا نتائج نسخ عملية وعالية الجودة في معظم اللغات.
ومع ذلك، فإن 1600 لغة ليست نهاية ASR متعدد اللغات.
والأهمية الأكبر هي أنه يكسر قيود نطاق اللغة الثابت والجامد الذي يدعمه نموذج ASR السابق، مما يسمح للتغطية اللغوية بالانتقال من "الكمية" إلى "القابلة للتطوير".
يعتمد ASR متعدد اللغات على أفكار نماذج اللغة الكبيرة (LLM) ويقدم آلية "التعلم السياقي" بدون عينة.
وهذا يعني أنه حتى لو لم تكن اللغة موجودة في قائمة الدعم في البداية، فيمكن للمستخدمين تعليم النموذج لغة جديدة على الفور أثناء الاستدلال من خلال توفير عدد قليل من المقاطع الصوتية والنص المقابل في تلك اللغة كأمثلة.
ليست هناك حاجة لقضاء أشهر في جمع مجموعات كبيرة أو تدريب احترافي على التعلم العميق. يمكنك تعلم لغات جديدة من خلال تعلم بسيط بخطوات قليلة.
مع هذا النموذج المبتكر، يتم فجأة توسيع التغطية اللغوية المحتملة لـ Omnilingual ASR.
ويقول المسؤولون إنه من الناحية النظرية، يمكن توسيع النظام ليشمل أكثر من 5400 لغة، تغطي جميع اللغات البشرية تقريبًا بسجلات مكتوبة!
بغض النظر عن مدى عدم شعبية اللغة المنطوقة، طالما أن هناك نظام كتابة مطابق وبعض الأمثلة، فإن لديها فرصة لالتقاطها وتسجيلها بواسطة Omnilingual ASR.
في مجال التعرف على الكلام باستخدام الذكاء الاصطناعي، يعد هذا نقلة نوعية من الإغلاق الثابت إلى التكيف الديناميكي - لم يعد النموذج مرتبطًا بقائمة اللغات المحددة مسبقًا أثناء التدريب، ولكنه أصبح إطارًا مرنًا ومفتوحًا يشجع المجتمعات المحلية على إضافة لغات جديدة بمفردها.
بالنسبة لتلك المجموعات التي غابت عن خريطة التكنولوجيا لفترة طويلة، فإن هذا بمثابة امتلاك مفتاح للباب يمكنه "فتح" لغات جديدة في أي وقت.
المصدر المفتوح والمجتمع، وكسر الفجوة اللغوية
ميزة أخرى مميزة لـ Omnilingual ASR هي مصدرها المفتوح وطبيعتها المجتمعية.
اختارت Meta أن تجعل نظام ASR الضخم متعدد اللغات هذا مفتوح المصدر تمامًا على GitHub، باستخدام ترخيص Apache 2.0 لإصدار النموذج والكود.
سواء أكان الباحثون أو المطورين أو مؤسسات الشركات، يمكنك استخدام هذا النموذج وتعديله وتسويقه مجانًا دون القلق بشأن قيود الترخيص المرهقة.
بالمقارنة مع النماذج السابقة "شبه مفتوحة المصدر" مع مصطلحات إضافية لبعض نماذج الذكاء الاصطناعي، يمكن وصف الموقف المنفتح لـ Omnilingual ASR بأنه شهم للغاية، مما يشكل مثالاً لإضفاء الطابع الديمقراطي على التكنولوجيا.
من أجل إفادة جميع المجتمعات اللغوية، لم تفتح Meta النموذج فحسب، بل أصدرت أيضًا في الوقت نفسه مجموعة ضخمة من بيانات الكلام متعددة اللغات - مجموعة ASR متعددة اللغات.
تحتوي المجموعة على بيانات كلام مكتوبة لـ 350 لغة ذات مجاميع نادرة، وتغطي العديد من اللغات التي كانت "مفقودة" سابقًا في العالم الرقمي.
جميع البيانات متاحة بموجب ترخيص CC-BY.
يمكن للمطورين والعلماء استخدام هذه الموارد القيمة لتدريب وتحسين نماذج التعرف على الكلام المناسبة للاحتياجات المحلية.
ستساعد هذه المبادرة بلا شك تلك اللغات التي تفتقر إلى مجموعات مشروحة واسعة النطاق على تجاوز عتبة البيانات، مما يمنح "اللغات الصغيرة" الفرصة لتحقيق إنجازات كبيرة.
يمكن أن يغطي ASR متعدد اللغات نطاقًا غير مسبوق من اللغات ولا ينفصل عن دعم التعاون العالمي.
أثناء عملية التطوير، عملت Meta مع المنظمات والمجتمعات اللغوية المحلية لجمع عدد كبير من عينات الكلام.
وهم يتعاونون مع مشروع الصوت المشترك التابع لمؤسسة موزيلا، ومنظمة Lanfrica/NaijaVoices الأفريقية وغيرها من المنظمات لتوظيف متحدثين أصليين من المناطق النائية لتسجيل الأصوات.
للتأكد من أن البيانات متنوعة وذات صلة بالحياة، غالبًا ما تستخدم هذه التسجيلات أسئلة مفتوحة، مما يسمح للمتحدثين بالتعبير عن أفكارهم اليومية بحرية.
حصل جميع المشاركين على تعويض عادل واتبعوا المبادئ التوجيهية الحساسة ثقافيا للتحصيل.
يمنح هذا النموذج من الخلق المشترك للمجتمع معرفة لغوية عميقة وفهمًا ثقافيًا لـ Omnilingual ASR، ويوضح أيضًا الرعاية الإنسانية للمشروع: التطور التكنولوجي لا ولا ينبغي له أن "ينقذ" اللغات الصغيرة بشكل متعالي، بل يتعاون مع المجتمعات المحلية لجعل أنفسهم أبطال رقمنة اللغة.
فيما يتعلق بالمواصفات الفنية، توفر Meta سلسلة من النماذج بأحجام مختلفة للتكيف مع سيناريوهات التطبيق المتنوعة: بدءًا من النماذج خفيفة الوزن بحوالي 300 مليون معلمة (مناسبة للأجهزة منخفضة الطاقة مثل الهواتف المحمولة) إلى النماذج القوية التي تصل إلى 7 مليار معلمة (تحقيق الدقة القصوى).
تستخدم بنية النموذج جهاز تشفير الكلام wav2vec 2.0 المدرب مسبقًا والمشرف ذاتيًا (الموسع إلى 7 مليارات مقياس معلمة) لاستخراج ميزات الصوت العالمية، ويجمع بين استراتيجيتين لفك التشفير: إحداهما فك تشفير CTC التقليدي، والآخر عبارة عن وحدة فك ترميز نص نموذجية كبيرة مدمجة مع المحول. وهذا الأخير يمنح النموذج قدرات تعلم سياقية قوية.
تتطلب النماذج الضخمة كميات هائلة من البيانات لدعمها - يستخدم تدريب ASR متعدد اللغات أكثر من 4.3 مليون ساعة من الكلام الصوتي، ويغطي المواد بـ 1239 لغة.
هذه واحدة من أكبر مجموعات التدريب على الكلام وأكثرها تنوعًا على الإطلاق. تضمن مثل هذه الكمية الكبيرة من البيانات، إلى جانب مجموعة اللغات الطويلة التي ساهم بها المجتمع، أن النموذج يمكنه تعلم تمثيلات كلامية قوية لمختلف اللغات، وله أساس تعميمي جيد حتى للغات التي لم يسبق له رؤيتها من قبل.
وكما تشير الورقة البحثية، "لا يوجد نموذج يمكنه تغطية جميع لغات العالم مقدمًا، ولكن نظام ASR متعدد اللغات يسمح للمجتمع بمواصلة توسيع هذه القائمة ببياناته الخاصة".
ويشير هذا إلى أن الذكاء الاصطناعي الصوتي يتمتع بحيوية النمو الذاتي ويمكنه أن يتطور مع التنوع الغني للغة البشرية.
عندما تضع التكنولوجيا جانبًا غطرستها وتحتضن التنوع بموقف مفتوح المصدر، وعندما تتاح الفرصة لسماع أصوات كل لغة وتسجيلها، وعندما لا يتم نسيان أي لغة في العالم الرقمي، فإننا نقترب خطوة واحدة من القضاء على الفجوة اللغوية حقًا، وعندها فقط يمكن أن تبدأ الروابط البشرية حقًا في إزالة الحدود.
مراجع:
https://ai.meta.com/blog/omnilingual-asr-advancing-automatic-speech-recognition