ينضم Microsoft Foundry إلى وكيل الصوت الأصلي في الوقت الفعلي لتحدي Google Gemini Live

الملخص:

تعمل Microsoft على تعزيز القدرات الصوتية في الوقت الفعلي لمنصة Foundry، حيث توفر للمطورين وكلاء صوت أصليين يمكنهم إجراء الإدخال الصوتي والإخراج الصوتي مباشرة، مما يسهل على المؤسسات إنشاء تجارب الذكاء الاصطناعي للمحادثة في الوقت الفعلي المشابهة لـ Google Gemini Live.

التغيير الأساسي لتحديث Microsoft هو أن Foundry Agent Service يبدأ في دعم الإمكانات الصوتية الأصلية في الوقت الفعلي. تختلف عن عملية عوامل الذكاء الاصطناعي التقليدية التي تقوم أولاً بتحويل الكلام إلى نص، ثم تسليمه إلى نموذج النص للمعالجة، وأخيراً تحويل النص إلى كلام مرة أخرى، يمكن لبنية الكلام الأصلية أن تسمح مباشرة لنموذج الكلام في الوقت الفعلي بمعالجة الإدخال الصوتي للمستخدم وإنشاء رد صوتي، وبالتالي تقليل الروابط الوسيطة والتأخير الناتج.

بالنسبة للمستخدمين، يعني هذا أن عملاء الذكاء الاصطناعي يمكنهم المشاركة في محادثات مستمرة بشكل أكثر طبيعية. لا يحتاج المستخدمون إلى الانتظار حتى يكتمل التعرف على الكلام أو حتى يقوم النموذج بإنشاء إجابة نصية كاملة قبل البدء في تركيب الكلام. يمكن أن يكون النظام أقرب إلى طريقة الاتصال في الوقت الفعلي بين الأشخاص، ويمكنه التعامل مع الجوانب الرئيسية للتفاعل الصوتي مثل المقاطعة وتحويل الأحكام.

تعتمد إمكانات Microsoft على واجهة برمجة تطبيقات Voice Live. تدمج هذه الواجهة وظائف مثل التعرف على الكلام، والذكاء الاصطناعي التوليدي، وتحويل النص إلى كلام، واكتشاف الانعطاف، ومعالجة المقاطعة في واجهة كلام موحدة في الوقت الفعلي، مما يسمح للمطورين بإضافة إمكانات تفاعل الكلام في الوقت الفعلي إلى وكلاء الذكاء الاصطناعي الخاصين بهم دون الحاجة إلى إنشاء مكونات كلام متعددة بشكل منفصل.

بالنسبة للمؤسسات التي استخدمت Foundry Agent Service لإنشاء وكلاء الذكاء الاصطناعي، فهذا يعني أن الوكلاء المستندين إلى النصوص الأصليين يمكنهم الحصول على مزيد من إمكانات التفاعل الصوتي، مع الاستمرار في استخدام استدعاء الأداة الأصلية، وقاعدة المعرفة، والذاكرة، وحماية أمان المحتوى، وقدرات تكامل الخدمات والبيانات على مستوى المؤسسة.

تشدد Microsoft بشكل خاص على أن الوكيل الصوتي ليس مجرد برنامج دردشة يمكنه "قراءة الإجابات"، ولكن يمكنه الاتصال بالأدوات وتنفيذ المهام أثناء الاتصال الصوتي في الوقت الفعلي. على سبيل المثال، يمكن للشركات استخدام هذه التكنولوجيا لبناء أنظمة خدمة العملاء التي تتيح للمستخدمين التواصل مباشرة مع وكلاء الذكاء الاصطناعي عبر الهاتف؛ ويمكن استخدامه أيضًا للخدمات الخالية من العوائق والتطبيقات الصوتية أولاً وأنظمة الشركات الداخلية المختلفة التي تتطلب تفاعلًا صوتيًا طبيعيًا.

فيما يتعلق بالبنية التقنية، يدعم Foundry حاليًا طريقين رئيسيين للوكلاء الصوتيين. الأول هو خط أنابيب الكلام التقليدي، الذي يحول كلام المستخدم إلى نص، ثم يعطيه لنموذج النص للاستدلال، وأخيرًا يحول النص الناتج إلى كلام. والآخر هو تحويل الكلام إلى كلام الأصلي الذي يتم التركيز عليه هذه المرة، وهو بنية تحويل الكلام إلى كلام. يقوم نموذج الكلام في الوقت الفعلي بمعالجة إدخال الكلام مباشرة وإنشاء مخرجات الكلام.

إن أكبر ميزة لبنية الصوت الأصلية هي أنها تقلل زمن الوصول مع الحفاظ بشكل أفضل على النغمة والتوقف المؤقت وإيقاع الاتصال للمحادثات الطبيعية. بالنسبة للسيناريوهات التي تتطلب تواصلًا مستمرًا، تكون هذه الطريقة أقرب إلى محادثة حقيقية في الوقت الفعلي من الحل التقليدي متعدد المراحل المتمثل في "التعرف على الكلام ← نموذج النص ← تركيب الكلام".

تواصل Microsoft أيضًا تحسين إمكانيات التفاعل في الوقت الفعلي لواجهة برمجة تطبيقات Voice Live. أضافت التحديثات الأخيرة أنواعًا جديدة من الكلام الأصلي في الوقت الفعلي، وميزات محسنة أكثر مثل إلغاء الصدى، واكتشاف الإغلاق الذكي، واستدعاء الأداة المتوازية. يعد إلغاء الصدى مناسبًا بشكل خاص لوكلاء الصوت الذين يعملون على أجهزة مخصصة أو روابط صوتية غير قياسية. فهو يسمح للنظام بالإشارة إلى الصوت الذي يتم تشغيله بالفعل بواسطة العميل، وبالتالي تقليل مشكلة التعرف الخاطئ بعد أن يسمع الذكاء الاصطناعي صوته.

بالإضافة إلى الصوت نفسه، تعمل Microsoft أيضًا على تعزيز مكانة Foundry كمنصة لتطوير وتشغيل عملاء الذكاء الاصطناعي على مستوى المؤسسة. يمكن أن تكون Foundry Agent Service مسؤولة عن إدارة دورة حياة الوكلاء الأذكياء وتوفير الأمان على مستوى المؤسسة والتحكم في الأذونات وعزل الشبكة وتتبع العمليات وقدرات التقييم. وبهذه الطريقة، لا تحتاج المؤسسات إلى إنشاء بنية تحتية من الصفر لتشغيل عملاء الذكاء الاصطناعي ومراقبتهم والتواصل الصوتي معهم.

من الواضح أن خطوة مايكروسوفت تستهدف أيضًا Gemini Live، والتي عملت جوجل على تعزيزها بشكل مستمر في السنوات الأخيرة. أصبح Gemini Live منتجًا مهمًا لشركة Google لإظهار قدرات الذكاء الاصطناعي الصوتي في الوقت الفعلي للمستهلكين، بينما تؤكد Microsoft على توفير إمكانات صوتية مماثلة في الوقت الفعلي مباشرةً لمطوري المؤسسات، مما يسمح للشركات ببناء ذكاء صوتي حصري استنادًا إلى بياناتها وأدواتها وعملياتها التجارية.

وبالتالي فإن موضع الاثنين ليس هو نفسه تمامًا. يوفر Gemini Live بشكل أساسي تجربة صوتية قابلة للاستخدام بشكل مباشر مع الذكاء الاصطناعي للمستخدمين العاديين، في حين أن Microsoft Foundry موجه أكثر نحو المؤسسات والمطورين. وينصب التركيز على السماح للمؤسسات بتضمين القدرات الصوتية في الوقت الفعلي في خدمة العملاء وأنظمة الهاتف والأعمال الداخلية والتطبيقات المهنية الأخرى.

تعمل Microsoft على تعزيز تطوير وكلاء الذكاء الاصطناعي بدءًا من روبوتات الدردشة البسيطة وحتى الأنظمة التي يمكنها أداء المهام بشكل مستقل في السنوات الأخيرة. مع إضافة الإمكانات الصوتية إلى هذا النظام، توسع التفاعل بين المستخدمين والوكلاء تدريجيًا من إدخال لوحة المفاتيح إلى المحادثات الطبيعية في الوقت الفعلي. لا يستطيع الوكلاء الإجابة على الأسئلة فحسب، بل يمكنهم أيضًا استدعاء الأدوات والوصول إلى بيانات المؤسسة وإكمال مهام محددة أثناء المحادثات.

في الوقت الحالي، تعمل Microsoft تدريجيًا على دمج الإمكانات مثل Foundry Agent Service وVoice Live والوكلاء المُدارين في نفس النظام الأساسي للذكاء الاصطناعي للمؤسسة. ومع نضوج هذه التقنيات، فإن البنية التحتية التي تحتاج الشركات إلى تطويرها وصيانتها لبناء خدمة عملاء صوتية في الوقت الفعلي، ووكلاء الهاتف، ومساعدي المكاتب الصوتية، وخدمات الذكاء الاصطناعي الأخرى، سوف تنخفض بشكل أكبر.

يعني هذا أيضًا أن المنافسة على المساعدين الصوتيين المعتمدين على الذكاء الاصطناعي تتحول من مجرد مقارنة النماذج "ما إذا كان بإمكانهم الدردشة" إلى مقارنة من يمكنه توفير تفاعل صوتي منخفض زمن الوصول، وقدرات اتصال أكثر اكتمالاً للأدوات، وبنية تحتية أكثر موثوقية على مستوى المؤسسة، وبيئة تطوير أكثر ملاءمة. تعد إضافة Microsoft لوكيل صوتي أصلي في الوقت الفعلي إلى Foundry خطوة مهمة في توسيع تخطيط وكيل الصوت الخاص بها في سوق الذكاء الاصطناعي للمؤسسات.