من تلفيق الأوراق الأكاديمية إلى سرقة الفنانين، فإن الذكاء الاصطناعي التوليدي لديه نصيبه العادل من الأخطاء الموثقة جيدًا. والآن، يبدو أنها ظهرت مرة أخرى في عمليات نفوذ الدولة. وفقًا لتقرير جديد صادر عن شركة استخبارات التهديدات RecordedFuture ومقرها ماساتشوستس، فإن الحملة الأخيرة كانت "على الأرجح" مدعومة بمنتجات توليد الكلام ذات الذكاء الاصطناعي التجاري، بما في ذلك التكنولوجيا التي تم إصدارها علنًا من شركة ElevenLabs الناشئة.
ويصف التقرير حملة مرتبطة بروسيا تهدف إلى تقويض الدعم الأوروبي لأوكرانيا، ويطلق عليها "عملية اغتيال" تستخدم بشكل بارز التعليقات الصوتية الناتجة عن الذكاء الاصطناعي في مقاطع فيديو "أخبار" كاذبة أو مضللة.
استهدفت مقاطع الفيديو جمهورًا أوروبيًا، ومن بين مواضيع أخرى، هاجمت السياسيين الأوكرانيين بتهمة الفساد أو شككت في فائدة المساعدات العسكرية لأوكرانيا.
يشير التقرير إلى أنه "من المحتمل جدًا" أن يكون منشئو الفيديو قد استخدموا الذكاء الاصطناعي المولد للكلام، بما في ذلك تقنية ElevenLabs، لجعل المحتوى الخاص بهم يبدو أكثر شرعية. لاختبار ذلك، أرسل الباحثون في RecordedFuture المقاطع إلى مصنف الكلام AI الخاص بـ ElevenLabs، والذي يسمح لأي شخص "باكتشاف ما إذا كان قد تم إنشاء مقطع صوتي باستخدام ElevenLabs"، وحصل على تطابق؛
لم تستجب ElevenLabs لطلب التعليق. في حين أشارت شركة RecordedFuture إلى أنه يمكن استخدام العديد من أدوات إنشاء الكلام التجارية المستندة إلى الذكاء الاصطناعي، إلا أنها لم تذكر أسماء أخرى إلى جانب ElevenLabs.
لقد أظهر العقول المدبرة لحركة التأثير عن غير قصد فائدة توليد الكلام بالذكاء الاصطناعي عندما أطلقوا على عجل عددًا من مقاطع الفيديو التي تضم أصواتًا حقيقية مع "لكنات روسية لا لبس فيها". في المقابل، كانت الدبلجة التي تم إنشاؤها بواسطة الذكاء الاصطناعي تتم بمجموعة متنوعة من اللغات الأوروبية، مثل الإنجليزية والفرنسية والألمانية والبولندية، دون أي لهجات أجنبية.
وفقًا لموقع RecordedFuture، يسمح الذكاء الاصطناعي أيضًا بنشر المقتطفات المضللة بسرعة بلغات متعددة في جميع أنحاء أوروبا، مثل الإنجليزية والألمانية والفرنسية والبولندية والتركية (جميعها مدعومة من ElevenLabs).
وألقت شركة RecordedFuture باللوم في هذا النشاط على SocialDesignAgency، وهي منظمة مقرها روسيا فرضت عليها الحكومة الأمريكية عقوبات في مارس/آذار لتشغيلها "شبكة تضم أكثر من 60 موقعًا إلكترونيًا تنتحل صفة مؤسسات إخبارية أوروبية حقيقية ثم تستخدم حسابات وسائل التواصل الاجتماعي المزيفة لتضخيم المحتوى المضلل لهذه المواقع المخادعة". وقالت وزارة الخارجية في ذلك الوقت إن كل هذا تم "نيابة عن الحكومة الروسية".
وخلص موقع RecordedFuture إلى أن التأثير الإجمالي للحملة على الرأي العام الأوروبي كان ضئيلا.
وفقًا لبلومبرج، خلصت شركة كشف الاحتيال الصوتي إلى أن هذه ليست المرة الأولى التي يتم فيها اتهام منتجات ElevenLabs بإساءة الاستخدام. خلصت شركة لكشف الاحتيال الصوتي إلى أن تقنيتها لعبت دورًا في مكالمة آلية تنتحل شخصية الرئيس الأمريكي جو بايدن خلال الانتخابات التمهيدية في يناير 2024 لحث الناخبين على عدم الخروج للتصويت. ردًا على ذلك، قالت شركة ElevenLabs إنها أصدرت ميزات أمنية جديدة، مثل حجب أصوات السياسيين تلقائيًا.
تحظر ElevenLabs "التزييف غير المصرح به أو الضار أو المخادع"، قائلة إنها تستخدم مجموعة متنوعة من الأدوات لفرض ذلك، مثل المراجعة الآلية والبشرية؛
شهدت ElevenLabs نموًا هائلاً منذ تأسيسها في عام 2022. وقد ارتفع العائد على حقوق المساهمين للشركة مؤخرًا إلى 80 مليون دولار، مقارنة بـ 25 مليون دولار أقل من العام الماضي، ويمكن أن تصل قيمته قريبًا إلى 3 مليارات دولار. ومن بين مستثمريها أندريسن هورويتز والرئيس التنفيذي السابق لشركة جيثب نات فريدمان.