إن أقوى قدرة لنماذج الذكاء الاصطناعي الكبيرة هي بالتأكيد وظيفة معالجة النصوص الأساسية. ومع ذلك، وجد باحثون من شركة ناشئة تدعى PatronusAI أنه حتى أقوى النماذج الكبيرة حاليًا لا يمكنها تحليل الملفات المالية للشركات بدقة من هيئة الأوراق المالية والبورصات الأمريكية (SEC).
ينبغي القول بأن GPT-4-Turbo من OpenAI هو نموذج الذكاء الاصطناعي الأفضل أداءً حاليًا في السوق. ومع ذلك، في اختبار PatronusAI الأخير، كانت 79% فقط من الإجابات على أسئلة ملف هيئة الأوراق المالية والبورصات صحيحة.
إذا طُلب من أدوات الذكاء الاصطناعي العادية الإجابة على مثل هذه الأسئلة، فإما أنها لن تتمكن عمومًا من الإجابة، أو أنها ستعاني من "الهلوسة"، أي أنها ستختلق أرقامًا وحقائق غير موجودة في وثائق هيئة الأوراق المالية والبورصات.
وقال أناند كانابان، المؤسس المشارك لشركة PatronusAI: "مثل هذا الأداء غير مقبول على الإطلاق، ويجب أن تكون دقته أعلى بكثير لبدء العمل بطريقة آلية وجاهزة للإنتاج."
تسلط النتائج الضوء على بعض التحديات التي تواجه نماذج الذكاء الاصطناعي حيث تسعى الشركات الكبيرة، وخاصة في الصناعات المنظمة مثل التمويل، إلى دمج التكنولوجيا المتطورة في أعمالها، سواء في خدمة العملاء أو أبحاث البيانات.
منذ إصدار ChatGPT في أواخر العام الماضي، أصبحت القدرة على استخراج الأرقام والنصوص المهمة وتحليل البيانات المالية بسرعة واحدة من أكثر التطبيقات الواعدة لروبوتات الدردشة. تمتلئ ملفات هيئة الأوراق المالية والبورصة (SEC) بالبيانات المهمة، وإذا تمكن الذكاء الاصطناعي من تلخيص تلك البيانات بدقة أو الإجابة بسرعة على الأسئلة المتعلقة بمحتوياتها، فقد يمنح ذلك المستخدمين ميزة في الصناعة المالية شديدة التنافسية.
ولذلك، تقوم البنوك الاستثمارية الكبرى والشركات المالية باتخاذ الترتيبات اللازمة لذلك. أصدرت بلومبرج، أكبر شركة معلومات مالية في العالم، نموذج BloombergGPT، وهو نموذج كبير تم تصميمه خصيصًا للمجال المالي. لقد درس أساتذة كلية إدارة الأعمال ما إذا كان بإمكان ChatGPT تحليل العناوين المالية. يقوم JPMorgan Chase بتطوير أداة استثمار تلقائية تعتمد على الذكاء الاصطناعي. وتشير توقعات ماكينزي الأخيرة إلى أن الذكاء الاصطناعي يمكن أن يولد إيرادات سنوية تقدر بتريليونات الدولارات للقطاع المصرفي.
لكن دخول الذكاء الاصطناعي إلى الصناعة المالية ليس بالأمر السهل. عندما أطلقت Microsoft لأول مرة برنامج Bing chatbot الخاص بها باستخدام نموذج OpenAI الكبير، كان أحد الأمثلة الرئيسية على ذلك هو ملخص سريع للبيانات الصحفية للأرباح. وسرعان ما أدرك المراقبون أن الأرقام التي نشرتها مايكروسوفت كانت خاطئة وأن بعضها ملفق بالكامل.
يشير المؤسس المشارك لشركة PatronusAI إلى أن جزءًا من التحدي المتمثل في دمج النماذج الكبيرة في المنتجات الفعلية هو أنها غير حتمية - فهي غير مضمونة لإنتاج نفس المخرجات لنفس المدخلات في كل مرة. وهذا يعني أن الشركات بحاجة إلى إجراء اختبارات أكثر صرامة للتأكد من أنها تعمل بشكل صحيح، وتلتزم بالموضوع، وتقدم نتائج موثوقة.
قام PatronusAI باختبار أربعة نماذج كبيرة: GPT-4 وGPT-4-turbo من OpenAI، وAnthropic’s Claude2، وMeta's Llama2. وبعد إجراء الاختبارات ذات الصلة، تفاجأ المؤسسان المشاركان لشركة PatronusAI بالأداء الضعيف للنموذج الكبير.
أشارت ريبيكا تشيان من PatronusAI: "من المثير للدهشة عدد المرات التي ترفض فيها النماذج الكبيرة الإجابة على الأسئلة، مع معدلات رفض عالية جدًا، حتى عندما تكون الإجابات في السياق، حتى بالنسبة للأسئلة التي يمكن للشخص العادي الإجابة عليها".
ومع ذلك، تعتقد الشركة أيضًا أنه إذا استمر الذكاء الاصطناعي في التقدم، فإن النماذج الكبيرة مثل GPT سيكون لديها إمكانات هائلة لمساعدة الأشخاص في الصناعة المالية - سواء المحللين أو المستثمرين.
أشار أحد ممثلي OpenAI إلى أن إرشادات استخدام الشركة تحظر استخدام نماذج OpenAI لتقديم مشورة مالية مخصصة دون قيام شخص مؤهل بمراجعة المعلومات، ويتطلب من أي شخص يستخدم نماذج OpenAI في الصناعة المالية تقديم إخلاء المسؤولية. تنص سياسة استخدام OpenAI أيضًا على أن نماذج OpenAI لم يتم ضبطها بدقة لتقديم المشورة المالية.