كانت إحدى القضايا الأكثر إثارة للجدل في OpenAI في العام الماضي هي كيفية استجابة النماذج بالضبط عندما يُظهر مستخدمو chatbot علامات اضطراب الصحة العقلية في المحادثات، والآن غادر أندريا فالوني، رئيس الأبحاث الأمنية في هذا المجال، للانضمام إلى Anthropic.
نشرت فالوني سابقًا على موقع LinkedIn أن البحث الذي كانت مسؤولة عنه في OpenAI في العام الماضي لم يكن له "أي سوابق موجودة" تقريبًا ليتبعه. والسؤال الأساسي هو: كيف يجب أن يستجيب النموذج عند مواجهة الاعتماد العاطفي المفرط لدى المستخدمين أو العلامات المبكرة لأزمة الصحة العقلية. عملت في OpenAI لمدة ثلاث سنوات، قامت خلالها بتأسيس وقيادة فريق بحث "السياسة النموذجية" للعمل على نشر GPT-4 ونموذج الاستدلال من الجيل التالي GPT-5، وشاركت في تصميم مجموعة متنوعة من أساليب التدريب الأمني السائدة في الصناعة بما في ذلك "المكافآت القائمة على القواعد".
اليوم، انضم فالوني إلى فريق التوافق في Anthropic، المكلف بتحديد وفهم المخاطر الكبيرة التي قد تشكلها النماذج الكبيرة واستكشاف طرق التعامل معها. ستقدم تقاريرها إلى جان ليك - الرئيس السابق لأبحاث الأمن في OpenAI والذي غادر في مايو 2024 بسبب مخاوف من أن "الثقافة والعمليات الأمنية في OpenAI قد أفسحت المجال لمنتج لامع" قبل الانتقال إلى Anthropic.
في العام الماضي، استمرت الشركات الناشئة الرائدة في مجال الذكاء الاصطناعي في إثارة جدل عام حول المخاطر المرتبطة بروبوتات الدردشة المدعمة بالذكاء الاصطناعي والصحة العقلية للمستخدمين. وقد تفاقمت الصعوبات النفسية التي يواجهها بعض المستخدمين بعد التحدث إلى روبوتات الدردشة لفترة طويلة، وانهارت دفاعاتهم الأمنية تدريجيًا أثناء المحادثات الطويلة. بل كانت هناك حوادث متطرفة مثل انتحار المراهقين وارتكاب البالغين جرائم القتل بعد "الوثوق" بالأداة. دفعت العديد من الحالات العائلات إلى رفع دعاوى قضائية بشأن القتل الخطأ ضد الشركات ذات الصلة. كما عقدت لجنة فرعية تابعة لمجلس الشيوخ الأمريكي جلسات استماع حول هذه القضية، وطلبت استكشاف دور ومسؤوليات روبوتات الدردشة في مثل هذه الحوادث، وطُلب من الباحثين الأمنيين التوصل إلى حلول أكثر قوة.
قال سام بومان، أحد قادة فريق التوافق في Anthropic، على LinkedIn إنه "فخور بمدى الجدية التي تتعامل بها Anthropic مع هذه المشكلة" وأن الشركة تفكر مليًا في "كيفية تصرف أنظمة الذكاء الاصطناعي". وكتبت فالوني في منشور جديد على موقع LinkedIn يوم الخميس أنها "تتطلع إلى مواصلة بحثها في Anthropic، مع التركيز على تشكيل سلوك كلود في المواقف الجديدة من خلال المواءمة والضبط الدقيق".