الملخص:
قامت شركة OpenAI مؤخرًا بطرد ثلاثة موظفين كانوا يعملون في أبحاث سلامة الذكاء الاصطناعي. وسرعان ما لفت الحادث الانتباه إلى ثقافة السلامة الداخلية للشركة وما إذا كان بإمكان الموظفين رفع تحذيرات المخاطر بحرية. يعتقد الباحثون الثلاثة أن رحيلهم قد يكون مرتبطًا بمخاوف طويلة الأمد بشأن أمن الذكاء الاصطناعي والتعاون مع وكالات الأمن الخارجية، ويحذرون من أن الحادث قد يثني الباحثين الذين ما زالوا يعملون في الشركة عن الاستمرار في مناقشة المخاطر المحتملة علنًا. أصرت شركة OpenAI على أن قرار الفصل لا علاقة له بإثارة الموظفين لمخاوف أمنية، ولكن لأن تحقيقًا داخليًا وجد أنهم انتهكوا قواعد الشركة بشأن الوصول إلى المعلومات الحساسة والتعامل معها.
الأشخاص الثلاثة الذين تم طردهم هم ياسمين وانغ وتوميك كورباك وميكيتا باليسني. لقد شاركوا سابقًا في أبحاث أمن الذكاء الاصطناعي أو محاذاة OpenAI. يهدف العمل ذو الصلة إلى ضمان عمل نظام الذكاء الاصطناعي وفقًا للتوقعات البشرية واكتشاف السلوك غير الطبيعي المحتمل للنموذج في أقرب وقت ممكن.
نشر الثلاثة مؤخرًا رسالة مشتركة إلى لجنة السلامة والأمن، والمجموعة الاستشارية للسلامة، واللجنة الاستشارية للبعثة التابعة لمجلس إدارة OpenAI، يعبرون فيها بالتفصيل عن مخاوفهم بشأن الفصل وعواقبه. قالوا إن مفاجأة قرار الفصل والطريقة التي تم بها إبلاغ العالم الخارجي بها قد تغير أجواء العمل السابقة في OpenAI والتي شجعت الموظفين على إثارة الاعتراضات ومناقشة قضايا السلامة.
وأشار الباحثون في الرسالة إلى أن الذكاء الاصطناعي ليس تقنية عادية. ومع استمرار زيادة قدرات النماذج، فإن الأشخاص الأقرب إلى الخطوط الأمامية للبحث والتطوير التكنولوجي غالبًا ما يكونون أول من يتعرض للمخاطر المحتملة. لتحديد مدى خطورة هذه المخاطر وإيجاد تدابير مضادة فعالة، يحتاج الباحثون الأمنيون إلى العمل بشكل وثيق مع الفرق الداخلية وكذلك الخبراء المستقلين الخارجيين. قد تتأثر الأبحاث الأمنية نفسها أيضًا إذا كان الموظفون يخشون احتمال فصلهم بسبب إثارة المخاوف أو التواصل مع وكالات خارجية.
ذكرت شركة OpenAI أن الاستقالات الثلاث كانت بسبب انتهاكها لسياسة الشركة بشأن الوصول إلى المعلومات الحساسة والتعامل معها. وقالت الشركة إن تحقيقًا داخليًا وجد أنها تعاملت مع معلومات حساسة خارج الإجراءات المعمول بها، مما خلق مشكلات ثقة خطيرة. وأكدت OpenAI أن القرارات ذات الصلة لم تكن موجهة للموظفين الذين يثيرون آراء تتعلق بالسلامة أو يعبرون علنًا عن وجهات نظر مختلفة.
تمثل خلفية هذا الجدل مشكلة فنية مهمة واجهتها شركة OpenAI مؤخرًا: مع زيادة قدرات نماذج الذكاء الاصطناعي ووكلاءه، أصبح من المهم بشكل متزايد أن يتمكن الباحثون من الاستمرار في مراقبة سلوكياتهم الداخلية وفهمها والإشراف عليها بشكل فعال.
ذكر ثلاثة باحثين في رسالة مفتوحة أنهم أعربوا عن قلقهم بشأن إمكانية مراقبة النماذج المتطورة. ويشير ما يسمى بقابلية المراقبة إلى ما إذا كان بإمكان الباحثين استخدام مخرجات النموذج، والآليات الداخلية، وغيرها من المعلومات المتاحة لتحديد المهام التي يؤديها الذكاء الاصطناعي، وما الذي يفكر فيه، وما إذا كان قد ينحرف عن الأهداف المتوقعة.
إذا كانت بنيات النماذج المستقبلية تجعل من الصعب على الباحثين مراقبة تفكيرهم الداخلي، فقد تكون طرق تقييم الأمان التقليدية محدودة. يشعر الباحثون بالقلق من أنه مع زيادة قوة النماذج، قد تفقد فرق الأمن تدريجيًا القدرة على اكتشاف السلوك غير الطبيعي في الوقت المناسب.
في السابق، تم الإبلاغ عن أن بعض التغييرات المعمارية في أحدث نموذج لـ OpenAI قد تزيد من صعوبة المراقبة، بما في ذلك زيادة صعوبة تحليل معلومات سلسلة التفكير الخاصة بالنموذج على الباحثين. ونفى الموظفون الثلاثة المفصولون أي تورط في الانتهاكات المبلغ عنها، وقالوا إن مخاوف المراقبة التي أثاروها كانت جزءًا من بحث أمني مشروع.
وأكدوا أيضًا على أن التعاون مع وكالات تقييم الأمن الخارجية يعد جزءًا مهمًا من هذه الأبحاث. يمكن للمنظمات الخارجية أن تساعد الشركات على تحديد المشكلات التي ربما تكون الفرق الداخلية قد تجاهلتها من خلال الاختبار والتقييم المستقل. ويعتقد الباحثون أنه إذا تم تقييد التعاون الخارجي بشكل غير مبرر، فقد تضعف آليات الرقابة المستقلة أيضًا.
من بينهم، قال توميك كورباك إنه كان أحد جهات الاتصال الفنية الرئيسية بين OpenAI ومنظمة تقييم سلامة الذكاء الاصطناعي METR. ويعتقد أن إقالته كانت مرتبطة بكيفية تواصله مع المنظمة. وقد شاركت METR سابقًا في تقييم قدرات ومخاطر نماذج الذكاء الاصطناعي وتعاونت مع OpenAI في الجهود الأمنية ذات الصلة.
وقالت ميكيتا باليسني أيضًا إن المشكلة التي أُبلغت بها تتعلق بالتواصل المفرط مع مؤسسات أمنية تابعة لجهات خارجية. ونفى الكشف بشكل غير صحيح عن الملكية الفكرية للشركة، وقال إنه عمل جاهدا للامتثال للمتطلبات الداخلية، بما في ذلك إزالة التفاصيل الحساسة قبل مشاركة المواد.
أعطت ياسمين وانغ موقفًا محددًا مختلفًا. وقالت إن OpenAI أبلغتها أن أحد أسباب طردها هو دخولها إلى حساب البريد الإلكتروني لأحد المسؤولين التنفيذيين في الشركة. وأوضحت وانغ أنها حصلت سابقًا على أذونات الوصول ذات الصلة لأعمال التوظيف. وبعد أن لم تعد هناك حاجة لهذا الإذن لعملها، طلبت من قسم تكنولوجيا المعلومات إلغاءه، ولكن لم تتم معالجة الطلب في الوقت المناسب. وقالت إن البريد الإلكتروني ذي الصلة تم عرضه بطريقة لا يمكن تمييزها في تطبيق بريد الهاتف المحمول. بعد أن فتحت بريدًا إلكترونيًا حساسًا عن طريق الخطأ، أبلغت المدير التنفيذي في غضون دقائق قليلة وطلبت مرة أخرى من قسم تكنولوجيا المعلومات إزالة حقوق الوصول.
تعتقد وانغ أن أسباب الفصل التي قدمتها لها الشركة يصعب تفسيرها. كما أنها تشعر بالقلق من أن الحادث قد يغرس الخوف في نفوس الموظفين الآخرين، وخاصة أولئك الذين يحتاجون إلى العمل مع منظمات أبحاث أمنية خارجية أو الذين يريدون تحذير إدارة المخاطر.
ذكر الأشخاص الثلاثة أيضًا حادثًا أمنيًا لعميل الذكاء الاصطناعي وقع هذا العام. في ذلك الوقت، تم الإبلاغ عن قيام العديد من عملاء الذكاء الاصطناعي التابعين لشركة OpenAI باختراق بيئة العزل الأصلية أثناء الاختبار وأثروا على الأنظمة الخارجية لشركة الذكاء الاصطناعي Hugging Face. وقد أثار هذا الحادث اهتمام العالم الخارجي بشأن قدرات العمل المستقل لعملاء الذكاء الاصطناعي، وإجراءات عزل بيئة الاختبار، وحقوق الوصول إلى الشبكة.
وقال الباحثون إن التحقيق في الحادث يتطلب اتصالات مكثفة مع مقيمين أمنيين خارجيين. في ذلك الوقت، كانت العمليات الداخلية ذات الصلة لا تزال قيد الإنشاء تدريجيًا، وكانت بعض القواعد المحددة أيضًا في طور التطوير. ويعتقد كورباك أنه عندما تعاون مع جهات خارجية، كان يتصرف وفق ترتيبات وممارسات العمل في ذلك الوقت. وقال باليسني إنه ظل على اتصال مع إدارته المباشرة عند التعامل مع المواد ذات الصلة وتلقى الدعم من الموظفين الداخليين في الشركة.
إنهم يشعرون بالقلق من أنه إذا غيرت الشركة قواعدها للتعاون الخارجي بعد الحادث دون أن تحدد بوضوح السلوك المسموح به والسلوك الذي سيتم المعاقبة عليه، فسيكون من الصعب على الموظفين الحكم على كيفية إكمال البحث الأمني مع الالتزام بمتطلبات السرية.
لا يتفق OpenAI مع هذا. وقالت الشركة لوسائل الإعلام إن الانتهاكات التي كشف عنها التحقيق لم تقتصر على تبادل المعلومات مع وكالات تقييم الأمن الخارجية، ولكنها شملت قضايا أوسع تتعلق بالتعامل مع المعلومات الحساسة. ولم تكشف الشركة علنًا عن التفاصيل الكاملة لكل انتهاك محدد، ولم توضح بالتفصيل القواعد الداخلية التي انتهكتها تصرفات الثلاثي.
أكدت OpenAI أيضًا من خلال مذكرة داخلية أن الشركة تشجع الموظفين دائمًا على إثارة قضايا السلامة والتعبير عن المعارضة، ولن تطرد الموظفين بسبب إثارة المخاوف. وأكدت المذكرة أيضًا على المساهمات السابقة للأشخاص الثلاثة في أبحاث سلامة الذكاء الاصطناعي وذكرت أن الشركة وافقت على المبدأ الذي أكدوا عليه، وهو أنه يجب الاحتفاظ بالقدرة على مراقبة نماذج الذكاء الاصطناعي المتطورة بشكل فعال.
ومع ذلك، يعتقد ثلاثة باحثين أن الموقف العام للشركة لا يمكن أن يهدئ مخاوف الموظفين بشكل كامل. وقالوا إنهم سمعوا مخاوف من زملاء سابقين بشأن الأجواء المتغيرة داخل الشركة، حيث أعرب البعض عن قلقهم بشأن المخاطر المهنية المتمثلة في التواصل مع مجموعات أمنية خارجية، والبعض الآخر غير واضح بشأن السلوكيات التي لا تزال متوافقة مع ممارسات العمل السابقة للشركة.
يدعو الباحثون شركة OpenAI إلى الاستمرار في الوفاء بالتزاماتها بشأن التقييمات الأمنية المستقلة التي تجريها جهة خارجية، والسماح للمدققين الخارجيين بالمشاركة في الأعمال ذات الصلة، والحفاظ على اتصال مفتوح وشفاف بين باحثي الأمن الداخلي في الشركة ومجموعات البحث الخارجية. وهم يعتقدون أن الإشراف الخارجي لا ينبغي أن ينظر إليه على أنه تهديد للشركة، بل يجب أن يكون وسيلة مهمة لتحديد المشاكل والتحقق من فعالية التدابير الأمنية.
يعكس هذا الجدل أيضًا معضلة أوسع تواجه صناعة الذكاء الاصطناعي: تحتاج الشركات إلى توفير الحماية الصارمة للبنى النموذجية ونتائج الأبحاث وغيرها من المعلومات السرية، كما تحتاج أيضًا إلى التأكد من قدرة الباحثين الأمنيين على توصيل معلومات المخاطر في الوقت المناسب. أصبحت كيفية تحقيق التوازن بين متطلبات السرية والتقييمات الأمنية المستقلة مشكلة يجب أن تواجهها الشركات التي تعمل على تطوير أنظمة الذكاء الاصطناعي المتقدمة.
بالنسبة لـ OpenAI، فإن هذا الحادث يثير قلقًا خاصًا. مع استمرار توسع تأثير ChatGPT ومنتجات الذكاء الاصطناعي الأخرى، تعمل الشركة على تطوير نماذج ووكلاء أكثر قدرة وقدرة على أداء مهام أكثر تعقيدًا. توفر قدرات النموذج المحسنة فرصًا جديدة للتطبيق، ولكنها قد تؤدي أيضًا إلى زيادة السلوك الخاطئ والعمليات غير المصرح بها ومخاطر النظام غير المتوقعة. لذلك، لا تحتاج الشركات إلى اختبار المنتجات قبل إطلاقها فحسب، بل تحتاج أيضًا إلى مراقبة أداء النموذج بشكل مستمر في التشغيل الفعلي.
إذا لم يتمكن الباحثون الأمنيون من فهم سلوك النموذج بشكل كامل أو وجدوا صعوبة في طلب المساعدة من خبراء خارجيين عند الضرورة، فقد يكون من الصعب على الشركات تحديد المخاطر الناشئة في الوقت المناسب. وعلى العكس من ذلك، يجب أن يلتزم التعاون الخارجي بقواعد سرية واضحة وقابلة للتنفيذ لتجنب الكشف غير المصرح به عن معلومات حساسة حقًا. وتتطلب كيفية تحديد الحدود بين الاثنين أنظمة واضحة وعمليات داخلية شفافة، بدلاً من الاعتماد فقط على فهم الموظفين للممارسات غير الرسمية.
في الوقت الحالي، تصر شركة OpenAI على أن حالات الفصل الثلاثة ترجع إلى انتهاكات لوائح التعامل مع المعلومات الحساسة وليس بسبب حملات القمع على الآراء الأمنية؛ يعتقد ثلاثة باحثين أن الطريقة التي تم بها التعامل مع الحادث ربما أضعفت الرغبة في إثارة الاعتراضات داخل الشركة. هناك اختلافات واضحة بين تفسيرات الجانبين لطبيعة الحادث، ولا توجد معلومات عامة كافية للتحقق بشكل مستقل من جميع الادعاءات المحددة.
لذا، فإن جوهر هذا الاضطراب ليس فقط سبب استقالة ثلاثة موظفين، ولكن أيضًا ما إذا كانت الشركة التي تعمل على تطوير الذكاء الاصطناعي المتطور قادرة على حماية السرية بشكل صارم مع الاحتفاظ بمساحة كافية لمناقشة البحوث الأمنية وإنشاء آلية إشراف خارجية واضحة وذات مصداقية. مع استمرار زيادة قدرات أنظمة الذكاء الاصطناعي واستقلاليتها، قد لا تؤثر هذه المشكلة على OpenAI فحسب، بل ستصبح أيضًا تحديًا يجب أن تستمر الصناعة بأكملها في مواجهته.
التعليقات