في 9 مارس، أعلنت شركة OpenAI أنها ستستحوذ على منصة أمان الذكاء الاصطناعي Promptfoo وتخطط لدمج تكنولوجيا الشركة بشكل كامل في منصة الوكيل على مستوى المؤسسة OpenAI Frontier التابعة لـ OpenAI بعد اكتمال الصفقة. يستهدف Promptfoo بشكل أساسي مستخدمي المؤسسات ويساعد في تحديد وإصلاح الثغرات الأمنية المختلفة أثناء مرحلة تطوير أنظمة الذكاء الاصطناعي. تم اعتماد أدواتها من قبل أكثر من ربع شركات Fortune 500 وتدعم التقييم واختبار الفريق الأحمر لتطبيقات نماذج اللغة الكبيرة من خلال واجهة سطر الأوامر (CLI) مفتوحة المصدر والمكتبات.
وقالت OpenAI إنه نظرًا لأن الشركات تنشر حقًا "زملاء العمل في مجال الذكاء الاصطناعي" في العمليات التجارية، فقد أصبح التقييم والأمن والامتثال من المتطلبات الأساسية. لا تحتاج المؤسسات إلى نهج منظم لاختبار سلوك الوكيل وتحديد المخاطر قبل الاتصال بالإنترنت فحسب، بل تحتاج أيضًا إلى الاحتفاظ بسجلات واضحة أثناء التشغيل والصيانة على المدى الطويل لتلبية احتياجات الإشراف والحوكمة والمساءلة. بينما تخطط OpenAI لمواصلة مشروع Promptfoo مفتوح المصدر، فإنها ستدمج قدراتها بعمق في Frontier لتزويد مستخدمي المؤسسات بحلول متكاملة أكثر اكتمالاً.
قام فريق Promptfoo، بقيادة المؤسسين المشاركين إيان ويبستر ومايكل دانجيلو، ببناء مجموعة ناضجة وقوية من الأدوات للتقييم ومحاكاة الهجوم (الفريق الأحمر) لمساعدة الشركات على تحديد المخاطر المحتملة عند تطبيق نماذج كبيرة على نطاق واسع. ذكرت OpenAI أن Promptfoo لديها تراكم هندسي عميق في تقييم نظام الذكاء الاصطناعي وأمنه واختباره على مستوى المؤسسة. ويساعد عملها المؤسسات على نشر تطبيقات ذكاء اصطناعي أكثر أمانًا وموثوقية. سيؤدي دمج هذه القدرات مباشرة في Frontier إلى تحسين مستوى الأمان العام للمنصة بشكل كبير.
وفقًا للمعلومات الصادرة عن OpenAI، سيتم تعزيز الشركات التي تبني وكلاء على منصة Frontier في المستقبل في العديد من القدرات الأساسية. أولاً، سيتم دمج اختبار السلامة والأمن كقدرات أصلية للمنصة: سيساعد اختبار الأمان الآلي وقدرات هجوم الفريق الأحمر المؤسسات على تحديد المخاطر وتخفيفها مثل الحقن الفوري، وكسر الحماية، وتسرب البيانات، وإساءة استخدام الأدوات، وسلوك الوكيل خارج السياسة. ثانيًا، سيتم دمج قدرات الأمان والتقييم بشكل أوثق في سير عمل التطوير، مما يسمح للفرق بتحديد مخاطر الوكيل واستكشاف الأخطاء وإصلاحها وإصلاحها في مرحلة مبكرة، مما يجعل الأمن أحد الجوانب الأساسية لتطوير وتشغيل نظام الذكاء الاصطناعي على مستوى المؤسسة. ثالثًا، ستعمل المنصة على تعزيز قدرات الرقابة والمساءلة من خلال دمج أدوات إعداد التقارير والتتبع لمساعدة المؤسسات على تسجيل عمليات الاختبار، ومراقبة ملفات تعريف المخاطر بمرور الوقت، وتلبية متطلبات الحوكمة والمخاطر والامتثال الصارمة بشكل متزايد.
قال إيان ويبستر، المؤسس المشارك والرئيس التنفيذي لشركة Promptfoo، إن الهدف الأصلي لـ Promptfoo هو تزويد المطورين بحل عملي وممكن لضمان أمان أنظمة الذكاء الاصطناعي. نظرًا لأن عملاء الذكاء الاصطناعي أصبحوا مرتبطين بشكل أوثق بالبيانات الحقيقية والأنظمة الرئيسية، فإن صعوبة وأهمية حمايتهم الأمنية والتحقق المنهجي تتزايد بسرعة. وقال إن الانضمام إلى OpenAI سيمكن Promptfoo من تسريع الاستثمار في هذا الاتجاه وتوفير قدرات أمنية وموثوقية وحوكمة أقوى للفرق التي تقوم ببناء أنظمة الذكاء الاصطناعي في العالم الحقيقي.
قالت OpenAI إنها متحمسة للانضمام إلى فريق Promptfoo وستواصل بناء الأدوات ذات الصلة لمساعدة المؤسسات على نشر تطبيقات الذكاء الاصطناعي وأنظمة الوكلاء بأمان وموثوقية. يظل إكمال عملية الاستحواذ خاضعًا للوفاء بشروط الإغلاق المعتادة.