في اليوم الثاني من حدث OpenAI "12 Days"، شهدنا الإصدار الرسمي لتقنية ReinforcementFine-Tuning وشاهدنا عرضًا توضيحيًا لـ ChatGPTPro. على الرغم من أن سام ألتمان لم يقم بزيارة الموقع شخصيًا، إلا أن فريقه قدم لنا تحليلًا متعمقًا لهذه التكنولوجيا، مما يشير إلى أن تخصيص نموذج الذكاء الاصطناعي قد يؤدي إلى تحقيق تقدم كبير.
12 مثالًا لتخصيص النموذج الخبير
يأتي مؤتمر اليوم بإعلان قد يبدو غير واضح ولكن يمكن أن يكون له تأثير كبير على حياة الناس.
يعد إعلان اليوم مفاجأة سارة لمستخدمي المؤسسات. ستتمكن المؤسسات من تخصيص o1mini حسب احتياجاتها من خلال الضبط الدقيق المعزز باستخدام الحد الأدنى من البيانات.
ربما يكون البعض منكم على دراية بواجهة برمجة التطبيقات (API) للضبط الدقيق للإشراف التي أطلقتها OpenAI في أوائل العام الماضي. يعد الضبط الدقيق الخاضع للإشراف أداة قوية تسمح للنموذج بتقليد الميزات الموجودة في النص أو الصور المدخلة. تعد هذه الطريقة مفيدة جدًا للسيناريوهات التي تحتاج إلى تعديل نغمة النموذج أو نمطه أو تنسيق الاستجابة. لكن الضبط الإشرافي يتطلب كميات كبيرة من البيانات في مجالات متخصصة. وتتمثل ميزة الضبط الدقيق المكثف في إمكانية ضبط طريقة التفكير الخاصة بالنموذج بسرعة باستخدام عدد صغير جدًا من الأمثلة عالية الجودة. وكان من الصعب تحقيق هذا النوع من الكفاءة في الضبط الإشرافي السابق.
مبدأ العمل لضبط التعزيز هو: عندما يواجه النموذج مشكلة، يتم منحه قدرًا معينًا من مساحة التفكير لحل المشكلة، ثم يتم تسجيل الإجابة النهائية للنموذج. من خلال آلية التعلم المعزز يتم تقوية الأفكار التي تؤدي إلى الإجابات الصحيحة، بينما يتم إضعاف الأفكار التي تؤدي إلى الإجابات الخاطئة.
الأوراق ذات الصلة التي قدمتها AIoverview هي:وتبين أنها ورقة بحثية من ByteDance في قمة ACL2024 في يناير من هذا العام، ولم تكن الأولى من نوعها بالنسبة لـ OpenAI.
وفقًا للورقة البحثية، يبدأ الضبط الدقيق للتعزيز (ReFT) بالضبط الدقيق تحت الإشراف (SFT)، والذي يستمر عادةً من عصر إلى عصرين. في هذه المرحلة، يكتسب النموذج القدرة الأساسية على حل المسائل الرياضية بشكل صحيح. بعد ذلك، يأخذ ReFT تدريب النموذج إلى مستوى جديد من خلال اعتماد خوارزميات التعلم المعزز (RL) باستخدام أساليب مثل تحسين السياسة القريبة (PPO). تسمح هذه المرحلة المتقدمة للنموذج باستكشاف وتعلم مجموعة متنوعة من الحلول الصحيحة وطرق التفكير. في هذا السياق، يعتبر ReFT فعالا لأنه يستخدم بيانات التدريب الموجودة، والتي تحتوي بالفعل على الإجابات الصحيحة.
تشكل هذه الإجابات الأساس للمكافآت أثناء تدريب PPO، مما يلغي الحاجة إلى نظام مكافآت إضافي مدرب بشكل منفصل. وهذا فرق مهم عن الطرق الأخرى مثل RLHF،ويعتمد الأخير على المكافآت التي تحددها البيانات المشروحة من قبل الإنسان.
مصدر لقطة الشاشة: https://arxiv.org/pdf/2401.08967v1
ومن الجدير بالذكر أن OpenAI قالت إنه بناءً على الضبط الدقيق للتعزيز، مع بضع عشرات من الأمثلة فقط، يمكن للنموذج إتقان القدرة على التفكير بطرق جديدة وفعالة في مجال معين.
في الواقع، "يمكن القيام بذلك باستخدام 12 نموذجًا فقط، وهو ما لا يمكن تحقيقه من خلال الضبط الدقيق التقليدي." وفي المؤتمر الصحفي، أكدت جولي وونغ، الباحثة في OpenAI.
تأثير الضبط الدقيق المحسن مذهل أيضًا. النتيجة ليست أعلى من o1mini فحسب، بل تتفوق أيضًا على إصدار o1 الذي تم إصداره بالأمس.
الرئيس التنفيذي لشركة OpenAI Sam Altman، على الرغم من عدم حضوره في البث المباشر اليوم، ناقش الإعلان على منصة X. وادعى أن الميزة الجديدة "تعمل بشكل مذهل وهي واحدة من أكبر مفاجآتي في عام 2024".
بالطبع، ألتمان لديه مصلحة خاصة في الترويج للأفكار الجديدة لشركته، ولكن بالنظر إلى أن هناك الكثير من الأشياء المثيرة القادمة من OpenAI في عام 2024، ووصفها بأنها واحدة من أكبر المفاجآت لهذا العام، فهذا بالتأكيد يستحق الثناء.
وفقا للمتحدثين في OpenAI، يمكن للعلماء والمطورين والباحثين تخصيص نماذج استدلال o1 القوية بناءً على بياناتهم الخاصة، بدلاً من الاعتماد فقط على البيانات المتاحة للجمهور.
يمكن للممارسين في مختلف المجالات إنشاء نماذج متخصصة تعتمد على o1 من خلال التعلم المعزز، وبالتالي تحسين المستوى المهني العام في هذا المجال. يمثل هذا خطوة رئيسية في تخصيص الذكاء الاصطناعي، مما يسمح لنماذج الذكاء الاصطناعي بإظهار أداء أفضل في المجالات المهنية.
عرض حي للضبط الدقيق المحسن لتحسين النماذج الكبيرة
في مكان الحادث، استخدم باحثو OpenAI جاستن ريس، عالم الأحياء الحسابي في مختبر بيركلي، لتوضيح كيف يمكن للضبط الدقيق المعزز أن يحسن أداء o1mini بشكل كبير. على وجه التحديد، يتم تقديم قائمة بالأعراض ويطلب من النموذج التنبؤ بالجين الذي قد يسبب المرض الوراثي.
أولاً، انظر إلى مجموعة البيانات المستخدمة لتدريب النموذج والهداف المستخدم لتقييم النموذج. جمع فريق جاستن مجموعة بيانات تحتوي على حوالي 1100 مثال. مجموعة بيانات التدريب هي مجرد ملف JSON-L. يعد كل سطر في الملف مثالاً تريد تدريب النموذج عليه. بالإضافة إلى ذلك، يتم تحميل بيانات التحقق في العرض التوضيحي.
يوضح جون ألارد من معهد أبحاث OpenAI: "لا يوجد تداخل بين مجموعات بيانات التحقق والتدريب فيما يتعلق بالجينات الصحيحة. وهذا يعني أن النموذج لا يمكنه الغش، أو أنه لا يمكنه تعلم مجرد تذكر قائمة الأعراض وربطها بالجينات، بل يجب عليه التعميم من مجموعة بيانات التدريب إلى مجموعة بيانات التحقق من الصحة".
ثم ابدأ وظيفة تدريبية على البنية التحتية للتدريب في OpenAI. يمكنك تحديد مجموعة التدريب ومجموعة التحقق من الصحة في واجهة الويب وتكوينها وفقًا لذلك.
وأخيرًا، قم بتقييم النموذج الذي تم ضبطه بدقة حتى تتمكن من معرفة مدى تحسنه مقارنة بالنموذج الأساسي الذي بدأت به. وظيفة المسجل هي ببساطة أخذ مخرجات النموذج والإجابة الصحيحة ومقارنتهما وإرجاع درجة بين 0 و1. 0 يعني أن النموذج لم يحصل على الإجابة الصحيحة على الإطلاق، و1 يعني أن النموذج حصل على الإجابة الصحيحة.
وقال ألارد إن الضبط الدقيق المكثف يمكن أن يستغرق ساعات إلى أيام للتشغيل، لذلك أظهر نتائج التشغيل السابق على نفس مجموعة البيانات. يشير النموذج إلى أن الجين المرشح الأكثر احتمالاً هو TSC2 أيضًا، والإجابة الصحيحة هي نفسها بالفعل. لذلك، يمكن للنموذج أن يمرر topat1 وtopat5 وtopatmax.
بالإضافة إلى ذلك، أثناء عملية الضبط الدقيق، يمكنك أيضًا ملاحظة الاتجاهات المتغيرة لمؤشرات أداء النموذج:
أثناء الاختبار، قامت OpenAI بإعداد تشغيل ثلاثة نماذج مختلفة: الأول كان لنموذج o1 الذي تم إصداره بالأمس، والثاني كان لـ o1mini، والأخير كان لـ o1mini المحسّن والمضبوط بدقة. كما يمكن أن نرى، حققت o1mini درجة 17% على ما يقرب من 200 مجموعة بيانات، وكان أداء o1 أفضل وحققت 25%، وحققت o1mini المضبوطة بدقة درجة 31%.
خاتمة
تم تعليق حدث OpenAI الذي يستمر لمدة 12 يومًا حتى نهاية الأسبوع. لن يكون كل إعلان ناجحًا، وقد قالت شركة OpenAI نفسها إنه يمكنك توقع أشياء جديدة "كبيرة وصغيرة".
فيما يلي قائمة بما يمكن أن تراه وسائل الإعلام الأجنبية في حدث الأسبوع المقبل (ستكون هناك بعض المفاجآت): إنشاء فيديو Sora-ai، وتحديث Canvas (قد يشمل صورًا)، وتحليل فيديو GPT-4o، وتوليد صور GPT-4o، والصوت والفيديو المتقدمين، وما إلى ذلك.
يبدو أن تفاعل ألترامان مع مستخدمي الإنترنت على تويتر يشير ضمنًا إلى أن البث المباشر العشرة القادم سيبلغ عن آخر تطورات سورا.