أعلنت Cloudflare مؤخرًا أنها ستجري تعديلات مهمة على التكوين الافتراضي لمواقع الويب التي تستخدم خدماتها، مما يحدد "موعدًا نهائيًا" جديدًا لصناعة الذكاء الاصطناعي بأكملها: مطالبة شركات الذكاء الاصطناعي بالتمييز بوضوح بين برامج زحف الويب المستخدمة للبحث التقليدي عن برامج الزحف المستخدمة لوكلاء الذكاء الاصطناعي والتدريب النموذجي بحلول 15 سبتمبر من هذا العام، وإلا سيتم حظر برامج الزحف "ذات الاستخدام المختلط" هذه افتراضيًا على عدد كبير من الصفحات الإعلانية.
وفقًا للتفاصيل التي أعلنتها Cloudflare، سيتم منع أي زاحف بيانات يُستخدم للبحث واستدعاء وكيل الذكاء الاصطناعي والتدريب النموذجي في نفس الوقت من الزحف افتراضيًا إذا وصل إلى صفحة ويب تستضيف الإعلانات، ما لم يغير مالك موقع الويب الإعدادات ذات الصلة بشكل فعال. سيتم تطبيق هذه الإعدادات الافتراضية الجديدة على عملاء Cloudflare الجدد، والمواقع الجديدة التي أنشأها العملاء الحاليون، وجميع مواقع المستخدمين المجانية الحالية. ستؤثر هذه الخطوة بشكل مباشر على الطريقة التي يحصل بها مقدمو نماذج الذكاء الاصطناعي على محتوى الويب للتدريب وتوليد الخدمات، وستغير أيضًا نمط توفير البيانات خلف خدمات وكيل الذكاء الاصطناعي.
وأشارت Cloudflare إلى أن معظم أصحاب المواقع يأملون في إمكانية اكتشاف محتواهم من خلال محركات البحث التقليدية، ويسعدون أيضًا أن يتم الاستشهاد بهم من قبل خدمات الذكاء الاصطناعي ضمن شروط معينة، لكنهم لا يريدون أن يتم اختلاس حقوق الملكية الفكرية الخاصة بهم مجانًا وعلى نطاق واسع دون تصريح. أطلق على Cloudflare لقب "أكبر محرك بحث في العالم" (يشير على ما يبدو إلى Google) في وصفه، قائلاً إنه يحتوي على "ما يقرب من ضعف كمية المعلومات التي يمكن الوصول إليها" مقارنة بشركات الذكاء الاصطناعي الأخرى. والسبب هو أن عملاق البحث يجعل من الصعب على المواقع الحفاظ على رؤية البحث مع تجنب استخدام الذكاء الاصطناعي تمامًا.
ولطالما دحضت جوجل الاتهامات العامة المماثلة، مؤكدة أنها توفر روبوتًا يسمى "Google Extended" لاختيار المواقع، والذي يستخدم للرفض صراحة لاستخدام محتوى موقع الويب في تدريب الذكاء الاصطناعي ومنتجات وخدمات الذكاء الاصطناعي مثل Gemini Apps وVertex API، دون التأثير على إدراج الموقع في بحث جوجل. ومع ذلك، في حين يقوم برنامج Googlebot للزاحف الأساسي من Google بفهرسة الصفحات للبحث، فإنه يوفر أيضًا دعم البيانات لوظائف الذكاء الاصطناعي المضمنة في البحث مثل نظرة عامة على الذكاء الاصطناعي ووضع الذكاء الاصطناعي.
وقال ماثيو برينس، المؤسس المشارك والرئيس التنفيذي لشركة Cloudflare، في الإعلان إنه مع تغير هيكل حركة المرور على الإنترنت، "لم يعد البشر قادرين على الوصول إلى الغالبية العظمى من حركة المرور على الإنترنت اليوم". وكانت الصناعة قد توقعت في السابق أن نقطة الانعطاف حيث "تتجاوز حركة الروبوتات حركة المرور البشرية" لن تحدث حتى العام المقبل. وأكد: "في هذه الحالة، يجب علينا أن نذهب إلى أبعد من ذلك ونتحرك بشكل أسرع لتشكيل نظام بيئي مستدام حقًا".
وقال برينس إن الأدوات والشراكات الجديدة لـ Cloudflare ستوفر لأصحاب مواقع الويب رؤية أكبر وفرص عمل في عصر الذكاء الاصطناعي، بينما ستستفيد أيضًا من برامج زحف الذكاء الاصطناعي باستخدامات واضحة ونوايا شفافة. ويأمل أنه من خلال تعديل السياسة الافتراضية، يمكنه إجبار "برامج الزحف متعددة الأغراض" على الفصل بوضوح بين البحث التقليدي واستدعاءات الوكلاء وأغراض التدريب. على مستوى الأعمال الخارجية، توفر Cloudflare مجموعة متنوعة من المنتجات لمساعدة المستخدمين على بناء أنظمة الذكاء الاصطناعي الخاصة بهم. ومن ناحية أخرى، أطلقت أيضًا سلسلة من أدوات "تعزيز التحكم" للناشرين وأطراف المحتوى في السنوات الأخيرة.
في وقت مبكر من عام 2024، أطلقت Cloudflare أداة مخصصة لمكافحة برامج زحف الذكاء الاصطناعي، ثم أطلقت سوقًا يسمى "الدفع لكل زحف" في عام 2025، مما يسمح لمواقع الويب بفرض رسوم على برامج زحف الذكاء الاصطناعي مقابل رسوم الزحف. تظهر آخر الأخبار أن هذا النموذج يتطور بشكل أكبر إلى "الدفع لكل استخدام"، أي أنه لم يعد يفرض رسومًا على أساس "سلوك الزحف" فحسب، بل يفرض رسومًا على شركات الذكاء الاصطناعي بناءً على "إنشاء القيمة" الفعلي للمحتوى في نظام الذكاء الاصطناعي.
أشارت Cloudflare إلى أن نموذج "الدفع لكل استخدام" هذا لا يوفر للناشرين قنوات إيرادات جديدة فحسب، بل يساعد أيضًا في توفير النطاق الترددي وموارد الحوسبة الخاصة بهم، لأن بياناته الداخلية تظهر أن أكثر من 50٪ من حركة مرور زحف الذكاء الاصطناعي يتم إنفاقها على الزحف المتكرر للصفحات التي لم يتم تحديثها. من خلال آليات الفوترة والتحكم الجديدة، يمكن للناشرين إعطاء الأولوية للموارد المحدودة للطلبات ذات القيمة الحقيقية مع فرض قيود مالية على "عمليات الزحف المكررة غير الفعالة".
فيما يتعلق بالتعاون في التنفيذ المحدد، أطلقت Cloudflare حاليًا مشاريع تجريبية مع شريكين، Ceramic.ai وYou.com. عندما يختار الناشرون الانضمام إلى البرنامج، سيحصلون على التعويض المقابل طالما أن المحتوى الخاص بهم يظهر في نتائج بحث Ceramic's AI أو يتم الوصول إليه كجزء من "المحتوى المتميز المدفوع" بواسطة You.com. وقالت Cloudflare إن شركات الذكاء الاصطناعي الأخرى يمكنها أيضًا تخصيص نموذج الدفع هذا وتوسيعه وفقًا لنماذج المنتجات الخاصة بها.
على خلفية الاهتمام التنظيمي والعامة المتزايد بقضايا الزحف إلى الذكاء الاصطناعي وحقوق الطبع والنشر، تهدف تعديلات سياسة Cloudflare وتحديثات نموذج الأعمال بشكل واضح إلى اكتساب المزيد من مساحة الرأي والربح للناشرين، مع فرض ضغط جديد على الشفافية والامتثال على شركات الذكاء الاصطناعي. بالنسبة لصناعة الذكاء الاصطناعي، مع الاستمرار في الاعتماد على محتوى الويب الضخم لتدريب وتشغيل العديد من الوكلاء الأذكياء، فإن كيفية تحقيق التوازن بين الراحة التقنية وحقوق ومصالح مالكي المحتوى ستصبح قضية أساسية لا مفر منها في المستقبل.