الملخص:
وبالمثل، للقيام بجميع مهام البرمجة العشرة بشكل صحيح، فإن تكلفة الإصدار الجديد من DeepSeek أقل من 40% من تكلفة Claude Opus 5.5، وكان متوسط الانتظار لكل مهمة أطول بدقيقتين. في 17 أكتوبر، أصدرت DeepSeek الإصدار V4.1-Flash-1017، وبقي السعر دون تغيير. بعد إصداره، استخدمه المطورون بالفعل لصنع الألعاب، وإنشاء صفحات الويب، وتعديل التعليمات البرمجية.
من أجل اختبار مستواه الفعلي، اختار المطور Ibragim Badertdinov 10 مهام من عمله اليومي وقام بتشغيل نماذج مختلفة ثلاث مرات في نفس مجموعة أدوات البرمجة، وذلك باستخدام ترس الاستدلال العالي لـ DeepSeek V4.1-Flash-1017 والترس المنخفض لـ Opus 5.5 وGPT-6 Astra.
بعد الاختبار الفعلي، اجتازت النماذج الثلاثة الاختبار، ولكن الفجوة اتسعت بسبب الفواتير واستهلاك الوقت: أنفقت DeepSeek فقط ما متوسطه 0.045 دولارًا أمريكيًا لكل مهمة، وهو أقل بكثير من 0.1168 دولارًا أمريكيًا لـ Opus وGPT-6 Astra الذي يبلغ حوالي 0.26 دولارًا أمريكيًا؛ ومع ذلك، استغرق Opus وGPT 37 ثانية و55 ثانية فقط لإكمالهما، على التوالي، لكن DeepSeek استغرق دقيقتين و38 ثانية.
هذه المهام العشر كلها صغيرة الحجم. كمشروع كامل، هل الفجوة بين DeepSeek وGPT وClaude مجرد مسألة انتظار لفترة أطول قليلاً؟
اجتزت جميع الأسئلة العشرة في 01، DeepSeek يوفر المال، Opus يوفر الوقت
جاءت المواضيع التي اختارها إبراهيم من حوالي ثلاثة أشهر من سجلاته الخاصة لاستخدام الوكلاء، بما في ذلك معالجة البيانات والواجهة الخلفية والواجهة الأمامية والنشر باستخدام Python وTypeScript. لقد اختار المهام التي يمكنه إكمالها عادةً في أقل من ساعة، ثم أضاف إليها برامج فحص تلقائية.
المثال المبسط الذي كشف عنه هو استيراد مجموعة من البيانات إلى جدول بيانات محلي. بالإضافة إلى الاستيراد الناجح، يجب على البرنامج أيضًا تخطي السجلات المكررة، ورفض الأرقام المتعارضة، والإبلاغ عن البيانات غير المرضية؛ عند استبدال البيانات القديمة، لا يمكن تدمير المحتوى الأصلي في منتصف عملية الكتابة. سيتحقق الاختبار من المدخلات الفارغة، وتعارض البيانات، وفساد الملف الأصلي، وما إلى ذلك.
لقد اجتازت النماذج الثلاثة هذه الاختبارات، لكن DeepSeek اتخذ المزيد من الخطوات. يعمل DeepSeek أيضًا على أداة البرمجة Pi، ويستغرق متوسط 15.3 خطوة لكل مهمة، ويأخذ Opus 3.7 خطوة، ويستغرق GPT-6 Astra 6.5 خطوة. يبلغ إجمالي استخدام الرمز المميز لـ DeepSeek حوالي 547000، بينما يبلغ إجمالي استخدام Opus حوالي 31000.
أستخدم الكثير، لكن الفاتورة لا ترتفع. وأوضح إبراهيم أن جميع مدخلات DeepSeek تقريبًا قد وصلت إلى ذاكرة التخزين المؤقت، ووصل معدل ضرب ذاكرة التخزين المؤقت المسجلة إلى 97.9%. لم تتم كتابة الرموز المميزة البالغ عددها 547000 بواسطة النموذج حديثًا. تضمنت هذه الإجابة الطويلة محتوى تم إرساله بشكل متكرر في جولات متعددة من المكالمات. أبقت المدخلات المخزنة مؤقتًا الرخيصة تكلفة هذا الاختبار أقل من 5 سنتات لكل اختبار.
بالنسبة للمستخدمين، يعتمد ما إذا كان لهاتين الدقيقتين أي تأثير على ما إذا كانوا ينتظرون أمام الشاشة. بعد تسليم المهمة ومن ثم القيام بأشياء أخرى، قد لا يشكل الانتظار عائقًا؛ إذا كنت تريد إجراء الجولة التالية من التعديلات فورًا بعد رؤية النتائج، فإن سرعة Opus وGPT في هذه المجموعة من الاختبارات تكون أكثر فائدة. ما تتم مقارنته هنا هو تكلفة إكمال المهام من خلال واجهة برمجة التطبيقات (API)، وليس الرسوم الشهرية لباقات اشتراك ChatGPT أو Claude.
تم تحسين الإصدار الجديد أيضًا مقارنة بالإصدار السابق. واستخدم إبراجيم سابقًا أعلى إعداد استدلالي لإصدار سبتمبر من فلاش للاختبار، واجتاز 28 مرة من أصل 30 عملية، بمتوسط وقت 4 دقائق و30 ثانية لكل اختبار. هذه المرة، وباستخدام الإصدار الجديد من الإعداد المتطور، مرت جميعها 30 مرة، وتم تقليل الوقت إلى دقيقتين و38 ثانية.
02 لقد صنعت سيارة BMW بمبلغ 0.38 دولارًا أمريكيًا، لكن تشغيل صفحة ويب عادية استغرق 40 دقيقة
ما يريد DeepSeek إظهاره هذه المرة ليس مجرد ملء وظيفة ما. تشمل الحالات التي تم إصدارها رسميًا مشهد Forbidden City 3D، ولعبة سباق الويب، وعرض إعادة إنتاج "Portal 2" الذي تم إنتاجه باستخدام Godot. وتقول الشركة إن الإصدار الجديد يعمل على تحسين القدرة على إكمال المشاريع من الصفر من خلال التعلم المعزز بالتغذية الراجعة الذاتية.
طلب منه المطور فابيانو فيرمو استخدام Three.js لإنشاء نموذج ثلاثي الأبعاد لسيارة BMW M5. وفي الصورة التي نشرها، تظهر سيارة حمراء في صفحة العرض، وبجانبها خيارات الألوان.
وبحسب قوله، فقد قدم تذكيرًا واحدًا فقط هذه المرة، بتكلفة 0.38 دولارًا واستغرق ساعة و10 دقائق.
كما عرض بعض المستخدمين لعبة مشابهة للعبة "Rocket League"، حيث تلعب السيارات كرة القدم في الملعب. علق مستخدم X Markets & Mayhem بأن التأثيرات الفيزيائية تعمل بشكل طبيعي ويمكن تشغيلها، لكنها لا تزال بحاجة إلى الصقل. بالنسبة إلى الشخص الذي يريد إنشاء نموذج أولي لصفحة ويب أو لعبة أولاً، تكون هذه العروض التوضيحية أسهل في رؤية استخدامها مقارنة بنتائج الاختبارات النموذجية.
ومع ذلك، فإن الاستعداد للانتظار أكثر من ساعة لرؤية سيارة ثلاثية الأبعاد لا يعني أنك على استعداد للانتظار كل هذه المدة لإنشاء صفحة ويب عادية.
قال المطور Alex Carter إنه طلب من DeepSeek Harness إنشاء صفحة مقصودة عادية، والتي استغرق تشغيلها 41 دقيقة؛ استغرقت المهمتان التاليتان لصفحة الويب 43 دقيقة و40 دقيقة أخرى على التوالي. كان يعتقد أن النموذج كان ذكيًا ورخيصًا وتم تقديمه بشكل جيد، لكن الصفحات كانت تستغرق سنوات من العمل ويمكن إكمالها عادةً في عشر دقائق.
يشعر مطور برامج تصحيح الأخطاء أيضًا بشعور مماثل: لقد أصبح النموذج أكثر ذكاءً، ولكن من السهل التفكير لفترة طويلة وتأخير اتخاذ الإجراء. وأكد مستخدم آخر، الشايب، أن شكواه لم تكن تتعلق بعدد الكلمات التي يتم إخراجها في الثانية، ولكن أن النموذج استغرق وقتًا طويلاً للتفكير قبل التصرف.
سجل اختبار منصة OmniaKey لواجهة برمجة التطبيقات (API) مخرجات الاستدلال الطويلة هذه. يتطلب الإصدار الجديد من Flash كتابة برنامج يحسب التعبيرات وفقًا لقواعد تشغيل Python، ولا يمكنه استدعاء أدوات التحليل الجاهزة. استغرق النموذج حوالي 88 ثانية لاجتياز جميع حالات استخدام الفحص الثلاثين؛ من بين ما يقرب من 20,700 رمزًا مميزًا، تم اعتبار ما يقرب من 19,700 رمزًا محتوى.
لكن برنامج Flash ليس بطيئًا في جميع المهام. وفي اختبار آخر لـ OmniaKey، استخرج 10 حقول من فاتورة بالبريد الإلكتروني كانت مختلطة باللغتين الألمانية والإنجليزية، وأجاب عليها جميعًا بشكل صحيح في 5.2 ثانية؛ تم إكمال استدعاء الأداة للاستعلام عن الطقس والوقت في مدينتين في 2.6 ثانية. تبيع OmniaKey نفسها واجهة برمجة التطبيقات النموذجية، وسيتم تشغيل كل مجموعة من هذه المجموعة من الاختبارات مرة واحدة فقط.
هذه الأمثلة عن نماذج BMW والصفحات المقصودة ليست مقارنات بين النماذج الثلاثة حول نفس الموضوع. لا يزال يتعين مقارنته بمنتج DeepSeek النهائي وعدد مرات مراجعته لاحقًا مع GPT وClaude بموجب نفس المتطلبات.
03 بعد خفض الترس، أصبحت السرعة أسرع بدقيقة واحدة وحدثت ثلاث حالات فشل أخرى
بما أن إعداد الاستدلال العالي يستغرق وقتًا طويلاً، فماذا سيحدث إذا تم خفضه؟ لقد اختبره إبراهيم أيضًا.
في Pi، بعد ضبط الإصدار الجديد من DeepSeek على الإعداد المنخفض، يتم تقليل متوسط الوقت لكل عنصر من دقيقتين و38 ثانية إلى دقيقة واحدة و31 ثانية، كما يتم تقليل التكلفة من 0.045 دولار أمريكي إلى 0.0257 دولار أمريكي. ومع ذلك، فشلت 3 من أصل 30 عملية تشغيل. لا يمكن الاحتفاظ بجميع التمريرات التي تم الحصول عليها على مستويات عالية سليمة.
عند هذا المستوى المنخفض، قمت بالتبديل إلى أداة DeepSeek الخاصة، وتغيرت النتائج مرة أخرى: لقد مرت 29 مرة في 30 مرة، أي مرتين أكثر من Pi. وفقًا لسجلات إبراهيم، ساعدت بيئة الأداة الرسمية النموذج على التعامل مع شرط حدودي تم تفويته في Pi.
تعمل مجموعتا الأدوات بشكل مختلف مع النماذج. يوفر DeepSeek Harness أدوات مباشرة لقراءة الملفات وتحريرها، بينما يسمح Pi بشكل أساسي بتشغيل النموذج من خلال سطر الأوامر؛ كلمات موجه النظام السابقة أطول أيضًا. وبعد تغيير الأدوات هذه المرة، زاد استخدام الرمز المميز بحوالي 75%، وزاد متوسط الوقت المستغرق من دقيقة واحدة و31 ثانية إلى دقيقة واحدة و53 ثانية. في كلتا المجموعتين من الأدوات، يمكن تمرير 9 مهام فقط ثلاث مرات متتالية.
بالنسبة للنموذج نفسه، إذا قمت بتغيير ترس الاستدلال ومجموعة الأدوات، فستتغير السرعة والتكلفة والنجاح. ستشاهد فقط النتائج التي نشرها الآخرون، ولكنك تحتاج أيضًا إلى معرفة الإعدادات التي استخدموها.
ذكر DeepSeek أيضًا بوضوح عند إصداره أنه يحتوي على أدوات محسنة مثل DeepSeek Harness وTencent CodeBuddy وWorkBuddy، وأوصى مستخدمي Harness بالترقية إلى الإصدار v0.2.1-rc.1 أو أعلى.
تم إطلاق هذا التحديث على صفحات الويب والتطبيقات وواجهات برمجة التطبيقات. لا تزال مكالمات API تستخدم Deepseek-flash، ويظل السعر دون تغيير؛ تم أيضًا نشر أوزان النموذج الجديد بموجب بروتوكول MIT.
ومع ذلك، تم إكمال اختبار البرمجة السابق عن طريق توصيل النموذج بأداة يمكنها قراءة الملفات وتعديل التعليمات البرمجية وإجراء عمليات التحقق. إن مطالبته بكتابة جزء من التعليمات البرمجية في نافذة الدردشة يختلف عن مطالبته بتولي المشروع. بيئة الاستخدام مختلفة.
04بالنسبة لنفس مجموعة الأسئلة، يمكن أن يكون كل من GPT وClaude أرخص
تعتبر Opus وAstra من الشركتين الرائدتين، ولدى OpenAI وAnthropic أيضًا نماذج أرخص.
في نفس مجموعة اختبارات Ibragim، اجتاز العتاد العالي لـ GPT-6 Luna والعتاد العالي لـ Haiku 5.5 30 مرة. كان متوسط تكلفة كل عنصر 0.0145 دولارًا أمريكيًا و0.0208 دولارًا أمريكيًا فقط على التوالي، وهو أقل من DeepSeek. متوسط استهلاك الوقت للاثنين هو 2 دقيقة و 46 ثانية و 2 دقيقة و 08 ثانية على التوالي.
وهذا يجعل الاختيار لم يعد مجرد "GPT باهظ الثمن، Claude" أو "DeepSeek الرخيص". قد لا يتمكن الأشخاص الذين يستخدمون Luna أو Haiku بالفعل للتعامل مع المهام الصغيرة من توفير المزيد من المال عن طريق التحول إلى Flash.
المهام الأصعب تغير السؤال من مدة الانتظار إلى ما إذا كان يمكنك الوثوق بالنتائج. قال مستخدم X Yum إنه بعد تجربة الإصدار الجديد، لا يزال يشعر بقلق بالغ بشأن الهلوسة، وخاصة إعادة البناء وتعديل البنية عبر ملفات متعددة. سيكون لديه نموذج آخر للتحقق من التغييرات بدلاً من السماح لـ DeepSeek بالموافقة على الحل الخاص به. هذا هو اختياره للاستخدام، وليس اختبارًا لنفس السؤال لإثبات أن GPT أو Claude أكثر موثوقية.
لذلك، فإن التقدم الأكثر صلابة في الوقت الحالي هو أن الإصدار الجديد من DeepSeek قدم نفس نتائج الفحص مثل النموذج الرئيسي في مجموعة من مهام البرمجة الصغيرة الحقيقية.
سيحدد عدد التصحيحات اليدوية المطلوبة في المشاريع الكبيرة وما إذا كان من الممكن إصلاح المشكلات إلى أي مدى يمكن أن يصل هذا الاستبدال. لا يزال هناك الكثير من العمل بين بناء سيارة ثلاثية الأبعاد والحفاظ على المشروع على المدى الطويل.
يستعد إبراهيم أيضًا لجعل هذا الاختبار أكثر صعوبة. وقال في نهاية المنشور أن الخطوة التالية ستكون اختيار مجموعة من المهام الأكثر صعوبة ومقارنة الأدوات والنماذج المختلفة.
التعليقات