أصبحت نماذج الذكاء الاصطناعي من OpenAI وAnthropic وغيرها من المختبرات الرائدة تستخدم بشكل متزايد لمساعدة المطورين في المهام البرمجية. صرح Sundar Pichai، الرئيس التنفيذي لشركة Google، في أكتوبر أن 25% من الكود الجديد في الشركة يتم توليده بواسطة الذكاء الاصطناعي، بينما أعرب Mark Zuckerberg، الرئيس التنفيذي لشركة Meta، عن طموحاته في نشر نماذج الذكاء الاصطناعي بشكل واسع داخل عملاق وسائل التواصل الاجتماعي.
لكن، حتى بعض أفضل النماذج الحالية تواجه صعوبة في حل الأخطاء البرمجية التي لا يمكن أن يقع فيها المطورون ذوو الخبرة. تكشف دراسة جديدة من Microsoft Research، قسم البحث والتطوير في Microsoft، أن النماذج مثل Claude 3.7 Sonnet من Anthropic و o3-mini من OpenAI فشلت في تصحيح العديد من المشكلات في معيار تطوير البرمجيات المسمى SWE-bench Lite.
أظهرت نتائج الدراسة أن النموذج الخاص بالتجربة، الذي يضم تسعة نماذج مختلفة كأساس لـ "وكيل يعتمد على طلب واحد"، فشل في حل أكثر من نصف المهام البرمجية بنجاح. سجل Claude 3.7 Sonnet أعلى معدل نجاح بنسبة 48.4%، يليه o1 من OpenAI بنسبة 30.2%، و o3-mini بنسبة 22.1%.
واجهت بعض النماذج صعوبة في استخدام أدوات تصحيح الأخطاء المتاحة لها وفهم كيفية استفادتها من هذه الأدوات. لكن المشكلة الأكبر كانت نقص البيانات، وفقًا لما ذكره مؤلفو الدراسة. ويعتقدون أن نماذج الذكاء الاصطناعي الحالية تفتقر إلى بيانات تمثل "عمليات اتخاذ القرارات المتسلسلة"، مثل التتبع البشري لتصحيح الأخطاء.
وأشار المؤلفون إلى أنه يمكن تحسين النماذج لتصبح أدوات تصحيح أخطاء تفاعلية بشكل أفضل من خلال التدريب أو التعديل الدقيق لها، لكن ذلك يتطلب بيانات متخصصة مثل بيانات المسار التي تسجل كيفية تفاعل الوكلاء مع أدوات التصحيح لجمع المعلومات الضرورية قبل اقتراح إصلاحات للأخطاء.
لم تكن النتائج مفاجئة تمامًا، حيث أظهرت العديد من الدراسات أن الذكاء الاصطناعي الذي يولد الأكواد يميل إلى إدخال ثغرات أمنية وأخطاء بسبب ضعفه في فهم المنطق البرمجي. ولكن هذه الدراسة من Microsoft تقدم أحد أكثر الاستعراضات التفصيلية للمشكلة المستمرة التي تواجه النماذج في هذا المجال.
من المحتمل أن لا تقلل هذه النتائج من حماس المستثمرين تجاه أدوات البرمجة المساعدة المدعومة بالذكاء الاصطناعي، ولكنها قد تجعل المطورين، ومديريهم، يفكرون مرتين قبل السماح للذكاء الاصطناعي بالتحكم في عملية البرمجة.
ومن الجدير بالذكر أن العديد من قادة التكنولوجيا قد نفوا فكرة أن الذكاء الاصطناعي سيؤدي إلى أتمتة وظائف البرمجة. فقد قال Bill Gates، مؤسس Microsoft، إنه يعتقد أن مهنة البرمجة ستظل قائمة، كما وافقه في ذلك كل من CEO شركة Replit Amjad Masad، و CEO شركة Okta Todd McKinnon، و CEO شركة IBM Arvind Krishna.