تلخيص شفرة المصدر الآلي هي موضوع أبحاث هندسة برامج شهيرة حيث يتم استخدام نماذج الترجمة الآلية لترجمة مقتطفات التعليمات البرمجية إلى أوصاف اللغة الطبيعية ذات الصلة. تتم معظم تقييمات هذه النماذج باستخدام مقاييس تلقائية قائمة على المرجع. ومع ذلك، بالنظر إلى الفجوة الدلالية الكبيرة نسبيا بين لغات البرمجة واللغة الطبيعية، فإننا نقول أن هذا الخط من الأبحاث سيستفيد من التحقيق النوعي في أوضاع الخطأ المختلفة لنماذج الحالة الحالية. لذلك، في هذا العمل، نقوم بإجراء مقارنة كمية ونوعية من ثلاثة نماذج تلخيص شفرة المصدر المقترحة مؤخرا. في تقييمنا الكمي، قارن النماذج المستندة إلى مقاييس الترجمة من BLEU-4 و Noteor و Rouge-L، وفي تقييمنا النوعي، نقوم بإجراء ترميز مفتوح يدوي لأخطاء الأكثر شيوعا التي ارتكبتها النماذج مقارنة مع تسميات الحقيقة الأرضية. يكشف تحقيقنا عن رؤى جديدة في العلاقة بين الأداء المستند إلى الأداء المتري وأخطاء التنبؤ بالنماذج التي تستند إلى تصنيف خطأ يمكن استخدامها لدفع جهود البحث في المستقبل.