رمز التعليق الترجمة: دراسة مقارنة حول فعالية النموذج \ أخطاء

تلخيص شفرة المصدر الآلي هي موضوع أبحاث هندسة برامج شهيرة حيث يتم استخدام نماذج الترجمة الآلية لترجمة مقتطفات التعليمات البرمجية إلى أوصاف اللغة الطبيعية ذات الصلة. تتم معظم تقييمات هذه النماذج باستخدام مقاييس تلقائية قائمة على المرجع. ومع ذلك، بالنظر إلى الفجوة الدلالية الكبيرة نسبيا بين لغات البرمجة واللغة الطبيعية، فإننا نقول أن هذا الخط من الأبحاث سيستفيد من التحقيق النوعي في أوضاع الخطأ المختلفة لنماذج الحالة الحالية. لذلك، في هذا العمل، نقوم بإجراء مقارنة كمية ونوعية من ثلاثة نماذج تلخيص شفرة المصدر المقترحة مؤخرا. في تقييمنا الكمي، قارن النماذج المستندة إلى مقاييس الترجمة من BLEU-4 و Noteor و Rouge-L، وفي تقييمنا النوعي، نقوم بإجراء ترميز مفتوح يدوي لأخطاء الأكثر شيوعا التي ارتكبتها النماذج مقارنة مع تسميات الحقيقة الأرضية. يكشف تحقيقنا عن رؤى جديدة في العلاقة بين الأداء المستند إلى الأداء المتري وأخطاء التنبؤ بالنماذج التي تستند إلى تصنيف خطأ يمكن استخدامها لدفع جهود البحث في المستقبل.

Automated source code summarization is a popular software engineering research topic wherein machine translation models are employed to translate'' code snippets into relevant natural language descriptions. Most evaluations of such models are conducted using automatic reference-based metrics. However, given the relatively large semantic gap between programming languages and natural language, we argue that this line of research would benefit from a qualitative investigation into the various error modes of current state-of-the-art models. Therefore, in this work, we perform both a quantitative and qualitative comparison of three recently proposed source code summarization models. In our quantitative evaluation, we compare the models based on the smoothed BLEU-4, METEOR, and ROUGE-L machine translation metrics, and in our qualitative evaluation, we perform a manual open-coding of the most common errors committed by the models when compared to ground truth captions. Our investigation reveals new insights into the relationship between metric-based performance and model prediction errors grounded in an error taxonomy that can be used to drive future research efforts.