نقدم COTEXT، وهو نموذج ترميز ترميز مدرب مسبقا مدرب مسبقا، يتعلم السياق التمثيلي بين اللغة الطبيعية (NL) ولغة البرمجة (PL). باستخدام الإشراف الذاتي، تم تدريب COTEX مسبقا على لغة البرمجة الكبيرة لشركة Corpora لتعلم فهم عام للغة والرمز. يدعم COTEXT مهام NL-PL المصب مثل الرمز الملخص / الوثائق، وتوليد الرموز، والكشف عن العيوب، وتصحيح التعليمات البرمجية. نحن ندرب مشعك على مجموعات مختلفة من Corpus المتوفرة المتوفرة بما في ذلك البيانات BIMODAL 'و Unimodal'. هنا، بيانات BIMODAL هي مزيج من النصوص النصية والنصوص المقابلة، في حين أن البيانات غير المستخدمة هي مجرد مقتطفات رمز. نقيم أولا COTEXT مع التعلم متعدد المهام: نقوم بإجراء تلخيص الكود على 6 لغات برمجة مختلفة وصقل التعليمات البرمجية على كل من الحجم الصغير والمتوسط المميز في DataSet Codexglue. كلنا إجراء تجارب مكثفة للتحقيق في COTEXT على مهام أخرى ضمن DataSet Codexglue، بما في ذلك توليد التعليمات البرمجية والكشف عن العيوب. نحن نتحمل باستمرار نتائج SOTA في هذه المهام، مما يدل على تنوع نماذجنا.
We present CoTexT, a pre-trained, transformer-based encoder-decoder model that learns the representative context between natural language (NL) and programming language (PL). Using self-supervision, CoTexT is pre-trained on large programming language corpora to learn a general understanding of language and code. CoTexT supports downstream NL-PL tasks such as code summarizing/documentation, code generation, defect detection, and code debugging. We train CoTexT on different combinations of available PL corpus including both bimodal'' and unimodal'' data. Here, bimodal data is the combination of text and corresponding code snippets, whereas unimodal data is merely code snippets. We first evaluate CoTexT with multi-task learning: we perform Code Summarization on 6 different programming languages and Code Refinement on both small and medium size featured in the CodeXGLUE dataset. We further conduct extensive experiments to investigate CoTexT on other tasks within the CodeXGlue dataset, including Code Generation and Defect Detection. We consistently achieve SOTA results in these tasks, demonstrating the versatility of our models.
References used
https://aclanthology.org/
Multilingual T5 pretrains a sequence-to-sequence model on massive monolingual texts, which has shown promising results on many cross-lingual tasks. In this paper, we improve multilingual text-to-text transfer Transformer with translation pairs (mT6).
Multi-task learning with transformer encoders (MTL) has emerged as a powerful technique to improve performance on closely-related tasks for both accuracy and efficiency while a question still remains whether or not it would perform as well on tasks t
The recent Text-to-Text Transfer Transformer'' (T5) leveraged a unified text-to-text format and scale to attain state-of-the-art results on a wide variety of English-language NLP tasks. In this paper, we introduce mT5, a multilingual variant of T5 th
Non-Autoregressive machine Translation (NAT) models have demonstrated significant inference speedup but suffer from inferior translation accuracy. The common practice to tackle the problem is transferring the Autoregressive machine Translation (AT) k
Large-scale multi-modal classification aim to distinguish between different multi-modal data, and it has drawn dramatically attentions since last decade. In this paper, we propose a multi-task learning-based framework for the multimodal classificatio