حقق التطورات الحديثة في أنظمة NLP، ولا سيما النموذج الاحتياطي والأصلون، نجاحا كبيرا في الدقة التنبؤية. ومع ذلك، عادة ما لا يتم معايرة هذه الأنظمة بشكل جيد بسبب عدم اليقين خارج الصندوق. تم اقتراح العديد من طرق إعادة المعاير في الأدبيات لتحديد حالة عدم اليقين التنبؤية ونواتج النماذج المعايرة، بدرجات متفاوتة من التعقيد. في هذا العمل، نقدم دراسة منهجية لبعض هذه الأساليب. التركيز على مهمة تصنيف النص ونماذج اللغة الكبيرة المسبقة مسبقا، نظرا لأول مرة أن العديد من النماذج الفعلية غير معايرت بشكل جيد خارج المربع، خاصة عندما تأتي البيانات من إعدادات خارج المجال. بعد ذلك، قارنا فعالية بعض أساليب إعادة المعايير المستخدمة على نطاق واسع (مثل الكفرات، تحجيم درجة الحرارة). بعد ذلك، نوضح تجريبيا اتصالا بين التقطير والمعايرة. نعتبر تقطير مصطلح تنظيمي يشجع نموذج الطالب على إخراج الشكوك التي تتناسب مع نموذج المعلمين. بهذه البصيرة، نطور أساليب إعادة المعايير البسيطة القائمة على التقطير دون أي تكلفة إضافية لاستنتاج الاستدلال. نظهر على معيار الغراء أن أساليبنا البسيطة يمكن أن تحقق أداء المعايرة المنافسة خارج المجال (OOD) W.R.T. مناهج أكثر تكلفة. أخيرا، ندرج ablations لفهم فائدة مكونات أسلوبنا المقترح وفحص قابلية نقل المعايرة عبر التقطير.
Recent advances in NLP systems, notably the pretraining-and-finetuning paradigm, have achieved great success in predictive accuracy. However, these systems are usually not well calibrated for uncertainty out-of-the-box. Many recalibration methods have been proposed in the literature for quantifying predictive uncertainty and calibrating model outputs, with varying degrees of complexity. In this work, we present a systematic study of a few of these methods. Focusing on the text classification task and finetuned large pretrained language models, we first show that many of the finetuned models are not well calibrated out-of-the-box, especially when the data come from out-of-domain settings. Next, we compare the effectiveness of a few widely-used recalibration methods (such as ensembles, temperature scaling). Then, we empirically illustrate a connection between distillation and calibration. We view distillation as a regularization term encouraging the student model to output uncertainties that match those of a teacher model. With this insight, we develop simple recalibration methods based on distillation with no additional inference-time cost. We show on the GLUE benchmark that our simple methods can achieve competitive out-of-domain (OOD) calibration performance w.r.t. more expensive approaches. Finally, we include ablations to understand the usefulness of components of our proposed method and examine the transferability of calibration via distillation.
References used
https://aclanthology.org/
Aspect detection is a fundamental task in opinion mining. Previous works use seed words either as priors of topic models, as anchors to guide the learning of aspects, or as features of aspect classifiers. This paper presents a novel weakly-supervised
This paper provides an overview of the 2021 3C Citation Context Classification shared task. The second edition of the shared task was organised as part of the 2nd Workshop on Scholarly Document Processing (SDP 2021). The task is composed of two subta
Data in general encodes human biases by default; being aware of this is a good start, and the research around how to handle it is ongoing. The term bias' is extensively used in various contexts in NLP systems. In our research the focus is specific to
This paper presents the results of the shared tasks from the 8th workshop on Asian translation (WAT2021). For the WAT2021, 28 teams participated in the shared tasks and 24 teams submitted their translation results for the human evaluation. We also ac
In this paper, we introduce the Eval4NLP-2021 shared task on explainable quality estimation. Given a source-translation pair, this shared task requires not only to provide a sentence-level score indicating the overall quality of the translation, but