لبناء أسئلة قوية لإجابة أنظمة الرد، نحتاج إلى القدرة على التحقق مما إذا كانت الإجابات على الأسئلة صحيحة حقا، وليس فقط جيدة بما فيه الكفاية "في سياق مجموعات بيانات QA غير الكاملة. نستكشف استخدام الاستدلال اللغوي الطبيعي (NLI) كوسيلة لتحقيق هذا الهدف، كما يتطلب NLI بطبيعته الفرضية (سياق المستند) لاحتواء جميع المعلومات اللازمة لدعم الفرضية (الإجابة المقترحة على السؤال). نستفيد النماذج الكبيرة المدربة مسبقا ومجموعات البيانات السابقة الأخيرة لبناء وحدات تحويل أسئلة قوية ووحدات فك التشفير، والتي يمكنها إعادة صياغة حالات ضمان الجودة كأزواج فرضية فرضية ذات موثوقية عالية جدا. ثم، من خلال الجمع بين مجموعات بيانات NLI القياسية مع أمثلة NLI تلقائيا من بيانات تدريب ضمان الجودة، يمكننا تدريب نماذج NLI لتقييم الإجابات المقترحة بنماذج QA. نظهر أن نهجنا يحسن تقدير ثقة نموذج ضمان الجودة عبر المجالات المختلفة، يتم تقييمها في إعداد ضمان الجودة الانتقائي. يظهر التحليل اليدوي الدقيق حول تنبؤات نموذج NLI الخاص بنا أنه يمكنه تحديد الحالات التي ينتج فيها نموذج ضمان الجودة الإجابة الصحيحة للسبب الخطأ، أي، عندما لا تستطيع جملة الإجابة معالجة جميع جوانب السؤال.
To build robust question answering systems, we need the ability to verify whether answers to questions are truly correct, not just good enough'' in the context of imperfect QA datasets. We explore the use of natural language inference (NLI) as a way to achieve this goal, as NLI inherently requires the premise (document context) to contain all necessary information to support the hypothesis (proposed answer to the question). We leverage large pre-trained models and recent prior datasets to construct powerful question conversion and decontextualization modules, which can reformulate QA instances as premise-hypothesis pairs with very high reliability. Then, by combining standard NLI datasets with NLI examples automatically derived from QA training data, we can train NLI models to evaluate QA models' proposed answers. We show that our approach improves the confidence estimation of a QA model across different domains, evaluated in a selective QA setting. Careful manual analysis over the predictions of our NLI model shows that it can further identify cases where the QA model produces the right answer for the wrong reason, i.e., when the answer sentence cannot address all aspects of the question.
References used
https://aclanthology.org/
Vector representations have become a central element in semantic language modelling, leading to mathematical overlaps with many fields including quantum theory. Compositionality is a core goal for such representations: given representations for wet'
Multilingual Neural Machine Translation (MNMT) trains a single NMT model that supports translation between multiple languages, rather than training separate models for different languages. Learning a single model can enhance the low-resource translat
The problem of answering questions using knowledge from pre-trained language models (LMs) and knowledge graphs (KGs) presents two challenges: given a QA context (question and answer choice), methods need to (i) identify relevant knowledge from large
The research aims to optimize the investment in solar cooling process using two
models of vessels (clay- mineral).The study was conducted at the site of Tartous in the
month (the fourth - fifth - sixth) years (2013) and that the fruits of the tomat
Latent alignment objectives such as CTC and AXE significantly improve non-autoregressive machine translation models. Can they improve autoregressive models as well? We explore the possibility of training autoregressive machine translation models with