تحقق نماذج الرد على الأسئلة النصية الحالية (QA) أداء قوي على مجموعات اختبار داخل المجال، ولكن في كثير من الأحيان القيام بذلك عن طريق تركيب أنماط المستوى السطحي، لذلك فشلوا في التعميم لإعدادات خارج التوزيع. لجعل نظام ضمان الجودة أكثر قوة ومفهومة، نقوم بالنماذج النموذجية في الإجابة كمشكلة محاذاة. نحن نحلل كل من السؤال والسياق إلى وحدات أصغر بناء على التمثيلات الدلالية خارج الرف (هنا، الأدوار الدلالية)، ومحاذاة السؤال إلى مجموعة فرعية من السياق من أجل العثور على الجواب. نقوم بصياغة نموذجنا كإدارة منظمة تنظم، مع درجات المحاذاة المحسوبة عبر Bert، ويمكننا تدريب نهاية إلى نهاية على الرغم من استخدام شعاع البحث عن الاستدلال التقريبي. يتيح لنا استخدامنا للتويات الصريحة استكشاف مجموعة من القيود التي يمكننا حظرها أنواع معينة من السلوك النموذجي السيئ الناشئ في إعدادات المجال عبر. علاوة على ذلك، من خلال التحقيق في الاختلافات في الدرجات عبر الإجابات المحتملة المختلفة، يمكننا أن نسعى لفهم جوانب معينة من المدخلات التي تقدم النموذج لاختيار الإجابة دون الاعتماد على تقنيات تفسير ما بعد المخصص. نحن ندرب نموذجنا على فرقة V1.1 واختبرها على العديد من مجموعات بيانات الخصومة والخروج. تشير النتائج إلى أن طرازنا أكثر قوة من طراز Bert QA القياسي، والقيود المستمدة من درجات المحاذاة تسمح لنا بالتنازل بفعالية من التغطية والدقة بشكل فعال.
Current textual question answering (QA) models achieve strong performance on in-domain test sets, but often do so by fitting surface-level patterns, so they fail to generalize to out-of-distribution settings. To make a more robust and understandable QA system, we model question answering as an alignment problem. We decompose both the question and context into smaller units based on off-the-shelf semantic representations (here, semantic roles), and align the question to a subgraph of the context in order to find the answer. We formulate our model as a structured SVM, with alignment scores computed via BERT, and we can train end-to-end despite using beam search for approximate inference. Our use of explicit alignments allows us to explore a set of constraints with which we can prohibit certain types of bad model behavior arising in cross-domain settings. Furthermore, by investigating differences in scores across different potential answers, we can seek to understand what particular aspects of the input lead the model to choose the answer without relying on post-hoc explanation techniques. We train our model on SQuAD v1.1 and test it on several adversarial and out-of-domain datasets. The results show that our model is more robust than the standard BERT QA model, and constraints derived from alignment scores allow us to effectively trade off coverage and accuracy.
References used
https://aclanthology.org/
Question answering (QA) models use retriever and reader systems to answer questions. Reliance on training data by QA systems can amplify or reflect inequity through their responses. Many QA models, such as those for the SQuAD dataset, are trained and
Video Question Answering (VidQA) evaluation metrics have been limited to a single-word answer or selecting a phrase from a fixed set of phrases. These metrics limit the VidQA models' application scenario. In this work, we leverage semantic roles deri
This paper proposes a question-answering (QA) benchmark for spatial reasoning on natural language text which contains more realistic spatial phenomena not covered by prior work and is challenging for state-of-the-art language models (LM). We propose
Human knowledge is collectively encoded in the roughly 6500 languages spoken around the world, but it is not distributed equally across languages. Hence, for information-seeking question answering (QA) systems to adequately serve speakers of all lang
Most of the existing Knowledge-based Question Answering (KBQA) methods first learn to map the given question to a query graph, and then convert the graph to an executable query to find the answer. The query graph is typically expanded progressively f