حققت نماذج الإجابة على الجدول (TableQa) ضعيفا (TableQA) أداء حديثة من خلال استخدام محول بيرت المدرب مسبقا إلى ترميز سؤال وجداول لإنتاج استعلام منظم للسؤال. ومع ذلك، في الإعدادات العملية يتم نشر أنظمة Tableqa عبر جدول كوربورا وجود توزيعات موضوعية وتوزيعات كلمة متميزة تماما من Bertraining Corpus. في هذا العمل، نحاكي سيناريو التحول العملي من خلال تصميم معايير التحدي الجديدة Wikisql-TS و WiKiTe-TS، وتتألف من تقسيم اختبار قطار Dev في خمس مجموعات موضوع مميزة، استنادا إلى مجموعات بيانات Wikisql والأسئلة الشائعة. نوضح تجريبيا أنه على الرغم من التدريب المسبق على نص واسع النطاق، يتحلل أداء النماذج بشكل كبير عندما يتم تقييمها على مواضيع غير مرئية. ردا على ذلك، نقترح T3QA (موضوع الإجابة على الجدول القابل للتحويل) إطار التكيف العملي ل TableQA يتألف من: (1) حقن المفردات المحددة للموضوع في بيرت، (2) مولد محول نص إلى نص جديد (مثل T5، GPT2) يركز خط أنابيب توليد السؤال الطبيعي المستندة إلى اللغة الطبيعية على توليد بيانات التدريب الخاصة بالموضوع، و (3) Reveer نموذج منطقي. نظهر أن T3QA يوفر خط الأساس الجيد بشكل معقول لمعايير تحول الموضوع لدينا. نعتقد أن معاييرنا المنفصلة لدينا ستؤدي إلى حلول طاولة قوية مناسبة للنشر العملي
Weakly-supervised table question-answering (TableQA) models have achieved state-of-art performance by using pre-trained BERT transformer to jointly encoding a question and a table to produce structured query for the question. However, in practical settings TableQA systems are deployed over table corpora having topic and word distributions quite distinct from BERT's pretraining corpus. In this work we simulate the practical topic shift scenario by designing novel challenge benchmarks WikiSQL-TS and WikiTable-TS, consisting of train-dev-test splits in five distinct topic groups, based on the popular WikiSQL and WikiTable-Questions datasets. We empirically show that, despite pre-training on large open-domain text, performance of models degrades significantly when they are evaluated on unseen topics. In response, we propose T3QA (Topic Transferable Table Question Answering) a pragmatic adaptation framework for TableQA comprising of: (1) topic-specific vocabulary injection into BERT, (2) a novel text-to-text transformer generator (such as T5, GPT2) based natural language question generation pipeline focused on generating topic-specific training data, and (3) a logical form re-ranker. We show that T3QA provides a reasonably good baseline for our topic shift benchmarks. We believe our topic split benchmarks will lead to robust TableQA solutions that are better suited for practical deployment
References used
https://aclanthology.org/
Many open-domain question answering problems can be cast as a textual entailment task, where a question and candidate answers are concatenated to form hypotheses. A QA system then determines if the supporting knowledge bases, regarded as potential pr
While diverse question answering (QA) datasets have been proposed and contributed significantly to the development of deep learning models for QA tasks, the existing datasets fall short in two aspects. First, we lack QA datasets covering complex ques
The evaluation of question answering models compares ground-truth annotations with model predictions. However, as of today, this comparison is mostly lexical-based and therefore misses out on answers that have no lexical overlap but are still semanti
NLP research in Hebrew has largely focused on morphology and syntax, where rich annotated datasets in the spirit of Universal Dependencies are available. Semantic datasets, however, are in short supply, hindering crucial advances in the development o
We present an information retrieval-based question answer system to answer legal questions. The system is not limited to a predefined set of questions or patterns and uses both sparse vector search and embeddings for input to a BERT-based answer re-r