اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديددمج المعرفة الخارجية لتعزيز التفكير الجداول
Incorporating External Knowledge to Enhance Tabular Reasoning
506
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
يعرض التفكير في المعلومات الجدولي تحديات فريدة من نوعها إلى نهج NLP الحديثة تعتمد إلى حد كبير على تضمينات النص المدربة مسبقا للنص.في هذه الورقة، ندرس هذه التحديات من خلال مشكلة الاستدلال اللغوي الطبيعي الجدول.نقترح تعديلات سهلة وفعالة على كيفية تقديم المعلومات إلى نموذج لهذه المهمة.نظهر عبر التجارب المنهجية التي تحسن هذه الاستراتيجيات بشكل كبير أداء الاستدلال الجزيئي.
Reasoning about tabular information presents unique challenges to modern NLP approaches which largely rely on pre-trained contextualized embeddings of text. In this paper, we study these challenges through the problem of tabular natural language inference. We propose easy and effective modifications to how information is presented to a model for this task. We show via systematic experiments that these strategies substantially improve tabular inference performance.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
تعد معرفة إنتاج الأقمشة الحريرية الأوروبية هي حالة نموذجية تتمثل المعلومات التي تم جمعها غير متجانسة، وانتشرت في العديد من المتاحف والمنتجات منذ نادرا ما تكتمل. الرسوم البيانية المعرفة لهذا مجال التراث الثقافي، عند تطويرها مع الأوانيات المناسبة والمف
ردات، تمكن من دمج هذه المعلومات المتنوعة والتوفيقية. ومع ذلك، فإن العديد من سجلات المتحف الأصلية هذه لا تزال لديها بعض فجوات البيانات الوصفية. في هذه الورقة، نقدم نهجا للتعلم بالرصاص الذي يرفع الرسم البياني لمعرفة المعرفة بالشخصية المفهوم للتنبؤ بالبيانات الوصفية الفئوية التي تخبر عن إنتاج كائنات الحرير. قارننا أداء نهجنا مع الطرق التقليدية الإشراف على التعلم العميق القائم على البيانات التي تتطلب بيانات التدريب. نوضح الأداء الواعد والتنافسي لمجموعات البيانات والظروف مماثلة والقدرة على التنبؤ بأحيانا معلومات أكثر غرامة. يمكن إعادة إنتاج نتائجنا باستخدام التعليمات البرمجية والجمدات البيانات المنشورة في https://github.com/silknow/zsl-kg-silk.
في السنوات الأخيرة، أثبتت نماذج اللغة المدربة مسبقا (PLM) مثل بيرت فعالة للغاية في مهام NLP المتنوعة مثل استخراج المعلومات وتحليل المعنويات والرد على الأسئلة.تدربت مع نص المجال العام الضخم، هذه النماذج اللغوية المدربة مسبقا تلتقط معلومات النحوية والد
لية والجلطة الغنية في النص.ومع ذلك، نظرا للاختلافات بين نص مجال عام ومحدد (E.G.، Wikipedia مقابل ملاحظات عيادة)، قد لا تكون هذه النماذج مثالية للمهام الخاصة بالمجال (على سبيل المثال، استخراج العلاقات السريرية).علاوة على ذلك، قد يتطلب الأمر معرفة طبية إضافية لفهم النص السريري بشكل صحيح.لحل هذه القضايا، في هذا البحث، نقوم بإجراء فحص شامل للتقنيات المختلفة لإضافة المعرفة الطبية إلى نموذج برت مدرب مسبقا لاستخراج العلاقات السريرية.تتفوق أفضل طرازنا على مجموعة بيانات استخراج الحالة الإكلينيكية من أحدث طراز I2B2 / VA 2010.
يتم تعريف حدود قابلية تطبيق نماذج الرؤية واللغة من خلال تغطية بياناتها التدريبية. تتطلب المهام مثل الرؤية الإجابة على الأسئلة (VQA) في كثير من الأحيان معلومات المنطقية والواقعية تتجاوز ما يمكن تعلمه من مجموعات البيانات الخاصة بمهام المهام. تحقق هذه ا
لورقة في حقن المعرفة من قواعد المعرفة العامة للأغراض العامة (KBS) إلى محولات الرؤية واللغة. نحن نستخدم هدف تدريب إضافي يشجع التمثيلات المستفادة على محاذاة مع شرطة الرسم البياني للكيانات المطابقة في KB. ندرس تجريبيا أهمية مختلفة KBS إلى مهام ومعايير متعددة. توفر هذه التقنية فوائد واضحة لاستكشاف السؤال المطلقة على المعرفة (OK-VQA، FVQA) من خلال التقاط المعرفة الدلالية والعلدية غائبة عن النماذج القائمة. أكثر من المستغرب، فإن هذه التقنية تفيد أيضا مهام التفكير البصري (NLVR2، SNLI-VE). نقوم بإجراء تجارب التحقيق وإظهار أن حقن المعرفة الإضافية ينتقلان مساحة الشريات التي تحسن من تمثيل أوجه التشابه المعجمية والدلالية. تقنية النموذج الأذرع ويمكن أن توسع قابلية تطبيق أي محول للرؤية واللغة مع الحد الأدنى من النفقات الحاسوبية.
أدت نماذج اللغة المدربة مسبقا إلى مكاسب كبيرة على مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP)، ولكنها تبين أن قيود لمهام توليد اللغة الطبيعية مع متطلبات عالية الجودة على الإخراج، مثل جيل العمولة والإعلان توليد الكلمات الرئيسية. في هذا العمل، نقد
م تصفية المعرفة الرواية وشبكة تعليمية مرافقة (KFCNET) التي تشير إلى معرفة خارجية وتحقق أداء أفضل من الجيل. على وجه التحديد، نقترح نموذج مرشح يستند إلى BERT لإزالة المرشحين ذوي الجودة المنخفضة، وتطبيق التعلم المقاوم للتناقض بشكل منفصل لكل من التشفير والكشف، داخل بنية فك التشفير العامة - فك التشفير. تساعد الوحدة النمطية للتناقض في التشفير على التقاط دلالات استهداف عالمية أثناء الترميز، وتعزز وحدة فك ترميز وحدة فك الترميز فائدة النماذج الأولية المستردة أثناء تعلم الملامح العامة. تجارب واسعة النطاق في معيار Commongen تشير إلى أن نموذجنا يتفوق على الحالة السابقة للفنية من قبل هامش كبير: +6.6 نقطة (42.5 مقابل 35.9) ل BLU-4، +3.7 نقطة (33.3 مقابل 29.6) للتوابل، و + 1.3 نقطة (18.3 مقابل 17.0) من أجل عصير التفاح. نتحقق مزيدا من فعالية الوحدة النمطية المقنعة المقترحة على توليد الكلمات الرئيسية للإعلان، وإظهار أن نموذجنا له قيمة تجارية محتملة.
الإجابة على الأسئلة الأساسية للمعرفة (KBQA) هي الإجابة على أسئلة اللغة الطبيعية المطروحة على قواعد المعرفة (KBS).هذه الأهداف الورقية في تمكين نماذج KBQA القائمة على IR مع قدرة المنطق العددي للإجابة على أسئلة مقيدة ترتيبية.التحدي الرئيسي هو عدم وجود ش
روح واضحة حول الخصائص العددية.لمعالجة هذا التحدي، نقترح نموذجا للتفكير العددي الذي يتألف من Numgnn و Numtransformer، يسترشد بإشارات مراقبة ذاتية صريحة.يتم الاحترام من الوحداتتين لتشميز الحجم والخصائص الترتيبية للأرقام على التوالي ويمكن أن تكون بمثابة إضافات نموذجية للأذرع لأي نموذج KBQA المستندة إلى IR لتعزيز قدرة التفكير العددي.تجارب واسعة على معايير KBQA تحقق من فعالية طريقتنا لتعزيز قدرة التفكير العددي لنماذج KBQA القائمة على IR.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
