المعرفة الواقعية المكتسبة أثناء التدريب المسبق وتخزينها في معلمات نماذج اللغة (LMS) يمكن أن تكون مفيدة في مهام المصب (على سبيل المثال، الإجابة على السؤال أو الاستدلال النصي). ومع ذلك، يمكن أن تسبب بعض الحقائق أو تصبح عفا عليها الزمن مع مرور الوقت. نق
دم المعلمين، وهي طريقة يمكن استخدامها لتحرير هذه المعرفة، وبالتالي إصلاح الأخطاء أو التنبؤات غير المتوقعة دون الحاجة إلى إعادة تدريب مكلفة أو ضبط جيد. إلى جانب كونها فعالة بشكل حسابي، لا تتطلب المعرفة المعرفة أي تعديلات في LM قبل التدريب (على سبيل المثال، استخدام التعلم التلوي). في نهجنا، نحن ندرب شبكة فرط بتحسين مقيد لتعديل حقيقة دون التأثير على بقية المعرفة؛ ثم يتم استخدام شبكة Hyper المدربة للتنبؤ بتحديث الوزن في وقت الاختبار. نعرض فعالية المعرفة مع اثنين من المهندسينيات الشائعة ومهام المعرفة المكثفة: ط) نموذج بيرت يتم ضبطه بشكل جيد لفحص الحقائق، والثاني) نموذج بارت تسلسل إلى تسلسل للرد على السؤال. من خلال طريقتنا، يميل تغيير التنبؤ بشأن الصياغة المحددة لاستعلامه إلى تغيير متسق في التنبؤ أيضا بصيادتها. نظرا لأن هذا يمكن تشجيعه بشكل أكبر من خلال استغلال الصياغة (على سبيل المثال، التي تم إنشاؤها تلقائيا) أثناء التدريب. ومن المثير للاهتمام، أن شبكة فرط لدينا يمكن اعتبارها مسبار "تكشف عن مكونات يجب تغييرها لمعالجة المعرفة الواقعية؛ يوضح تحليلنا أن التحديثات تميل إلى التركيز على مجموعة فرعية صغيرة من المكونات. شفرة المصدر المتاحة في https://github.com/nicola-decao/knowegleditor
إن دمج قواعد المعرفة (KB) في أنظمة الحوار الموجهة نحو المهام الواحد أمرا صعبا، لأنها تتطلب تمثيل كيان KB بشكل صحيح، وهو مرتبط بسياق KB وحالات الحوار. تمثل الأعمال الحالية الكيان مع إدراك جزء من سياق KB فقط، والذي يمكن أن يؤدي إلى تمثيل أقل فعالية بسب
ب فقدان المعلومات، ويلفح سلبا من أجل تناسبي KB وتوليد الاستجابة. لمعالجة هذه المشكلة، نستكشف من السياق بالكامل عن تمثيل الكيان من خلال إدراك جميع الكيانات والحوار ذات الصلة ديناميكيا. لتحقيق ذلك، نقترح، نقترح إطار محول محول في الذاكرة المعززة بالذاكرة (المذنب)، والتي تعامل KB كسلسلة وتزايد قناع ذاكرة جديدة لفرض الكيان على التركيز فقط على كياناتها ذات الصلة وحوار التاريخ، مع تجنب الهاء من الكيانات غير ذات الصلة. من خلال تجارب واسعة، نوضح أن إطار المنزول لدينا يمكن أن يحقق أداء فائقا على حالة الآداب.
النصوص القانونية تستخدم بشكل روتيني المفاهيم التي يصعب فهمها.يعتمد المحامون على معنى هذه المفاهيم من جانب أمور أخرى، والتحقيق بعناية في كيفية استخدامها في الماضي.العثور على قصاصات نصية تذكر مفهوم معين بطريقة مفيدة ومملة واسعة من الوقت، وبالتالي مكلفة
.لقد جمعنا مجموعة بيانات قدرها 26،959 جمل، من قرارات القضية القانونية، وعلقتهم من حيث فائدتهم لشرح مفاهيم قانونية مختارة.باستخدام DataSet نقوم بدراسة فعالية نماذج المحولات المدربة مسبقا على لغة بلغة كبيرة للكشف عن أي من الجمل مفيدة.في ضوء تنبؤات النماذج، نقوم بتحليل الخصائص اللغوية المختلفة للجمل التوضيحية وكذلك علاقتها بالمفهوم القانوني الذي يجب تفسيره.نظهر أن النماذج القائمة على المحولات قادرة على تعلم ميزات متطورة بشكل مدهش وتتفوق على النهج المسبقة للمهمة.
أصبحت الأنظمة الخاضعة للإشراف في الوقت الحاضر وصفة قياسية ل disambiguation شعور النصوص (WSD)، مع طرازات اللغة القائمة على المحولات كعنصرها الأساسي. ومع ذلك، في حين أن هذه الأنظمة قد تحققت بالتأكيد عروض غير مسبوقة، فإن جميعها تعمل تقريبا في ظل افتراض
التقييد، بالنظر إلى سياق، يمكن إزالة كل كلمة بشكل فردي دون أي حساب من الخيارات الأخرى بالمعنى. لمعالجة هذا القيد وإسقاط هذا الافتراض، نقترح الفهم المعنى المستمر (CONSEC)، ونهج جديد في WSD: الاستفادة من إعادة تأكيد مؤخرا لهذه المهمة كمحالة استخراج النص، نحن نتكيافقها على صياغةنا وإدخال حلقة ردود الفعل الاستراتيجية التي تسمح بالغزانة للكلمة المستهدفة لا تتضمن فقط في سياقها ولكن أيضا على الحواس الصريحة المخصصة للكلمات القريبة. نقيم Consec وفحص كيف تقود مكوناتها إلى تجاوز جميع منافسيها وتحديد حالة من الفن الجديد على WSD الإنجليزية. نستكشف أيضا كيفية فرايس Consec في الإعداد المتبادل اللغوي، مع التركيز على 8 لغات مع درجات مختلفة من توفر الموارد، وإبلاغ تحسينات كبيرة على النظم السابقة. نطلق سردنا في https://github.com/sapienzanlp/consec.
نقدم طريقتان رواية غير منشأة لإزالة السمية في النص.تجمع أهميتنا الأولى بين الأفكار الحديثة: (1) إرشادات عملية التوليد مع نماذج اللغة الشرطية النمطية الصغيرة و (2) استخدام نماذج إعادة الصياغة لأداء نقل النمط.نحن نستخدم أداء أداء جيدا تسترشد نماذج لغة
مدربة على الطراز للحفاظ على محتوى النص وإزالة السمية.تستخدم الطريقة الثانية لدينا بيرت لاستبدال الكلمات السامة مع مرادفاتها غير الهجومية.نحن نجعل الطريقة أكثر مرونة من خلال تمكين بيرت لتحل محل الرموز القناع مع عدد متغير من الكلمات.أخيرا، نقدم أول دراسة مقارنة واسعة النطاق لنماذج نقل النمط في مهمة إزالة السمية.نقارن نماذجنا بعدد من الطرق لنقل النمط.يتم تقييم النماذج بطريقة خالية من المرجع باستخدام مزيج من مقاييس نقل النمط غير المدقق.كلتا الطريقتين نقترح أن تسفر عن نتائج سوتا الجديدة.
مهارات التفكير العددي ضرورية للإجابة على الأسئلة المعقدة (CQA) على النص.يتطلب opertaions بما في ذلك العد والمقارنة والإضافة والطرح.يتبع نهج ناجح في CQA على النص، وشبكات الوحدات النمطية العصبية (NMNS)، تتبع نموذج المبرمج ومترجم البرامج النمطية النمطية
المتخصصة لأداء التفكير التركيبي.ومع ذلك، فإن إطار NMNS لا ينظر في العلاقة بين الأرقام والكيانات في كل من الأسئلة والفقرات.نقترح تقنيات فعالة لتحسين قدرات التفكير العددي NMNS من خلال إدراك السؤال المترجم والتقاط العلاقة بين الكيانات والأرقام.على نفس المجموعة الفرعية من DataSet Drop for CQA على النص، تظهر النتائج التجريبية أن إضافاتنا تتفوق على NMNS الأصلي بنسبة 3.0 نقاط للحصول على درجة F1 الإجمالية.
من المعروف أن مهام توليد اللغة الطبيعية (NLG) على اللغات المؤيدة للإسقاط تعاني من مشاكل ضمير Zero (ZP)، وتظل المشكلات تحديا بسبب ندرة NLG Corpora المشروح من ZP.في هذه الحالة، نقترح نهجا للغاية على مرحلتين على مرحلتين للغاية على نمذجة السياق الزوجي مع
استعادة ZP لتخفيف مشكلة ZP في مهام NLG.وخاصة، نحن نؤيد عملية الاسترداد في أزياء تحت إشراف المهمة حيث يتم تعلم إمكانية استعادة تمثيل ZP أثناء عملية تعلم المهام NLG، وبالتالي فإن طريقتنا لا تتطلب مشروحة NLG Corpora مع ZPS.بالنسبة لتعزيز النظام، نتعلم بوت عدوى لضبط مخرجاتنا النموذجية لتخفيف انتشار الخطأ الناجم عن نظام ZPS المسترد.تظهر التجارب في ثلاثة مهام NLG على مستوى الوثيقة، أي الترجمة الآلية، الإجابة على الأسئلة، والتلخيص، أن نهجنا يمكن أن يحسن الأداء إلى حد كبير، وتحسين الترجمة الضميرة مثيرة للإعجاب للغاية.
كان هناك تقدم كبير في مجال الإجابة على الأسئلة الاستخراجية (EQA) في السنوات الأخيرة.ومع ذلك، فإن معظمهم يعتمدون على التوضيحية الخاصة بالإجابة في الممرات المقابلة.في هذا العمل، نتعلم مشكلة EQA عندما لا توجد شروح موجودة للإجابة فترة الإجابة، أي، عندما
تحتوي DataSet على أسئلة فقط والممرات المقابلة.تعتمد طريقتنا على الترميز التلقائي للسؤال الذي يؤدي سؤالا يرد على المهمة أثناء الترميز ومهمة توليد الأسئلة أثناء فك التشفير.نظهر أن طريقتنا تعمل بشكل جيد في إعداد صفرية ويمكن أن توفر خسارة إضافية لتعزيز الأداء ل EQA.
يعد معالجة عدم التطابق بين الأوصاف اللغوية الطبيعية واستعلامات SQL المقابلة تحديا رئيسيا للترجمة النصية إلى SQL. لسد هذه الفجوة، نقترح تمثيل SQL الوسيط (IR) يسمى SQL الطبيعية (Natsql). على وجه التحديد، يحافظ NATSQL على الوظائف الأساسية ل SQL، في حين
أنه يبسط الاستفسارات على النحو التالي: (1) الاستغناء عن المشغلين والكلمات الرئيسية مثل المجموعة من قبل المجموعة، بعد، من أجل الانضمام، والتي عادة ما تكون من الصعب العثور على نظرائهم في أوصاف النص؛ (2) إزالة الحاجة إلى السدود المتداخلة وتعيين المشغلين؛ (3) جعل المخطط يربط أسهل عن طريق تقليل العدد المطلوب من عناصر المخطط. على العنكبوت، وهو معيار نصي To-SQL الصعب يحتوي على استفسارات SQL معقدة ومتداخلة، نوضح أن NATSQL تفوق irs غيرها من مصلحة الضرائب الأخرى، وتحسين أداء العديد من نماذج Sota السابقة. علاوة على ذلك، بالنسبة للنماذج الحالية التي لا تدعم جيل SQL القابل للتنفيذ، يمكنك استخدامها NATSQL بسهولة من إنشاء استعلامات SQL القابلة للتنفيذ، وتحقق دقة تنفيذ الحالة الجديدة من بين الفن.
نقدم العمل في تلخيص عمليات تداول لغات غير الإنجليزية.على عكس مجموعات البيانات التي تمت دراستها شائعة، مثل المقالات الإخبارية، تعكس مجموعة بيانات التدوين هذه صعوبات الجمع بين روايات متعددة، معظمها من الجودة النحوية الفقراء، في نص واحد.نقوم بالإبلاغ عن
تقييم شامل لمجموعة واسعة من نماذج التلخيص المبادرة بالاشتراك مع نموذج الترجمة الآلي خارج الرف.ترجم النصوص إلى اللغة الإنجليزية، وتمخيصها، وترجمت إلى اللغة الأصلية.نحصل على نتائج واعدة فيما يتعلق بطلاقة الملخصات والاتساق والأهمية المنتجة.نهجنا سهل التنفيذ للعديد من اللغات لأغراض الإنتاج عن طريق تغيير نموذج الترجمة ببساطة.
