في حين أن طرازات اللغة المدربة مسبقا (PTLMS) حققت نجاحا ملحوظا في العديد من مهام NLP، إلا أنها ما زالوا يكافحون من أجل المهام التي تتطلب منطق الحدث الزمني، وهو أمر ضروري للتطبيقات المرن في الحدث. نقدم نهجا مستمرا مسبقا يزود PTLMS مع المعرفة المستهدفة
حول العلاقات الزمنية للحدث. نقوم بتصميم أهداف التعلم ذات الإشراف الذاتي لاستعادة الحدث الملثمان والمؤشرات الزمنية وتمييز الأحكام من نظرائهم الفاسد (حيث تم استبدال الحدث أو المؤشرات الزمنية). بمزيد من التدريب مسبقا PTLM مع هذه الأهداف بشكل مشترك، نعزز انتباهها إلى الحدث والمعلومات الزمنية، مما أدى إلى تعزيز القدرة المعززة على المنطق الزمني للحدث. هذا ** e ** ffective ** con ** إطار ما قبل التدريب المعدني ** ه ** تنفيس ** T ** منطق Emporal (Econet) يحسن عروض الضبط الدقيقة PTLMS عبر خمسة استخراج العلاقات والسؤال وتحقق عروضا جديدة أو على قدم المساواة في معظم مهامنا المصب لدينا.
أظهرت نماذج استخراج العلاقات العصبية نتائج واعدة في السنوات الأخيرة؛ومع ذلك، فإن أداء النموذج يسقط بشكل كبير منحت فقط بعض عينات التدريب فقط.تعمل الأعمال الحديثة التي تحاول الاستفادة من التقدم في سلطة قليلة التعلم لحل مشكلة الموارد المنخفضة، حيث تقوم
بتدريب نماذج الملصقات الملائمة لمقارنة أوجه التشابه الدلالي بشكل مباشر بين جمل السياق في مساحة التضمين.ومع ذلك، فإن المعلومات التي تدرك الملصقات، أي علبة العلاقة التي تحتوي على المعرفة الدلالية المتعلقة بالعلاقة نفسها، مهملة في كثير من الأحيان للتنبؤ.في هذا العمل، نقترح إطارا للنظر في معلومات رسم الخرائط الدلالية الملمع والملصقات على حد سواء لاستخراج العلاقات المتعلقة بالموارد المنخفضة.نظهر أن دمج النوعين المذكورين أعلاه من تعيين معلومات التعيين في كلا المحالمان والضبط بشكل جيد يمكن أن يحسن بشكل كبير من أداء النموذج على مهام استخراج العلاقات المتعلقة بالموارد المنخفضة.
إن ربط الكيانات الطبية الحيوية هي مهمة ربط الكيان في وثيقة طبيب طبيعية إلى كيانات مرجعية في قاعدة المعرفة. في الآونة الأخيرة، تم تقديم العديد من النماذج القائمة على بيرت للمهمة. في حين أن هذه النماذج تحقق نتائج تنافسية على العديد من مجموعات البيانات،
فإنها باهظة الثمن بشكل حسابي وتحتوي على حوالي 110 مليون معلمة. لا يعرف القليل عن العوامل التي تساهم في أدائها المثيرة للإعجاب وما إذا كانت هناك حاجة إلى المعلمة الإفراطية. في هذا العمل، ألقينا بعض الضوء على الأعمال الداخلية لهذه النماذج الكبيرة القائمة على بيرت. من خلال مجموعة من التجارب التحقيق، وجدنا أن كيان يربط الأداء يتغير فقط قليلا عند خلط ترتيب كلمات الإدخال أو عندما يقتصر نطاق الانتباه على حجم نافذة ثابتة. من هذه الملاحظات، نقترح شبكة عصبية نفعية فعالة مع وصلات متبقية لربط الكيانات الطبية الحيوية. نظرا لخصائص التوصيلية المتناثرة وتقاسم الوزن، يحتوي نموذجنا على عدد صغير من المعلمات وهو فعال للغاية. على خمسة مجموعات بيانات عامة، يحقق نموذجنا القابل للمقارنة أو حتى أفضل ربط بدقة من النماذج القائمة على بيرت من أحدث المعلمات التي تضم حوالي 60 مرة معايير أقل من 60 مرة.
تعتبر خلط التعليمات البرمجية ظاهرة خلط الكلمات والعبارات من لغتين أو أكثر في كلام واحد من الكلام والنص.نظرا للتنوع اللغوي العالي، يعرض خلط التعليمات البرمجية العديد من التحديات في تقييم مهام توليد اللغة الطبيعية القياسية (NLG).تعمل العديد من المقاييس
الشعبية على نطاق واسع بشكل سيء بمهام NLG المختلطة من التعليمات البرمجية.لمعالجة هذا التحدي، نقدم حصة خط أنابيب التقييم المعتمدة بشكل كبير يحسن ارتباطا كبيرا بين مقاييس التقييم والأحكام البشرية على النص المزج العام الذي تم إنشاؤه.كحالة للاستخدام، نوضح أداء الفحص على جمل Hinglish التي تم إنشاؤها بواسطة الماكينات (خلط الكود باللغات الهندية والإنجليزية) من The Hinge Corpus.يمكننا تمديد استراتيجية التقييم المقترحة إلى أزواج لغة مختلطة من التعليمات البرمجية، ومهام NLG، ومقاييس التقييم مع الحد الأدنى من أي جهد.
نماذج المحولات هي التقليب equivariant.لتزويد الطلب واكتب معلومات الرموز المميزة والإدخال، عادة ما تتم إضافتها إلى المدخلات.تعمل الأعمال الأخيرة الاختلافات المقترحة من الترميزات الموضعية مع ترميزات الموضع النسبي تحقيق أداء أفضل.يوضح تحليلنا أن المكسب
يأتي في الواقع من نقل المعلومات الموضعية إلى طبقة الاهتمام من المدخلات.بدافع من ذلك، نقدم اهتماما ممتما مطردا للمحولات (النظام الغذائي)، وهي آلية بسيطة ولكنها فعالة لتشفير معلومات الموقف والقطاع في نماذج المحولات.تتمتع الطريقة المقترحة بتدريب ووقت الاستدلال بشكل أسرع، مع تحقيق أداء تنافسي في معايير الغراء وإكستريم و WMT.نحن نعتبر أكثر تعميم طريقتنا للمحولات الطويلة المدى وإظهار مكاسب الأداء.
تلعب الحساب دورا رئيسيا في فهم اللغة الطبيعية.ومع ذلك، فإن نهج NLP الحالية، وليس فقط نهج Word2VEC التقليدي أو نماذج اللغة المستندة إلى المحولات السياقية، تفشل في تعلم الحساب.ونتيجة لذلك، فإن أداء هذه النماذج محدود عند تطبيقه على التطبيقات المكثفة في
المجالات السريرية والمالية.في هذا العمل، نقترح نهج تضمين عدد بسيط بناء على الرسم البياني للمعرفة.نحن نبني رسم بياني للمعرفة يتكون من كيانات الأرقام وعلاقات الحجم.يتم بعد ذلك تطبيق طريقة تضمين الرسم البياني للمعرفة للحصول على ناقلات الرقم.نهجنا سهل التنفيذ، وتجربة نتائج التجربة على مختلف مهام NLP ذات الصلة بالكمال إظهار فعالية وكفاءة طريقتنا.
أظهرت الدراسات الحديثة أن النماذج العميقة العصبية المستندة إلى الشبكة المعرضة للأمثلة المصنوعة عن قصد، ويقترح أساليب مختلفة للدفاع ضد هجمات استبدال الكلمات العدائية لنماذج NLP العصبية. ومع ذلك، هناك نقص في الدراسة المنهجية حول مقارنة النهج الدفاعية ا
لمختلفة بموجب نفس الإعداد الهجومية. في هذه الورقة، نسعى إلى ملء فجوة الدراسات المنهجية من خلال أبحاث شاملة بشأن فهم سلوك مصنفات النص العصبي المدربين من قبل طرق دفاعية مختلفة بموجب هجمات المشدلات التمثيلية. بالإضافة إلى ذلك، نقترح طريقة فعالة لزيادة تحسين متانة المصنفات النصية العصبية ضد هذه الهجمات، وحققت أعلى دقة على كل من الأمثلة النظيفة والمنعدة على مجموعات بيانات Agnews و IMDB بمهامش مهم. نأمل أن توفر هذه الدراسة أدلة مفيدة للبحث في المستقبل على الدفاع المشددي النصي. تتوفر الرموز في https://github.com/rockylzy/textdefender.
في هذه الورقة، نحقق في عوامل القيادة وراء التسلسل، وهي طريقة بسيطة ولكنها فعالة من البيانات للترجمة الآلية العصبية منخفضة الموارد.تشير تجاربنا إلى أن سياق الخطاب غير مرجح هو سبب تحسين تسلسل بلو من قبل حوالي +1 عبر أربع أزواج لغوية.بدلا من ذلك، نوضح أ
ن التحسن يأتي من ثلاثة عوامل أخرى لا علاقة لها بالحبال: تنوع السياق، وتنوع الطول، و (إلى حد أقل) يتحول الموقف.
ترتيب الجملة هي مهمة ترتيب كيس معين من الجمل لتحقيق أقصى قدر من الاتساق النص العام.في هذا العمل، نقترح طريقة تدريبية بسيطة ولكنها فعالة تعمل على تحسين قدرة النماذج على التقاط تماسك النص العام بناء على التدريب على أزواج الجمل / القطاعات.تظهر النتائج ا
لتجريبية تفوق أسلوبنا المقترح في إعدادات المجال الواقعة.يتم التحقق من فائدة أسلوبنا أيضا عن مهمة ملخص متعددة المستندات.
تحقق بنية المحولات نجاحا كبيرا في مهام معالجة اللغة الطبيعية الوفيرة. إن المعلمة الزائدة لطراز المحول قد حفز الكثير من الأعمال لتخفيف حيز التنقل عن العروض المتفوقة. مع بعض الاستكشافات، نجد تقنيات بسيطة مثل التسرب، يمكن أن تعزز أداء النموذج بشكل كبير
مع تصميم دقيق. لذلك، في هذه الورقة، ندمج أساليب التسرب المختلفة في تدريب نماذج المحولات. على وجه التحديد، نقترح نهجا يدعى UNIDROP لتوحيد ثلاث تقنيات إسقاط مختلفة من الحبوب الجميلة إلى الحبوب الخشنة، I.E.، ميزة التسرب، التسرب الهيكل، وتسرب البيانات. من الناحية النظرية، نوضح أن هذه التسربات الثلاثة تلعب أدوارا مختلفة من وجهات نظر التنظيم. تجريبيا، نقوم بإجراء تجارب على كل من مجموعات بيانات الترجمة الآلية العصبية وتصنيف النص. تشير النتائج الواسعة إلى أن المحول مع UNIDROP يمكن أن تحقق حوالي 1.5 لتحسين بلو على مهام الترجمة IWSLT14، ودقة أفضل للتصنيف حتى باستخدام روبرتا قوي مدرب مسبقا كعمود العمود الفقري.
