عادة ما يتم تدريب النماذج العصبية الأكاديمية لدقة COMERASE (COREF) على مجموعة بيانات واحدة، ويتم قياس التحسينات النموذجية في نفس مجموعة البيانات.ومع ذلك، تعتمد تطبيقات COREF العالمية في العالم الحقيقي على المبادئ التوجيهية التوضيحي ومجال مجموعة البيا
نات المستهدفة، والتي تختلف غالبا عن تلك الموجودة في أونتونو.نحن نهدف إلى تحديد قابلية تحويل نماذج COREF بناء على عدد المستندات المشروح المتوفرة في مجموعة البيانات المستهدفة.نحن ندرس أحد عشر مجموعة بيانات مستهدفة ونتطلع إلى أن التدريب المستمر فعال باستمرار وفائدة بشكل خاص عندما تكون هناك عدد قليل من المستندات المستهدفة.نحن نؤسس معايير جديدة في العديد من مجموعات البيانات، بما في ذلك النتائج الحديثة على Preco.
أشار العمل السابق إلى أن النماذج اللغوية المحددة مسبقا (MLMS) غير فعالة مثل تشفير المعجمات المعجمية والجملة العالمية خارج الرف، أي دون مزيد من ضبط الدقيقة بشكل جيد على NLI أو تشابه الجملة أو إعادة الصياغة المهام باستخدام بيانات المهام المشروحة وبعد ف
ي هذا العمل، نوضح أنه من الممكن تحويل MLMS إلى تشفير معجمية وقضية فعالة حتى دون أي بيانات إضافية، والاعتماد ببساطة على الإشراف الذاتي. نقترح تقنية تعليمية بسيطة للغاية وسريعة وفعالة وفعالة، وتسمى برت مرآة، والتي تحول MLMS (على سبيل المثال، بيرت وروبرتا) إلى مثل هذه اللوائح في 20-30 ثانية مع عدم وجود إمكانية الوصول إلى المعرفة الخارجية الإضافية. تعتمد Mirror-Bert على أزواج سلسلة متطابقة وعزز قليلا كأمثلة إيجابية (I.E.، مرادف)، وتهدف إلى زيادة تشابهها أثناء ضبط الهوية ". نبلغ عن مكاسب ضخمة أكثر من MLMS Off-Relf مع Mirror-Bert كل من المستوى المعجمي والمهام على مستوى الجملة، عبر المجالات المختلفة ولغات مختلفة. وخاصة، في مشابه الجملة (STS) ومهام إستقبال الإجابة عن السؤال (QNLI)، فإن نموذجنا المرآة الإشراف على نفسه يطابق أداء نماذج Bertence-Bert من العمل السابق الذي يعتمد على بيانات المهام المشروح. أخيرا، نقوم بتحويل أعمق في الأعمال الداخلية لل MLMS، واقترح بعض الأدلة على سبب قيام هذا النهج بسيطة بسيطة بالمرآبة الرصيد بإعادة ترميز اللوائح المعجمية والعامة العامة الفعالة.
اقترح مجتمع البحث تعديلات غزيرة على بنية المحولات منذ تقديمها منذ أكثر من ثلاث سنوات، قلة قليلة نسبيا والتي شهدت اعتماد واسع النطاق.في هذه الورقة، نقوم بتقييم العديد من هذه التعديلات بشكل شامل في بيئة تجريبية مشتركة تغطي معظم الاستخدامات المشتركة للم
حول في معالجة اللغة الطبيعية.من المستغرب، نجد أن معظم التعديلات لا تحسن بشكل مفيد الأداء.علاوة على ذلك، تم تطوير معظم المتغيرات المحولات التي وجدناها مفيدة في نفس الكود التي استخدمناها أو أنها تغييرات طفيفة نسبيا.نحن نقم التخمين أن تحسينات الأداء قد تعتمد بشدة على تفاصيل التنفيذ وتقديم بعض التوصيات في المقابل لتحسين عمومية النتائج التجريبية.
في حين أن النماذج اللغوية المدربة مسبقا (PLMS) هي محلول الذهاب لمعالجة العديد من مشاكل معالجة اللغة الطبيعية، فإنها لا تزال محدودة للغاية في قدرتها على التقاط ومعرفة المعيشية المشتركة. في الواقع، حتى إذا كانت المعلومات متوفرة في شكل قواعد منطقية تقري
بية (ناعمة)، فليس من الواضح كيفية نقلها إلى PLM من أجل تحسين أدائها لمهام التفكير الاستنتاجي. هنا، نهدف إلى سد هذه الفجوة من خلال تدريس PLMS كيفية التفكير مع قواعد القرن الناعمة. نقدم مهمة التصنيف حيث، بالنظر إلى الحقائق والقواعد الناعمة، يجب أن تعيد PLM التنبؤ باحتمال فرضية معينة. نقوم بإصدار بيانات البيانات الأولى لهذه المهمة، ونقترح وظيفة الخسارة المنقحة التي تمكن PLM لتعلم كيفية التنبؤ بحتميات دقيقة للمهمة. تظهر نتائج التقييم الخاصة بنا أن النماذج الناتجة عن القسرية تحقق أداء عال للغاية، حتى على القواعد المنطقية التي كانت غير مرئية في التدريب. علاوة على ذلك، فإننا نوضح أن المفاهيم المنطقية التي أعربنا عنها القواعد يتم نقلها إلى النموذج الدقيق، مما يؤدي إلى نتائج أحدث النتائج على مجموعات البيانات الخارجية.
في هذه الورقة، يمكننا التحقيق في أنواع المعلومات النمطية التي يتم التقاطها عن طريق نماذج اللغة المحددة مسبقا.نقدم بيانات البيانات الأولى التي تشمل السمات النمطية لمجموعة من المجموعات الاجتماعية واقتراح طريقة لاستزاز الصور النمطية المشفرة من قبل نماذج
اللغة المحددة في أزياء غير منشأة.علاوة على ذلك، نربط النمط النمطية الناشئة على مظاهرهم كعاطرات أساسية كوسيلة لدراسة آثارهم العاطفية بطريقة أكثر تعميم.لإظهار كيف يمكن استخدام أساليبنا لتحليل نوبات المشاعر والنمطية بسبب التجربة اللغوية، نستخدم ضبطها بشكل جيد على مصادر الأخبار كدراسة حالة.تعرض تجاربنا كيف تختلف المواقف تجاه مجموعات اجتماعية مختلفة عبر النماذج وكيف يمكن أن تحول العواطف والقوالب النمطية بسرعة في مرحلة ضبط الدقيقة.
تتمثل التعريف بإعادة الصياغة (PI)، وهي مهمة أساسية في معالجة اللغة الطبيعية، هي تحديد ما إذا كانت الجملتين تعبر عن نفس المعنى المماثل، وهي مشكلة تصنيف ثنائية. في الآونة الأخيرة، كانت النماذج اللغوية المدربة مسبقا بيرت هي خيارا شائعا لأطر نماذج PI الم
ختلفة، ولكن جميع الطرق الحالية تقريبا تنظر في نص مجال عام. عندما يتم تطبيق هذه الأساليب على مجال معين، لا يمكن أن تكتب النماذج الحالية تنبؤات دقيقة بسبب نقص المعرفة المهنية. في ضوء هذا التحدي، نقترح إطارا جديدا، وهو، الذي يمكن أن يستفيد من المعرفة الخارجية غير المنظمة في ويكيبيديا لتحديد المواطن بدقة. نقترح علما مخلاصة المعرفة بالمفاهيم المتعلقة بحكمات معينة من ويكيبيديا عبر نموذج BM25. بعد استرداد المعرفة المخططة ذات الصلة، يجعل التنبؤات بناء على كل من المعلومات الدلالية للجملتين ومعرفة الخطوط العريضة. إضافة إلى ذلك، نقترح آلية Gating تجميع التنبؤ الدلالي القائم على المعلومات والتنبؤ القائم على المعرفة. تتم إجراء تجارب واسعة على مجموعة بيانات عامين: العرض (مجموعة بيانات مجال علوم الكمبيوتر) و Clinicalsts2019 (مجموعة بيانات مجال الطب الحيوي). تشير النتائج إلى أن الأساليب المتوفرة التي تتفوقت على أحدث الأحوال.
معظم أساليب تلخيص المستندات النسخة الاستخراجية الحالية (MDS) تسجل كل جملة بشكل فردي واستخراج الجمل الباردة واحدا تلو الآخر لتكوين ملخص، ولديه عاطفي رئيسيين: (1) إهمال العلاقات داخل الوثائق بين الجمل؛ (2) إهمال التماسك وجواء الملخص بأكمله. في هذه الور
قة، نقترح إطار عمل MDS الرواية (SGSUM) لصياغة مهمة MDS كأداة اختيار Sub-Graph، حيث تعتبر المستندات المصدر بيانيا العلاقة من الجمل (على سبيل المثال، الرسم البياني التشابه أو الرسم البياني الخطابي) والمرشح الملخصات هي الرسوم البيانية الفرعية لها. بدلا من اختيار الجمل البارزة، حدد SGSUM رسم بياني فرعي بارز من الرسم البياني العلاقة كملخص. مقارنة بالطرق التقليدية، فإن طريقةنا لها مزايا رئيسية: (1) يتم التقاط العلاقات بين الأحكام من خلال نمذجة كل من هيكل الرسم البياني لمجموعة الوثيقة بأكملها والرسوم البيانية الفرعية المرشحة؛ (2) يخرج مباشرة ملخصا دمج في شكل رسم بياني فرعي وهو أكثر إفادة وتماسك. تظهر تجارب واسعة على مجموعات بيانات متعددة الوظائف و DUC أن أسلوبنا المقترح يجلب تحسينات كبيرة على العديد من خطوط الأساس القوية. توضح نتائج التقييم البشري أيضا أن طرازنا يمكن أن ينتج ملخصات أكثر متماسكا وكفاحيا مقارنة بطرق MDS التقليدية. علاوة على ذلك، فإن الهندسة المعمارية المقترحة لديها قدرة نقل قوية من إدخال واحد إلى متعدد الوثائق، والتي يمكن أن تقلل من عنق الزجاجة في مهام MDS.
يعرض هذا العمل رواية خط أنابيب QA مفتوحة من أربعة مراحل R2-D2 (رتبة مرتين، اقرأ مرتين).يتكون خط الأنابيب من المسترد والمرور Reranker وقارئ استخراجي وقارئ عام وآلية تعزز التنبؤ النهائي من جميع مكونات النظام.نوضح قوتها عبر ثلاث مجموعات بيانات QA المجال
المفتوحةيوضح تحليلنا على ما يلي: (1) الجمع بين القارئ الاستخراجي والمؤدي يحقق تحسينات مطلقة تصل إلى 5 مباراة محددة، وعلى الأقل ضعف كفاءة مثل الفرع الخلفي من نفس النماذج مع معلمات مختلفة، (2) القارئ الاستخراجي مع أقليمكن للممعلمات مطابقة أداء قارئ التوليد في مجموعات بيانات QA الاستخراجية.
تتوفر كميات هائلة من البيانات في مجال الرعاية الصحية بتنسيق نص غير منظم، عادة باللغة المحلية للبلدان. تحتوي هذه المستندات على معلومات قيمة. الاستخدام الثانوي للسرد السريري واستخراج المعلومات من الحقائق والعلاقات الرئيسية منها حول تاريخ مرض المريض يمك
ن أن تعزز الطب الوقائي وتحسين الرعاية الصحية. في هذه الورقة، نقترح طريقة هجينة للتحول التلقائي للنص السريري إلى تنسيق منظم. يتم التقسيم الوثائق تلقائيا في الأجزاء التالية: التشخيص، تاريخ المريض، حالة المريض، نتائج المختبرات. بالنسبة لقسم التشخيص "يتم تطبيق ترميز التعلم العميق النصي في رموز ICD-10 باستخدام MBG-Clinicalbert - نموذج Clinicalbert المصنف من الناعم للنص الطبي البلغاري. من قسم "تاريخ المريض"، نحدد أعراض المريض باستخدام نهج يستند إلى القواعد معززة مع بحث التشابه بناء على Adgeddings Word MBG-Clinicalbert. ونحن نحدد أيضا علاقات الأعراض مثل النفي. بالنسبة لوصف حالة المريض "" وصف، يتم استخدام التصنيف الثنائي لتحديد حالة كل عضو تشريحي. في هذه الورقة، نوضح طرق مختلفة لتكييف أدوات NLP للغة الإنجليزية واللغات الأخرى لغات موارد منخفضة مثل البلغارية.
يبدو أن نجاح النماذج اللغوية المستندة إلى بنية المحولات لا يتعارض مع خصائص الخواص المتجاهية الملحوظة التي تعلمتها هذه النماذج.نقوم بحل هذا من خلال إظهار، خلافا للدراسات السابقة، أن التمثيل لا تشغل مخروطا ضيقا، ولكن الانجراف في اتجاهات مشتركة إلى حد م
ا.عند أي خطوة تدريبية، يتم تحديث جميع المدينات باستثناء تضمين الهدف الأساسي للحقيقة مع التدرج في نفس الاتجاه.يضاعف فوق مجموعة التدريب، وانجرف المدينات وتبادل المكونات الشائعة، حيث تجلى في شكلها في جميع النماذج التي اختبرناها تجريبيا.تظهر تجاربنا أن iSotropy يمكن استعادتها باستخدام تحول بسيط.
