على الرغم من أن نماذج التدريب المسبق قد حققت نجاحا كبيرا في توليد الحوار، إلا أن أدائها ينخفض بشكل كبير عندما يحتوي المدخلات على كيان لا يظهر في مجموعات بيانات ما قبل التدريب والضبط (كيان غير مرئي). لمعالجة هذه المشكلة، تستفيد الأساليب الحالية لقاع
دة المعرفة الخارجية لتوليد الاستجابات المناسبة. في العالم الحقيقي العملي، قد لا يتم تضمين الكيان من قبل قاعدة المعارف أو تعاني من دقة استرجاع المعرفة. للتعامل مع هذه المشكلة، بدلا من إدخال قاعدة المعرفة كإدخال، نقوم بإجبار النموذج على تعلم التمثيل الدلالي الأفضل من خلال التنبؤ بالمعلومات في قاعدة المعرفة، فقط بناء على سياق الإدخال. على وجه التحديد، بمساعدة قاعدة المعرفة، نقدم هدفين تدريبين مساعدين: 1) تفسير الكلمة الملثمين، والتي تخنق معنى الكيان الملثمين بالنظر إلى السياق؛ 2) توليد Hypernym، الذي يتنبأ فرق الكيان بناء على السياق. نتائج التجربة على اثنين من الحوار كوربوس تحقق من فعالية أساليبنا تحت كلا المعرفة والإعدادات المتاحة وغير متوفرة.
العثور على التعريفي للبيانات هو مفتاح العديد من المهام، بما في ذلك توليد المضادة.إننا نبني نظام، بالنظر إلى بيان، يسترد معرفا من مصادر متنوعة على الويب.في صميم هذا النظام هو نموذج لاستدلال اللغة الطبيعية (NLI) يحدد ما إذا كانت الجملة المرشحة زاوية سا
رية المفعول أم لا.ومع ذلك، فإن معظم نماذج NLI حتى الآن، تفتقر إلى قدرات التفكير المناسبة اللازمة لإيجاد التعدد الزيادة التي تنطوي على استنتاج معقد.وبالتالي، نقدم نموذج NLI المحسن للمعرفة يهدف إلى التعامل مع الاستدلال المستندة إلى السببية والمثال من خلال دمج رسوم البيانية المعرفة.تتفوق نموذج NLI الخاص بنا على خطوط الأساس لمهام NLI، خاصة بالنسبة للحالات التي تتطلب الاستدلال المستهدف.بالإضافة إلى ذلك، يحسن نموذج NLI هذا نظام استرجاع معرفي، وخاصة إيجاد مزايا معقدة بشكل أفضل.
تصف هذه الورقة نظامنا للحصول على مهمة Semeval-2021 4: قراءة الفهم من معنى مجردة.لإنجاز هذه المهمة، نستخدم الهندسة المعمارية لشبكة إيلاءات الرسوم البيانية المعززة للمعرفة مع استراتيجية تحويل الفضاء الدلالي الردد.إنه يرفع المعرفة غير المتجانسة لتعلم ال
أدلة الكافية، ويسعى للحصول على مساحة دلالية فعالة من المفاهيم المجردة لتحسين قدرة الجهاز بشكل أفضل على فهم المعنى التجريدي للغة الطبيعية.تظهر النتائج التجريبية أن نظامنا يحقق أداء قويا في هذه المهمة من حيث كلا من غير المحتملة وغير المعقدة.
يعد الكشف عن الموقف على Twitter تحديا بشكل خاص بسبب الطول القصير لكل سقسقة، والتعايش المستمر لمصطلحات جديدة وعلاج التصنيف، وانحراف هيكل الجملة من النثر القياسي.تم عرض نماذج لغة ذات ضبطها باستخدام بيانات داخل المجال على نطاق واسع لتكون الحالة الجديدة
للعديد من مهام NLP، بما في ذلك اكتشاف الموقف.في هذه الورقة، نقترح طريقة رواية متناصة قائمة بذاتها تعزز نموذج اللغة الملثم للكشف عن الموقف.بدلا من إخفاء الرمز المميز العشوائي، نقترح استخدام نسبة مرجحة للأحكام المرجحة لتحديد الكلمات ذات الموقف العالي ومن ثم نموذج آلية الاهتمام التي تركز على هذه الكلمات.نظهر أن نهجنا المقترح يتفوق على حالة الفنية من أجل الكشف عن البيانات حول بيانات تويتر حول الانتخابات الرئاسية الأمريكية 2020.
