نحن ندرس تصنيف التفضيل المقارن (CPC) الذي يهدف إلى التنبؤ بما إذا كان مقارنة الأفضلية موجودة بين كيانين في عقوبة معينة، وإذا كان الأمر كذلك، فهذا، يفضل الكيان على الآخر. يمكن أن نماذج CPC عالية الجودة تستفيد بشكل كبير تطبيقات مثل السؤال المقارن الرد
التوصية القائمة على المراجعة. من بين الأساليب الحالية، تعاني أساليب التعلم غير العميقة من أداء أدنى. الرسم البياني لحديث الحديث في الشبكة العصبية المستندة إلى الشبكة (ما، و 2020) يعتبر فقط المعلومات النحوية مع تجاهل العلاقات الدلالية الحاسمة والمشاعر إلى الكيانات المقارنة. نقترح أن نقترح تحليل المعنويات الشبكة المقارنة المعززة (Saecon) الذي يحسن دقة الحزب الشيوعي الصيني مع محلل معنويات يتعلم المشاعر إلى الكيانات الفردية عبر نقل المعرفة التكيفية المجال. يجري التجارب على مجموعة بيانات Compsent-19 (Panchenko et al.، 2019) تحسنا كبيرا على درجات F1 على أفضل طرق CPC الحالية.
لقد أظهرت الأدوات الحديثة الأخيرة أن نماذج تعلم الرسم البياني المعرفي (KG) عرضة للغاية للهجمات الخصومة.ومع ذلك، لا تزال هناك ندرة من تحليلات الضعف لمحاذاة الكيان المتبادلة تحت هجمات الخصومة.تقترح هذه الورقة نموذج هجوم مخدر مع تقنيات هجومين جديدة لإشر
اض هيكل كجم وتدلل جودة محاذاة الكيان المتبادلة العميقة.أولا، يتم استخدام طريقة تعظيم كثافة الكيان لإخفاء الكيانات المهاجمة في المناطق الكثيفة في كلكتين، بحيث تكون الاضطرابات المشتقة غير ملحوظة.ثانيا، تم تطوير طريقة تضخيم إشارة الهجوم لتقليل مشاكل التلاشي التجريبية في عملية الهجمات الخصومة لمزيد من تحسين فعالية الهجوم.
تحقق هذه الورقة فيما إذا كانت قوة النماذج المدربة مسبقا على البيانات النصية، مثل Bert، يمكن نقلها إلى تطبيقات تصنيف تسلسل الرمز المميز.للتحقق من قابلية نقل النماذج المدربة مسبقا، نقوم باختبار النماذج المدربة مسبقا على مهام تصنيف النص مع معاني عدم تطا
بق الرموز، وبيانات تصنيف تسلسل التسلسل غير المدرسي في العالم الحقيقي، بما في ذلك الحمض الأميني والحمض النووي والموسيقى.نجد أنه حتى على البيانات غير النصية، تتخطى النماذج المدربة مسبقا على النص بشكل أسرع، وأداء أفضل من النماذج ذات الادعاء بشكل عشوائي، وأسوأ قليلا فقط من النماذج باستخدام المعرفة الخاصة بمهام المهام.نجد أيضا أن تمثيل النماذج المدربة مسبقا للنصوص وغير النصية تشترك في أوجه التشابه غير التافهة.
أظهرت نماذج اللغة الموجودة مسبقا مسبقا (PLMS) فعالية التعلم الإشراف على الذات لمجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، فإن معظمهم لا يدركون بشكل صريح المعرفة الخاصة بالمجال، وهو أمر ضروري لمهام المصب في العديد من المجالات، مثل المه
ام في سيناريوهات التجارة الإلكترونية. في هذه الورقة، نقترح K- المكونات، نموذج لغة محقوم المعرفة مسبقا بناء على محول تشفير التشفير التي يمكن تحويلها إلى كل من فهم اللغة الطبيعية ومهام الجيل. على وجه التحديد، نقترح خمسة أهداف مسبقة الإشراف على علم المعرفة على المعرفة في تصميم تعلم المعرفة الخاصة بالمجال، بما في ذلك قواعد المعرفة الخاصة بالمجال التجاري، وجوانب كيانات المنتج، وفئات من كيانات المنتجات، ومقترحات البيع الفريدة من كيانات المنتج. نتحقق من طريقتنا في مجموعة متنوعة من سيناريوهات التجارة الإلكترونية التي تتطلب معرفة خاصة بالمجال، بما في ذلك إكمال قاعدة معارف المنتج، وخصم منتج مبيعات، والحوار متعدد الدوران. تتفوق K- التوصيل بشكل كبير على خطوط الأساس في جميع المجالات، والتي توضح أن الطريقة المقترحة تتعلم بفعالية مجموعة متنوعة متنوعة من المعرفة الخاصة بالمجال لكل من مهام الفم والجيل اللغوي. رمز لدينا متاح.
إن تحديد المعرفة ذات الصلة التي سيتم استخدامها في أنظمة المحادثة التي تستند إلى وثائق طويلة أمر بالغ الأهمية لتوليد الاستجابة الفعال.نقدم نموذج تعريف المعرفة الذي يرفع بنية المستند إلى توفير ترميزات مرور محكوم بحري للحوار ومعرفة تحديد المواقع ذات الص
لة بالمحادثة.خسارة مساعدة تلتقط تاريخ اتصالات الوثيقة الحوار.نوضح فعالية نموذجنا على مجموعة بيانات المحادثة المدرجة في المستندات وتوفير التحليلات التي تظهر التعميم على المستندات غير المرئية وسياقات الحوار الطويلة.
العثور على التعريفي للبيانات هو مفتاح العديد من المهام، بما في ذلك توليد المضادة.إننا نبني نظام، بالنظر إلى بيان، يسترد معرفا من مصادر متنوعة على الويب.في صميم هذا النظام هو نموذج لاستدلال اللغة الطبيعية (NLI) يحدد ما إذا كانت الجملة المرشحة زاوية سا
رية المفعول أم لا.ومع ذلك، فإن معظم نماذج NLI حتى الآن، تفتقر إلى قدرات التفكير المناسبة اللازمة لإيجاد التعدد الزيادة التي تنطوي على استنتاج معقد.وبالتالي، نقدم نموذج NLI المحسن للمعرفة يهدف إلى التعامل مع الاستدلال المستندة إلى السببية والمثال من خلال دمج رسوم البيانية المعرفة.تتفوق نموذج NLI الخاص بنا على خطوط الأساس لمهام NLI، خاصة بالنسبة للحالات التي تتطلب الاستدلال المستهدف.بالإضافة إلى ذلك، يحسن نموذج NLI هذا نظام استرجاع معرفي، وخاصة إيجاد مزايا معقدة بشكل أفضل.
تميل أنظمة المحادثة التوليدية إلى إنتاج ردود لا معنى لها والأجنحة، والتي تقلل بشكل كبير من تجربة المستخدم. من أجل توليد ردود مفيدة ومتنوعة، اقترحت الدراسات الحديثة المعرفة لتحسين المعلوماتية وتعتمد المتغيرات الكامنة لتعزيز التنوع. ومع ذلك، فإن الاستف
ادة من المتغيرات الكامنة ستؤدي إلى عدم دقة المعرفة في الاستجابات، ونشر المعرفة الخاطئة ستضلل المسؤولون. لمعالجة هذه المشكلة، نقترح شبكة مخدرة متنوعة من الناحية النحوية (SDAN) لنموذج المحادثة المدرجة المعرفة. يحتوي SDAN على شبكة دلالات هرمية ذات خصومة للحفاظ على التماسك الدلالي، وهي شبكة مدركة للمعرفة لحضور المعرفة الأكثر متعلقة بتحسين المعلومات والشبكة المتغيرة الكامنة النحوية لتوليد ردود متنوعة من الناحية النحوية. بالإضافة إلى ذلك، من أجل زيادة إمكانية التحكم في بناء الجملة، نعتمد التعلم الخصم لإزالة التمثيلات الدلالية والمنظمات. تظهر النتائج التجريبية أن طرازنا لا يمكن أن يؤدي فقط إلى تحقيق استجابات متنوعة ومتنوعة من المعرفة فقط ولكنها تحقق أيضا التوازن بين تحسين التنوع النحوي والحفاظ على دقة المعرفة.
حقق التعلم التلوي نجاحا كبيرا في الاستفادة من المعرفة المستفادة التاريخية لتسهيل عملية التعلم المهمة الجديدة.ومع ذلك، فإن تعلم معرفة المهام التاريخية، التي اعتمدتها خوارزميات التعلم التلوي الحالية، قد لا تعميم بشكل جيد للاختبار المهام عندما لا تكون م
دعومة جيدا بمهام التدريب.تدرس هذه الورقة مشكلة تصنيف النص المنخفض للموارد ويزيد الفجوة بين مهام اختبار التوطين والاختبار التلوي من خلال الاستفادة من قواعد المعرفة الخارجية.على وجه التحديد، نقترح KGML لإدخال تمثيل إضافي لكل جملة مستفادة من الرسم البياني المعرفي الخاص بالحكم الجملة المستخرجة.توضح التجارب الواسعة على ثلاثة مجموعات بيانات فعالية KGML تحت كلا من إعدادات التكيف والإشراف غير المدفوع.
تم إثبات المشفرات المستندة إلى المحولات المسبدة مسبقا مثل بيرت لتحقيق الأداء الحديث في العديد من مهام NLP العديدة. على الرغم من نجاحهم، فإن ترميز نمط بيرت كبير الحجم ولديها زمن بيانات عالية أثناء الاستدلال (خاصة في آلات وحدة المعالجة المركزية) مما يج
علها غير جذابة للعديد من التطبيقات عبر الإنترنت. قدمت أساليب الضغط والتقطير مؤخرا طرقا فعالة لتخفيف هذا القصور. ومع ذلك، فإن محور هذه الأعمال كان أساسا في ترميز أحادي الأونلينغ. بدافع من النجاحات الأخيرة في التعلم عبر التحويل المتبادل في صفر تسديدة باستخدام ترميز مسببات اللغات المسبق، مثل MBERT، فإننا نقيم فعالية تقطير المعرفة (دينار كويتي) خلال مرحلة الاحتجاج وأثناء مرحلة ضبط الدقيقة على نماذج بيرت متعددة اللغات. نوضح أنه في تناقض الملاحظة السابقة في حالة التقطير أحادي الأونلينغ، في الإعدادات المتعددة اللغات، يكون التقطير أثناء الاحتجاز أكثر فعالية من التقطير أثناء ضبط الصفر عن التعلم تحويل الصفر. علاوة على ذلك، فإننا نلاحظ أن التقطير أثناء ضبط الرصيف قد يضر أداء الصفر اللغوي الصفر. أخيرا، نوضح أن تقطير نموذج أكبر (بيرت كبير) ينتج عن أقوى النموذج المقطر الذي يؤدي أفضل سواء على لغة المصدر وكذلك اللغات المستهدفة في إعدادات الطلقة الصفرية.
قياس الحدث أمر ضروري في فهم القصص.تأخذ هذه الورقة طريقة غير مخالفة مؤخرا للكشف عن الصيغة المستمدة من القارب الكاردينال ونظريات مفاجأة وتطبيقها على أشكال سردية أطول.نحن نحسن نموذج لغة المحولات القياسية من خلال دمج قاعدة معرفة خارجية (مشتقة من توليد اس
ترجاع المعزز) وإضافة آلية ذاكرة لتعزيز الأداء في أعمال أطول.نحن نستخدم نهج رواية لاستخلاص شرح Salience باستخدام ملخصات الفصل الانحياز من شمس كوربوس للأعمال الأدبية الكلاسيكية.يوضح تقييمنا ضد هذه البيانات أن نموذج الكشف عن ملحقاتنا يحسن الأداء فوقه ونموذج اللغة غير المعدلة والذاكرة، وكلاهما ضروري لهذا التحسن.
