لقد أظهر العمل الحديث أن نماذج اللغة المحظورة غير المؤمنة تعلمت تمثيل مفاهيم تقلص البيانات من تباين اللغة والتي يمكن استخدامها لتحديد بيانات التدريب المستهدف بالمجال. تتوفر تسميات أنواع DataSet في كثير من الأحيان، ومع ذلك لا تزال غير مستكشفة إلى حد ك
بير في الإعدادات عبر اللغات. نستفيد هذا النوع من البيانات الوصفية باعتباره إشارة إشرافية ضعيفة لتحديد البيانات المستهدف في تحليل التبعية الصفرية. على وجه التحديد، نقوم بتعيين معلومات النوع من Treebank-Level لمستوى الجملة على مستوى الجملة الدقيقة، بهدف تضخيم المعلومات المخزنة ضمنيا في تمثيلات سياقية غير مدفوعة غير المدعومة. نوضح أن هذا النوع قابل للاسترداد من المدينات السياقية متعددة اللغات وأنه يوفر إشارة فعالة لتحديد بيانات التدريب في السيناريوهات عبر اللغات والصفرية. بالنسبة إلى 12 لغة Low-Resource Treebanks، ستة منها اختبار فقط، فإن أساليبنا الخاصة النوعية تفوقها بشكل كبير خطوط الأساس التنافسية وكذلك الأساليب القائمة على التضمين الحديثة لتحديد البيانات. علاوة على ذلك، يوفر اختيار البيانات المستندة إلى النوع من النوعين نتائج جديدة من الفنادق الجديدة لمدة ثلاثة من هذه اللغات المستهدفة.
المحادثات عبر الإنترنت تشمل أكثر من مجرد نص.على نحو متزايد، تعمل الاستجابات القائمة على الصور مثل الميمات وحلويات الرسوم المتحركة استجابات معترف بها ثقافيا وغالبا ما تكون روح الدعابة في المحادثة.ومع ذلك، في حين أن NLP تم توسيعها إلى نماذج متعددة الوس
ائط، فإن أنظمة حوار المحادثة تركز إلى حد كبير على توليد الردود النصية فقط.هنا، نقدم مجموعة بيانات جديدة تبلغ 1.56 مليون محادثة Text-GIF تتحول وإدخال نموذج محادثة متعددة الوسائط جديد Pepe جمبري الملك لتحديد الردود القائمة على GIF.نوضح أن نموذجنا ينتج استجابات GIF ذات الصلة وعالية الجودة، وفي تجربة مراقبة عشوائية كبيرة ترد على المستخدمين الحقيقيين، نظين على أن ردودنا النموذجية لدينا مع صور متحركة يتم استلامها بشكل أفضل من قبل المجتمع.
أظهرت نماذج اختيار الاستجابة متعددة الدوران مؤخرا أداء مماثل للبشر في العديد من البيانات القياسية.ومع ذلك، في البيئة الحقيقية، غالبا ما تحتوي هذه النماذج على نقاط ضعف، مثل اتباع تنبؤات غير صحيحة تستند بشكل كبير على الأنماط السطحية دون فهم شامل للسياق
.على سبيل المثال، غالبا ما تعطي هذه النماذج درجات عالية مرشحة للاستجابة الخاطئة التي تحتوي على العديد من الكلمات الرئيسية المتعلقة بالسياق ولكن باستخدام المضارع غير المتناقص.في هذه الدراسة، نقوم بتحليل نقاط الضعف في نماذج اختيار استجابة الاستجابة الكورية من هذا المجال ونشر مجموعة بيانات الخصومة لتقييم هذه نقاط الضعف.نقترح أيضا استراتيجية لبناء نموذج قوي في هذه البيئة الخصومة.
تهدف مهمة اكتشاف الحدث (ED) في استخراج المعلومات إلى الاعتراف وتصنيف كلمات الأحداث في النص. تميز التقدم الأخير نماذج لغوية متقدمة للمحولات المتقدمة (على سبيل المثال، بيرت) كعنصر حاسم في النماذج الحديثة للإد. ومع ذلك، فإن الحد الطول لنصوص الإدخال هو ح
اجز لمثل هذه النماذج المحددة لأنها لا تستطيع تشفير سياق مستوي المستند طويل المدى الذي ثبت أنه مفيد لإد إد. لمعالجة هذه المشكلة، نقترح طريقة رواية لنموذج سياق مستوى المستندات لتحديد الجمل ذات الصلة بشكل حيوي في وثيقة التنبؤ بالحدث بالسجن الهدف. سيتم بعد ذلك زيادة الجملة المستهدفة بالجمل المختارة وتستهلكها النماذج اللغوية القائمة على المحولات لتعلم التمثيل المحسن. تحقيقا لهذه الغاية، يتم استخدام خوارزمية التعزيز لتدريب اختيار الجملة ذات الصلة من أجل إد. يتم بعد ذلك تقديم العديد من أنواع المعلومات لتشكيل وظيفة المكافآت لعملية التدريب، بما في ذلك أداء إد، وإشراك الجملة، وعلاقات الخطاب. تجاه تجاربنا الواسعة على مجموعات البيانات القياسية المتعددة تكشف عن فعالية النموذج المقترح، مما يؤدي إلى أداء جديد من الفنادق الجديدة.
يعد تعلم الفروق المحتمات الدقيقة بين العناصر المفردات تحديا رئيسيا في تعلم لغة جديدة.على سبيل المثال، يحتوي جدار الاسم "على مظاهر معجمية مختلفة باللغة الإسبانية - قلص" "يشير إلى جدار داخلي بينما يشير مورو" إلى جدار خارجي.ومع ذلك، قد لا يكون هذا التنو
ع من التمييز المعجمي واضحا للمتعلمين غير الأصليين ما لم يتم تفسير التمييز بهذه الطريقة.في هذا العمل، نقدم طريقة لتحديد التفرقات المعجمية المحتلة تلقائيا، واستخراج القواعد في توضيح هذه الفروق بتنسيق قابل للقراءة بين الإنسان والآلات.نحن نؤكد جودة هذه القواعد المستخرجة في إعداد تعلم اللغة لغتين وإسبانيا واليونانيين، حيث نستخدم القواعد لتدريس الناطقين غير الأصلية عند ترجمة كلمة غامضة معينة في ترجماتها المختلفة المحتملة.
التحديد التركيز هو مهمة مقترحة حديثا تركز على اختيار الكلمات للتأكيد في جمل قصيرة.الطريقة التقليدية تنظر فقط في معلومات التسلسل من الجملة مع تجاهل هيكل الجملة الغنية ومعلومات علاقة الكلمة.في هذه الورقة، نقترح إطارا جديدا يعتبر هيكل الجملة عبر رسم بيا
ني هيكل الجملة وعلاقة كلمة عبر الرسم البياني للكلمة التشابه.يتم اشتقاق الرسم البياني هيكل الجملة من شجرة التحليل من الجملة.يسمح الرسم البياني للكلمة التشابه العقد بمشاركة المعلومات مع جيرانها لأننا نقول أنه في التركيز على التحديد، من المرجح أن يتم التأكيد على كلمات مماثلة معا.يتم استخدام الشبكات العصبية الرسم البياني لتعلم تمثيل كل عقدة لهذين الرسوم البيانية.تظهر النتائج التجريبية أن إطارنا يمكن أن يحقق أداء متفوقا.
تقيم هذه الدراسة ما إذا كان يمكن استخدام خوارزميات الترشيح التعاونية التعاونية النموذجية (CF)، والتي تمت دراستها على نطاق واسع وتستخدم على نطاق واسع لبناء أنظمة التوصية، للتنبؤ بالأسماء المشتركة التي يمكن أن تتخذها المسند ككمل لها. نجد أنه عند تدريب
البيانات المشتركة في الفعل الفعل المنسق من كوربوس الأمريكيين المعاصرين - الإنجليزية (COCA)، اثنين من خوارزميات CF شعبية تعتمد على النموذج، وتحلل القيمة المفرد وعوامل مصفوفة غير سلبية، تؤدي بشكل جيد في هذه المهمة ، يحقق كل منها AUROC من 0.89 على الأقل وتجاوز العديد من خطوط الأساس المختلفة. نوضح بعد ذلك أن ناقلات التضمين للأفعال والأسماء المستفادة من طرازات CF يمكن قياسها (عبر تطبيق K- يعني التجميع) مع الحد الأدنى من فقدان الأداء في مهمة التنبؤ مع استخدام عدد صغير فقط من الأفعال والأسماء (بالنسبة لعدد الأفعال والأسماء المتميزة). أخيرا، نقيم المحاذاة بين ناقلات التضمين الكمي للأفعال وفئات الفعل ليفين، وتجدر عن أن المحاذاة تجاوزت العديد من خطوط الأساس العشوائية. نستنتج عن طريق مناقشة كيفية تطبيق خوارزميات CF النموذجية القائمة على قيود التعلم على الاختيار المكونات بين مختلف الفئات المعجمية وكيف يمكن بعد ذلك استخدام هذه النماذج (المستفادة) لزيادة قواعد الدائرة الانتخابية (القاعدة).
عادة ما تتطلب النهج العصبية لتوليد اللغة الطبيعية في الحوار الموجه في المهام كميات كبيرة من بيانات التدريب المشروح لتحقيق أداء مرض، خاصة عند توليد المدخلات التركيبية. لمعالجة هذه المشكلة، نظهر أن التدريب الذاتي المعزز مع فك التشفير المقيد غلة مكاسب ك
بيرة في كفاءة البيانات على مجموعة بيانات الطقس التي توظف تمثيلات المعنى المتراكم. على وجه الخصوص، تشير تجاربنا إلى أن التدريب الذاتي مع فك التشفير المقيد يمكن أن تمكن نماذج التسلسل إلى التسلسل لتحقيق جودة مرضية باستخدام بيانات أقل من خمسة إلى عشرة أضعاف بيانات أقل من خط الأساس الخاضع للإشراف العادي؛ علاوة على ذلك، من خلال الاستفادة من النماذج المحددة، يمكن زيادة كفاءة البيانات إلى خمسين مرة. نؤكد النتائج التلقائية الرئيسية مع التقييمات البشرية وإظهار أنها تمتد إلى نسخة محسنة وتركيبية من DataSet E2E. والنتيجة النهائية هي نهج يجعل من الممكن تحقيق أداء مقبول على مهام NLG التركيبية باستخدام المئات بدلا من عشرات الآلاف من عينات التدريب.
إن دمج مصادر المعرفة الخارجية بفعالية في المحادثات هي مشكلة طويلة الأمد في أبحاث الحوار مفتوح المجال. إن الأدبيات الموجودة على اختيار المعرفة المفتوحة للمجال محدود ويقتصر بعض الافتراضات الهشة على مصادر المعرفة لتبسيط المهمة الشاملة، مثل وجود عقوبة مع
رفة واحدة ذات صلة لكل سياق. في هذا العمل، نقوم بتقييم حالة اختيار معرفة محادثة المحادثة مفتوحة للمجموعات، حيث تظهر المنهجيات الحالية المتعلقة بالبيانات والتقييم معيبة. ثم نحسنها من خلال اقتراح إطار جديد لجمع المعرفة ذات الصلة، وإنشاء مجموعة بيانات معدنية بناء على معالج كوربوس ويكيبيديا (WOW)، والتي نسميها نجاح باهر ++. WOW ++ المتوسطات 8 جمل المعرفة ذات الصلة لكل سياق حوار، واحتضان الغموض المتأصل من اختيار معرفة حوار المجال المفتوح. بعد ذلك، نقدر خوارزميات تصنيف المعرفة المختلفة على هذه البيانات المعززة مع كل من التقييم الجوهري وتدابير خارجية لجودة الاستجابة، والتي تبين أن Rerankers العصبية التي تستخدم WOW ++ يمكن أن تفوق المهاحين المدربين على مجموعات البيانات القياسية.
حققت نماذج التضمين السياقية المدربة مسبقا متعددة اللغات (Devlin et al.، 2019) أداء مثير للإعجاب على مهام نقل اللغات الصفرية.من خلال إيجاد استراتيجية ضبط الدقيقة الأكثر فعالية لضبط هذه النماذج على لغات الموارد عالية الموارد بحيث تقوم بتحويلاتها جيدا ل
غات اللغات الصفرية هي مهمة غير تافهة.في هذه الورقة، نقترح رواية ميتا المحسن إلى طبقات ناعمة في طبقات النموذج المدرب مسبقا لتجميدها أثناء الضبط.نحن ندرب ميتا المحسن عن طريق محاكاة سيناريو نقل الصفر بالرصاص.تشير النتائج على الاستدلال اللغوي المتبادل اللغوي إلى أن نهجنا يحسن على خط الأساس البسيط للضبط و X-Maml (Nooralahzadeh et al.، 2020).
