تهدف استخراج العلاقات المنخفضة الموارد (LRE) إلى استخراج حقائق العلاقة من كورسا محدودة المسمى عندما تشريح الإنسان نادرة. تعمل الأعمال الموجودة إما استخدام مخطط التدريب الذاتي لتوليد ملصقات زائفة ستتسبب في مشكلة الانجراف التدريجي، أو نظام التعلم التلو
ي الاستفادي الذي لا يتطلب التغيلات بشكل صريح. لتخفيف التحيز الاختيار بسبب عدم وجود حلقات ردود الفعل في نماذج التعلم الحالية، قمنا بتطوير طريقة تعليمية لتعزيز التعزيز التدرج لتشجيع بيانات الملصقات الزائفة لتقليد اتجاه نزول التدرج على البيانات المسمى و Bootstrap إمكانية التحسين من خلال التجربة والخطأ. نقترح أيضا إطارا يسمى Gradlre، الذي يتعامل مع سيناريوهات رئيسيين في استخراج علاقة الموارد المنخفضة. إلى جانب السيناريو حيث تكون البيانات غير المسبقة كافية، يتعامل Gradlre الموقف حيث لا تتوفر بيانات غير قابلة للتحقيق، من خلال استغلال طريقة تكبير سياقيا لتوليد البيانات. النتائج التجريبية على مجموعات بيانات عامة تثبت فعالية الخريجين في استخراج العلاقات المنخفضة للموارد عند مقارنة مع الأساس.
كيفية التكيف بشكل فعال طرازات الترجمة الآلية (NMT) وفقا للحالات الناشئة دون إعادة التدريب؟على الرغم من النجاح الكبير للترجمة الآلية العصبية، فإن تحديث النماذج المنتشرة عبر الإنترنت لا تزال تحديا.الأساليب غير المعلمة القائمة التي تسترجع الأمثلة المماث
لة من قاعدة بيانات لتوجيه عملية الترجمة تعد واعدة ولكنها عرضة للإفراط في الأمثلة المستردة.ومع ذلك، فإن الأساليب غير المعلمة عرضة للإفراط في الأمثلة المستردة.في هذا العمل، نقترح تعلم الترجمة المنحزة بالنواة مع استعادة مثال (Kster)، وهي طريقة فعالة لتكييف نماذج الترجمة الآلية العصبية عبر الإنترنت.تظهر التجارب في مجال تكيف المجال ومجموعات بيانات الترجمة متعددة المجالات أنه حتى دون إعادة تدريب باهظة الثمن، فإن KTERS قادرة على تحقيق تحسن قدره 1.1 إلى 1.5 درجات بلو عبر أفضل طرق التكيف الموجودة عبر الإنترنت.يتم إصدار الرمز والنماذج المدربة في https://github.com/jiangqn/kster.
أظهر تعلم التعزيز العميق إمكانات كبيرة في سياسات الحوار التدريبية. ومع ذلك، فإن أدائها المواتي يأتي بتكلفة العديد من جولات التفاعل. تعتمد معظم أساليب سياسة الحوار الحالية على نظام تعليمي واحد، في حين أن الدماغ البشري يحتوي على نظامين لتعلم وذاكرة متخ
صصين، يدعمان لإيجاد حلول جيدة دون الحاجة إلى أمثلة غزيرة. مستوحاة من الدماغ البشري، تقترح هذه الورقة إطار عمل لتعلم السياسات التكميلي الرواية (CPL)، والتي تستغل المزايا التكميلية لسياسة الذاكرة العرضية (EM) وسياسة شبكة Q-Network (DQN) العميقة لتحقيق تعلم سياسة حوار سريعة وفعالة وبعد من أجل التنسيق بين السياسة، اقترحنا وحدة تحكم الثقة للسيطرة على الوقت التكميلي وفقا لفعولتها النسبية في مراحل مختلفة. علاوة على ذلك، يتم اقتراح اتصال الذاكرة وتقليم الوقت لضمان التعميم المرن والتكيف للسياسة EM في مهام الحوار. تظهر النتائج التجريبية على ثلاث مجموعات بيانات الحوار أن طريقتنا تتفوق بشكل كبير على الطرق الحالية التي تعتمد على نظام تعليمي واحد.
أصبح توحيد التعلم الصوتي واللغوي أمرا مهما بشكل متزايد بنقل المعرفة المستفادة بشأن وفرة بيانات لغة الموارد عالية الموارد للحصول على التعرف على الكلام المنخفض الموارد. الأساليب الحالية ببساطة تتالي النماذج الصوتية واللغة المدربة مسبقا لتعلم النقل من ا
لكلام إلى النص. ومع ذلك، فإن كيفية حل تناقض التمثيل في الكلام والنص غير مستكشفة، مما يعيق استخدام المعلومات الصوتية واللغوية. علاوة على ذلك، يعمل الأمر السابق ببساطة استبدال طبقة تضمين نموذج اللغة المدربة مسبقا مع الميزات الصوتية، والتي قد تتسبب في مشكلة نسيان الكارثي. في هذا العمل، نقدم WAV-Bert، وهي طريقة تعليمية تعاونية وصوتية وممثلة على الصمامات والاستفادة من المعلومات السياقية من الكلام والنص. على وجه التحديد، نقوم بتحديد نموذج صوت صوتي مدرب مسبقا (WAV2VEC 2.0) ونموذج لغة (Bert) في إطار قابل للتدريب من طرف إلى نهاية. تم تصميم وحدة تجميع التمثيل لتجميع التمثيل الصوتي واللغوي، ويتم تقديم وحدة الانتباه التضمين لإدماج المعلومات الصوتية في بيرت، والتي يمكن أن تسهل بفعالية تعاون نماذج مدربة مسبقا وبالتالي تعزيز تعلم التمثيل. تشير التجارب الواسعة إلى أن لدينا WAV-Bert تنفأ بشكل كبير على النهج الحالية وتحقيق الأداء الحديث في التعرف على الكلام المنخفض الموارد.
نظرا للجهود المعجدة والإدراكية المتورطة في التوليد اليدوي من تعليق واحد لكل إدخال الصورة / الفيديو، فإن موارد الشروح البشرية محدودة للغاية لتسمية المهام. نحن نحدد كفاءة الموارد اللغوية باعتبارها تصل إلى نفس الأداء مع التوضيحية المشروحة أقل لكل مدخلات
. ندرس أولا تدهور أداء نماذج التسمية التوضيحية في إعدادات موارد لغة مختلفة. يظهر تحليل نماذج التسمية التوضيحية مع خسارة SC أن تدهور الأداء ناتج عن تقدير المكافأة بشكل متزايد للمكافآت والأساس مع عدد أقل من الموارد اللغوية. لتخفيف هذه المشكلة، نقترح تقليل تباين الضوضاء في الأساس عن طريق تعميم المقارنة الزوجية الفردية في فقدان SC واستخدام مقارنات الزوجية المتعددة المتعمدة. يقيس المقارنة الزوجية المعممة (GPC) الفرق بين درجات التقييم التوضيحتين فيما يتعلق بالإدخال. وإظهار تجريبيا، نظرا لأن النموذج الذي تم تدريبه مع فقدان GPC المقترح فعالا على مورد اللغة وتحقق أداء مماثل مع النماذج الحديثة على MSCOC باستخدام نصف موارد اللغة فقط. علاوة على ذلك، تتفوق نموذجنا بشكل كبير على النماذج الحديثة على مجموعة بيانات تعليق الفيديو التي تحتوي على علامة تعليق واحدة فقط لكل إدخال في مجموعة التدريب.
تعاني نماذج الترجمة الآلية العصبية غير التلقائية (NART) من مشكلة الوسائط المتعددة والتي تسبب عدم تناسق الترجمة مثل تكرار الرمز المميز. حاولت معظم الأساليب الأخيرة حل هذه المشكلة من خلال النمذجة الضمنية التبعيات بين المخرجات. في هذه الورقة، نقدم Align
art، الذي يرفع معلومات المحاذاة الكاملة إلى تقليل طريقة التوزيع المستهدف بشكل صريح. تقسم AlignArt مهمة ترجمة الآلة في (1) تقدير المحاذاة و (2) الترجمة مع مدخلات فك تشفير محاذاة، توجيه وحدة فك التركيز للتركيز على الترجمة المبسطة الواحدة المبسطة. لتخفيف مشكلة تقدير المحاذاة، فإننا نقترح كذلك طريقة تحلل المحاذاة الجديدة. تظهر تجاربنا أن Alignart تفوق النماذج السابقة غير التكرارية التي تركز على تخفيض طريقة صريحة على WMT14 EN↔DE و WMT16 RO → EN. علاوة على ذلك، تحقق Alignart درجات بلو مماثلة لتلك النماذج القائمة على التصنيف الزمني للدولة من الفنون على WMT14 En↔de. نلاحظ أيضا أن Alignart يعالج بشكل فعال مشكلة تكرار الرمز المميز حتى دون تقطير المعرفة على مستوى التسلسل.
يعاني العمل السابق على علاقة Crosslingual واستخراج الأحداث (REE) من قضية التحيز أحادي الأحادي بسبب تدريب النماذج على بيانات اللغة المصدر فقط. تتمثل نهج التغلب على هذه المسألة في استخدام البيانات غير المستهلكة في اللغة المستهدفة لمساعدة محاذاة تمثيلات
crosslingual، أي عن طريق خداع تمييز لغة. ومع ذلك، نظرا لأن هذا النهج غير بشرط على معلومات الفصل، فإن مثال لغوي مستهدف يمكن أن يتماشى بشكل غير صحيح إلى مثال لغة مصدر لفئة مختلفة. لمعالجة هذه المشكلة، نقترح طريقة محاذاة Crosslingual الجديدة التي ترفد معلومات الفئة من مهام REE لتعلم التمثيل. على وجه الخصوص، نقترح تعلم نسختين من ناقلات التمثيل لكل فصل في مهمة ري بناء على أمثلة اللغة أو الهدف المستهدف. سيتم بعد ذلك محاذاة ناقلات التمثيل للفصول المقابلة لتحقيق محاذاة علم الفئة للتمثيلات crosslingual. بالإضافة إلى ذلك، نقترح مواصلة مواءمة مقالات التمثيل لفئات الكلمات العالمية للألوج (أي أجزاء من العلاقات بين الكلام والاعتماد). على هذا النحو، يتم تقديم آلية تصفية جديدة لتسهيل تعلم تمثيلات فئة Word من تمثيلات السياق على نصوص الإدخال بناء على التعلم المشددي. نقوم بإجراء تجارب متشددة واسعة النطاق مع اللغة الإنجليزية والصينية والعربية على مهام ري. توضح النتائج فوائد الطريقة المقترحة التي تقدم بشكل كبير الأداء الحديث في هذه الإعدادات.
الحوار المرئي هو مهمة الإجابة على سلسلة من الأسئلة التي تأسست في صورة باستخدام سجل الحوار السابق كسياق. في هذه الورقة، ندرس كيفية معالجة تحديين أساسيين لهذه المهمة: (1) التفكير في الهياكل الدلالية الأساسية بين جولات الحوار و (2) تحديد العديد من الإجا
بات المناسبة على السؤال المحدد. لمعالجة هذه التحديات، نقترح طريقة لتعليم الرسومات Sparse (SGL) لصياغة مربع حوار مرئي كهزم تعلم هيكل الرسم البياني. ينتشر SGL هياكل الحوار متناثرة بطبيعته من خلال دمج حواف ثنائية وتسهيل وظيفة فقدان هيكلية جديدة. بعد ذلك، نقدم طريقة نقل المعرفة (KT) التي تستخرج تنبؤات الإجابة من نموذج المعلم وتستخدمها باسم ملصقات زائفة. نقترح KT لعلاج أوجه القصور في ملصقات فردية واحدة للحقيقة، والتي تحد بشدة من قدرة نموذج للحصول على إجابات معقولة متعددة. نتيجة لذلك، يحسن نموذجنا المقترح بشكل كبير القدرة على التفكير مقارنة بطرق خط الأساس وتتفوق من الأساليب الحديثة على مجموعة بيانات V1.0 Versdial. يتوفر شفرة المصدر في https://github.com/gicheonkang/sglkt-visdial.
تحديد ما إذا كان هناك مستندان مؤلفان من المؤلف نفسه، المعروف أيضا باسم التحقق من التأليف، تم تناوله تقليديا باستخدام الأساليب الإحصائية. في الآونة الأخيرة، تم العثور على تمثيلات التأليف المستفادة باستخدام الشبكات العصبية لتفوق البدائل، لا سيما في الإ
عدادات الكبيرة التي تنطوي على مئات الآلاف من المؤلفين. ولكن هل تعلمت هذه التمثيلات في نقل مجال معين إلى مجالات أخرى؟ أو هل هذه تمثيلات متشابكة بطبيعتها مع ميزات خاصة بالمجال؟ لدراسة هذه الأسئلة، نقوم بإجراء أول دراسة واسعة النطاق لنقل المجال المتبادل للتحقق من التأليف بالنظر إلى التحويلات الصفرية التي تنطوي على ثلاثة مجالات متباينة: مراجعات الأمازون وقصص قصيرة الصوفية والتعليقات Reddit. نجد أنه على الرغم من أن درجة التنقل مفاجأة ممكنة بين مجالات معينة، إلا أنها ليست ناجحة بين الآخرين. نحن ندرس خصائص هذه المجالات التي تؤثر على التعميم واقتراح أساليب بسيطة ولكنها فعالة لتحسين النقل.
تحقق هذه الورقة في التعلم المستمر لتحليل الدلالي. في هذا الإعداد، يتعلم المحلل الدلالي العصبي المهام بالتتابع دون الوصول إلى بيانات التدريب الكامل من المهام السابقة. فشل التطبيق المباشر لخوارزميات التعلم المستمرة لسوتا لهذه المشكلة في تحقيق أداء قابل
ا للمقارنة مع نماذج إعادة التدريب مع جميع المهام التي شوهدت لأنها لم تعتبر الخصائص الخاصة للنواتج المنظمة التي أسفرت عن المحللين الدلاليين. لذلك، نقترح totalrecall، وهي طريقة تعليمية مستمرة مصممة للمحطات الدلالية العصبية من جوانب: ط) طريقة أخذ العينات لإعادة الذاكرة التي تنويع قوالب النماذج المنطقية وأرصدة توزيعات تصرفات التحليل في الذاكرة؛ 2) طريقة تدريب ذات مرحامة تعمل بشكل كبير على تحسين القدرة على تعميم التعميم من المحللين عبر المهام. نقوم بإجراء تجارب مكثفة لدراسة المشاكل البحثية المتورطة في تحليل دلالي مستمر وتظهر أن المحلل الدلالي العصبي المدرب مع TotalRecall يحقق أداء فائقا من المرء الذي تم تدريبه مباشرة مع خوارزميات التعلم المستمرة SOTA وتحقيق تسريع 3-6 مرات مقارنة بإعادة التدريب من الصفر.
