نقترح نقدي علامتي التعلم النشط (CAL)، وهي خوارزمية للتعلم النشطة الجديدة (AL) التي تستغل سلوك النموذج على الحالات الفردية أثناء التدريب كوكيل للعثور على أكثر الحالات إعلامية لوضع العلامات.يستقبل Cal بواسطة خرائط البيانات، التي اقترحت مؤخرا أن تستمد ا
لأفكار في جودة البيانات (Swayamdipta et al.، 2020).قارنا طريقنا على مهام تصنيف النص الشعبي لاستراتيجيات آل شائعة، والتي تعتمد بدلا من ذلك على سلوك ما بعد التدريب.نوضح أن CAL منافسة أساليب المنطقية المشتركة الأخرى، مما يدل على أن الديناميات التدريبية المستمدة من بيانات البذور الصغيرة يمكن استخدامها بنجاح في آل.نحن نقدم رؤى في طريقتنا الجديدة من خلال تحليل إحصاءات المستوى الدفاعية باستخدام خرائط البيانات.تبين نتائجنا كذلك أن Cal ينتج عنه استراتيجية تعليمية أكثر كفاءة في البيانات، وتحقيق نتائج قابلة للمقارنة أو أفضل مع بيانات تدريب أقل بكثير.
نحن نعتبر التمثيل الهرمي للوثائق كرسوم بيانية واستخدام التعلم العميق الهندسي لتصنيفها إلى فئات مختلفة.في حين أن الشبكات العصبية الرسم البيانية يمكن أن تتعامل مع الهيكل المتغير بشكل فعال للمستندات التسلسل الهرمية باستخدام عمليات تمرير رسالة ثابتة للصب
غ، فإننا نوضح أنه يمكننا الحصول على تحسينات إضافية على الأداء باستخدام عملية تجمع الرسوم البيانية الانتقائية المقترحة التي تنشأ من حقيقة أن بعض أجزاء التسلسل الهرمي ثابتةعبر وثائق مختلفة.طبقنا نموذجنا لتصنيف بروتوكولات التجريبية السريري (CT) إلى فئات كاملة وإنهاءها.نستخدم حقيبة من الكلمات القائمة على الأكياس، بالإضافة إلى تضيير مقرها المحولات مسبقا لفصل العقد الرسم البياني، وتحقيق F1 Squareesaround 0.85 على سجل CT واسع النطاق للجمهور حول بروتوكولات 360k.نوضح كذلك كيف يمكن للتجمع الانتقائي إضافة رؤى في التنبؤ بحالة إنهاء CT.نحن نجعل التعليمات البرمجية المصدرية والشقاقات DataSet يمكن الوصول إليها.
لقد نجحت النماذج اللغوية المدربة مسبقا للمحولات بشكل كبير في معظم مهام NLP التقليدية.لكنهم غالبا ما يكافحون في هذه المهام حيث يلزم التفاهم العددي.يمكن أن تكون بعض الأسباب المحتملة هي الأحمال وأهداف ما قبل التدريب غير المصممة خصيصا للتعلم والحفاظ على
الحساب.نحن هنا التحقيق في قدرة نموذج تعلم تحويل النص إلى النصي (T5)، والذي تفوقت على أسلافه في المهام التقليدية لبرنامج التعاون الخليجي، لتعلم الحساب.نحن نعتبر أربع مهام الحسابية: التردد، تنبؤ ترتيب الحجم، والعثور على الحد الأدنى والحد الأقصى في سلسلة، والفرز.نجد أنه على الرغم من أن نماذج T5 تؤدي بشكل جيد في إعداد الاستيفاء، إلا أنهم يكافحون إلى حد كبير في إعداد الاستقراء عبر جميع المهام الأربعة.
الخلل من الطبقة هو تحد مشترك في العديد من مهام NLP، ولديه اتصالات واضحة إلى التحيز، في هذا التحيز في البيانات التدريبية يؤدي غالبا إلى دقة أعلى بالنسبة لمجموعات الأغلبية على حساب مجموعات الأقليات.ومع ذلك، كان هناك تقليديا قطع اتصال بين البحث في التعل
م المتوازن في الفئة والتخفيف من التحيز، ولديه مؤخرا فقط تم النظر في اثنين من خلال عدسة مشتركة.في هذا العمل، نقيم أساليب التعلم الطويلة ذات الذيل الطويل لتغريد المعنويات وتصنيف الاحتلال، وتوسيع نهج قائم على الهامش مع طرق لفرض الإنصاف.نعرض تجريبيا من خلال تجارب محكومة أن الأساليب المقترحة تساعد في تخفيف كل من الخلل في الطبقة والتحيزات الديموغرافية.
وقد تبين أن الكثير من التقدم الأخير في NLU كان بسبب الاستدلال الخاصة بمواد بيانات التعلم من النماذج.نقوم بإجراء دراسة حالة للتعميم في NLI (من MNLI إلى مجموعة بيانات Hans التي شيدت عدسي) في مجموعة من الهيغات القائمة على Bert (محولات ومحولات سيامي و De
viasing Hex)، وكذلك مع إعانة البيانات وزيادة حجم النموذج.نبلغ 2 استراتيجيات ناجحة و 3 غير ناجحة، وكلها توفر رؤى في كيفية تعلم النماذج القائمة على المحولات التعميم.
كيفية التكيف بشكل فعال طرازات الترجمة الآلية (NMT) وفقا للحالات الناشئة دون إعادة التدريب؟على الرغم من النجاح الكبير للترجمة الآلية العصبية، فإن تحديث النماذج المنتشرة عبر الإنترنت لا تزال تحديا.الأساليب غير المعلمة القائمة التي تسترجع الأمثلة المماث
لة من قاعدة بيانات لتوجيه عملية الترجمة تعد واعدة ولكنها عرضة للإفراط في الأمثلة المستردة.ومع ذلك، فإن الأساليب غير المعلمة عرضة للإفراط في الأمثلة المستردة.في هذا العمل، نقترح تعلم الترجمة المنحزة بالنواة مع استعادة مثال (Kster)، وهي طريقة فعالة لتكييف نماذج الترجمة الآلية العصبية عبر الإنترنت.تظهر التجارب في مجال تكيف المجال ومجموعات بيانات الترجمة متعددة المجالات أنه حتى دون إعادة تدريب باهظة الثمن، فإن KTERS قادرة على تحقيق تحسن قدره 1.1 إلى 1.5 درجات بلو عبر أفضل طرق التكيف الموجودة عبر الإنترنت.يتم إصدار الرمز والنماذج المدربة في https://github.com/jiangqn/kster.
غالبا ما تتطلب طرق تعلم التعلم العميق (RL) العديد من التجارب قبل التقارب، ولا يتم توفير إمكانية التفسير المباشر للسياسات المدربة.من أجل تحقيق التقارب السريع والتفسيرية للسياسة في RL، نقترح طريقة RL رواية للألعاب القائمة على النصوص مع إطار عمل رمزي مؤ
خرا يسمى الشبكة العصبية المنطقية، والتي يمكن أن تتعلم القواعد الرمزية والتفسيرية في شبكتها المختلفة.الطريقة الأولى لاستخراج الحقائق المنطقية من الدرجة الأولى من مراقبة النص وشبكة معنى الكلمة الخارجية (Congernet)، ثم قم بتدريب سياسة في الشبكة مع مشغلين منطقي قابل التفسير مباشرة.تظهر النتائج التجريبية لدينا التدريب RL مع الأسلوب المقترح بشكل أسرع بكثير من الأساليب الخلية العصبية الأخرى في مؤشر TextWorld.
يعاني العمل السابق على علاقة Crosslingual واستخراج الأحداث (REE) من قضية التحيز أحادي الأحادي بسبب تدريب النماذج على بيانات اللغة المصدر فقط. تتمثل نهج التغلب على هذه المسألة في استخدام البيانات غير المستهلكة في اللغة المستهدفة لمساعدة محاذاة تمثيلات
crosslingual، أي عن طريق خداع تمييز لغة. ومع ذلك، نظرا لأن هذا النهج غير بشرط على معلومات الفصل، فإن مثال لغوي مستهدف يمكن أن يتماشى بشكل غير صحيح إلى مثال لغة مصدر لفئة مختلفة. لمعالجة هذه المشكلة، نقترح طريقة محاذاة Crosslingual الجديدة التي ترفد معلومات الفئة من مهام REE لتعلم التمثيل. على وجه الخصوص، نقترح تعلم نسختين من ناقلات التمثيل لكل فصل في مهمة ري بناء على أمثلة اللغة أو الهدف المستهدف. سيتم بعد ذلك محاذاة ناقلات التمثيل للفصول المقابلة لتحقيق محاذاة علم الفئة للتمثيلات crosslingual. بالإضافة إلى ذلك، نقترح مواصلة مواءمة مقالات التمثيل لفئات الكلمات العالمية للألوج (أي أجزاء من العلاقات بين الكلام والاعتماد). على هذا النحو، يتم تقديم آلية تصفية جديدة لتسهيل تعلم تمثيلات فئة Word من تمثيلات السياق على نصوص الإدخال بناء على التعلم المشددي. نقوم بإجراء تجارب متشددة واسعة النطاق مع اللغة الإنجليزية والصينية والعربية على مهام ري. توضح النتائج فوائد الطريقة المقترحة التي تقدم بشكل كبير الأداء الحديث في هذه الإعدادات.
في هذا العمل، نقترح إطارا جديدا، برت التعلم المتبادل المتماثل التدرج (Gaml-Bert)، لتحسين الخروج المبكر من Bert.مساهمات Gaml-Bert هي طي ثنائي.نقوم بإجراء مجموعة من التجارب الطيارية، والتي توضح أن تقطير المعرفة المتبادلة بين الخروج الضحل والخروج العميق
يؤدي إلى أداء أفضل لكليهما.من هذه الملاحظة، نستخدم التعلم المتبادل لتحسين عروض بيرت المبكرة المبكرة، أي نطلب من كل خروج من بيرت متعددة الخروج لتقطير المعرفة من بعضها البعض.ثانيا، نقترح GA، طريقة تدريب جديدة تقوم بمحاذاة التدرجات من تقطير المعرفة إلى خسائر الانتروبية.يتم إجراء تجارب واسعة النطاق على معيار الغراء، والذي يدل على أن لدينا Gaml-Bert يمكن أن تتفوق بشكل كبير على أحدث الطرق التي تخرج من أحدث الطرق (SOTA) في وقت مبكر.
يوفر التعلم العميق التعلم نهجا واعدا للألعاب القائمة على النصوص في دراسة التواصل الطبيعي باللغة الطبيعية بين البشر والوكلاء الاصطناعي.ومع ذلك، لا يزال التعميم يمثل تحديا كبيرا حيث يعتمد الوكلاء بشكل خطير على تعقيد ومجموعة متنوعة من المهام التدريبية.ف
ي هذه الورقة، نتعلم هذه المشكلة عن طريق إدخال إطار هرمي مبني على وكيل RL المعلق الرسم البياني المعلق.في المستوى العالي، يتم تنفيذ سياسة META لتحلل اللعبة بأكملها في مجموعة من المهام الفرعية المحددة بواسطة أهداف نصية، وحدد أحدها بناء على KG.ثم يتم تنفيذ سياسة فرعية في المستوى المنخفض لإجراء تعلم التعزيز المكيف للأهداف.نقوم بإجراء تجارب على الألعاب ذات مستويات صعوبة مختلفة وإظهار أن الطريقة المقترحة تتمتع بالتعميمات المواتية.
