بناء عينات صغيرة من خلال تلخيص لتصنيف النص مع التعليقات التوضيحية المحدودة

لقد ظهر التعلم الناقض كطريقة لتعلم التمثيل القوي ويسهل العديد من المهام المصب المختلفة خاصة عندما تكون البيانات الخاضعة للإشراف محدودة. كيفية بناء عينات مضاءة فعالة من خلال تكبير البيانات هي مفتاح نجاحها. على عكس مهام الرؤية، لم يتم التحقيق في طريقة تكبير البيانات للتعلم المتعاقل بما فيه الكفاية في مهام اللغة. في هذه الورقة، نقترح نهج رواية لبناء عينات صغيرة لمهام اللغة باستخدام تلخيص النص. نحن نستخدم هذه العينات للتعلم المتعاقل الخاضع للإشراف للحصول على تمثيلات نصية أفضل التي تنفصل إلى حد كبير مهام تصنيف النص بشراحي محدود. لمزيد من تحسين الطريقة، نخلط عينات من فئات مختلفة وإضافة تنظيم إضافي، يدعى Mixsum، بالإضافة إلى فقدان الانتروبيا. توضح التجارب في مجموعات بيانات تصنيف النص العالمي الحقيقي (Amazon-5، YELP-5، AG News، IMDB) فعالية إطار التعلم المقاوم للضبط المقترح مع تكبير البيانات القائمة على التلخصات وانتظام Mixsum.

التعلم المتناقل ضعيفا للإشراف على أساس جيل تقرير الأشعة السينية

يهدف توليد تقرير الأشعة إلى توليد النص الوصفي من صور الأشعة تلقائيا، مما قد يقدم فرصة لتحسين تقارير الأشعة وتفسيره.يتكون الإعداد النموذجي من نماذج ترميز ترميز التشفير التدريب على أزواج تقارير الصور مع فقدان الانتروبيا الصليب، والذي يكافح من أجل توليد جمل إعلامية للتشخيصات السريرية لأن النتائج العادية تهيمن على مجموعات البيانات.لمعالجة هذا التحدي وتشجيع المزيد من مخرجات النص بدقة سريريا، نقترح رواية خسارة مضيعة للإشراف ضعيفا لتوليد التقرير الطبي.تظهر النتائج التجريبية أن أسلوبنا يستفيد من التقارير المستهدفة المتناقضة مع غير صحيحة ولكنها قريبة من القريبة.تتفوق على العمل السابق على كل من صحة سرية ومقاييس جيل النص إلى معايير عامة.

تدرك موضوع التعلم المتعاقل لتلخيص حوار المبادرة

على عكس النص المنظم جيدا، مثل التقارير الإخبارية ومقالات الموسوعة، غالبا ما يأتي محتوى الحوار من محاورين أو أكثر، وتبادل المعلومات مع بعضها البعض. في مثل هذا السيناريو، يمكن أن يختلف موضوع المحادثة عند التقدم والمعلومات الأساسية لموضوع معين في كثير من الأحيان متناثرة عبر مختلف الكلام من المتكلمين المختلفة، مما يطرح التحديات التي تلخص التخلص من الحوارات بشكل مجردة. لالتقاط معلومات الموضوع المختلفة للمحادثة والحقائق البارزة على الموضوعات التي تم الاستيلاء عليها، يقترح هذا العمل أهدافا للتعلم المتعاواة على علم الموضوع، وهي اكتشاف الاتساق وأهداف الجيل الموجزة الفرعية، والتي من المتوقع أن تقوم بها ضمنيا في تغيير موضوع وتغيير الموضوع تحديات تثير المعلومات لمهمة تلخيص الحوار. يتم تأطير الأهداف المقنعة المقترحة بمثابة مهام مساعدة لمهمة تلخيص الحوار الأساسي، المتحدة عبر استراتيجية تحديث معلمة بديلة. توضح تجارب واسعة النطاق على مجموعات البيانات القياسية أن الطريقة البسيطة المقترحة تتفوق بشكل كبير على خطوط الأساس القوية وتحقق أداء جديد من بين الفني. الرمز والنماذج المدربة متاحة للجمهور عبر.

التعلم المضاد للتناقض لشقاء اللغات

حققت شبكات الخصومة التوليدية (GANS) نجاحا كبيرا في توليف الصور، لكنه أثبت أنه من الصعب توليد لغة طبيعية. التحديات تنشأ من إشارات التعلم غير المنفصلة التي تم تمريرها من التمييز. وبعبارة أخرى، فإن إشارات التعلم السيئة تحد من قدرة التعلم لتوليد اللغات مع الهياكل والدلالات الغنية. في هذه الورقة، نقترحنا اعتماد طريقة التعلم المضاد للتعبير (CCL) لدعم تدريب المولد في محكمة اللغات. على النقيض من الجنانيين القياسيين الذين يعتمدون مصنف ثنائي بسيط للتمييز عما إذا كانت العينة حقيقية أو مزيفة، فإننا نوظف إشارة تعليمية مضادة للتناقض التي تقدم تدريبا على تدريب أجهزة اللغات بواسطة (1) سحب تمثيلات اللغة للعينات الناتجة والرصيصة معا و (2) دفع تمثيلات العينات الحقيقية للتنافس مع التمييز وبالتالي تمنع التمييز عن التمييز. نقيم طريقتنا على كل من المعايير الاصطناعية والحقيقة وتحصل على أداء تنافسي مقارنة بالجنطات السابقة لتوليد التسلسل الخصم.

Diallogurecse: التعلم النقيض القائم على الحوار لمضاءة الجملة

تعتبر تضمين الجملة من الحوارات من الحوارات اهتماما متزايدا بسبب انخفاض تكلفة التصفيف والقدرة على التكيف. تستخدم الأساليب التقليدية شبكة سيامي على هذه المهمة، والتي تحصل على تضيير الجملة من خلال نمذجة الأهمية الدلالية للاستجابة للسياق من خلال تطبيق شبكة تغذية إلى الأمام أعلى من تشفير الجملة. ومع ذلك، نظرا لأن التشابه الدلالي النصي يقاس عادة من خلال مقاييس المسافات عن بعد عناصر (E.G. Cosping و L2 المسافة)، فإن هذه العمارة هذه تعطي فجوة كبيرة بين التدريب والتقييم. في هذه الورقة، نقترح DialoGuecse، نهج التعلم المتعرج النقي من الحوار معالج هذه المشكلة. يقدم Dialoguecse أولا آلية تضمين (MGE) الموجهة إلى مطابقة جديدة (MGE)، والتي تولد تضمين مدرك للسياق لكل تضمين استجابة مرشحة (أي التضمين الخالي من السياق) وفقا لتوجيه مصفوفات مطابقة السياق متعددة الدورات. ثم أزوج كل تضمين كل مدرسي في السياق مع تضمينها الخالي من السياق المقابل وأخيرا يقلل من الخسارة المتعاقبة عبر جميع أزواج. نحن نقيم نموذجنا على ثلاث مجموعات بيانات حوار متعددة الدوران: Microsoft Diroge Corpus، The Jing Dong Corpus، وجهاز حوار التجارة الإلكترونية Corpus. تظهر نتائج التقييم أن نهجنا تتفوق بشكل كبير على خطوط البيانات الثلاثة في جميع مجموعات البيانات الثلاثة من حيث الخريطة وتدابير الارتباط الرأي، مما يدل على فعاليته. تشير المزيد من التجارب الكمي إلى أن نهجنا يحقق أداء أفضل عند الاستفادة من سياق الحوار أكثر ويظل قويا عند توفير بيانات تدريب أقل.