تنطوي تصنيف الحبيبات الجميلة على التعامل مع مجموعات البيانات مع عدد أكبر من الفصول مع الاختلافات الدقيقة بينهما.إن توجيه النموذج إلى التركيز على أبعاد التفريق بين هذه الفئات القابلة للتصريفية بشكل شائع هو مفتاح تحسين الأداء في مهام الحبيبات الجميلة.ف
ي هذا العمل، نقوم بتحليل ضبط النماذج الصعبة المتناقضة من النماذج المدربة مسبقا على مهام تصنيف نصية جيدة الحجم، وتصنيف العاطفة وتحليل المعنويات.قمنا بتضمين علاقات فئة على تكيفا في وظيفة موضوعية مناقصة للمساعدة في وزن الإيجابيات والسلبيات بشكل مختلف، وعلى وجه الخصوص، ترجغ السلبيات المربكة عن كثب أكثر من أمثلة سلبية أقل مماثلة.نجد أن الخسارة على علم التسمية التي تدركها تتفوق على الأساليب المتعاقبة السابقة، في وجود عدد أكبر و / أو فئات أكبر من الفئات القابلة للتصريف، وتساعد النماذج على إنتاج توزيعات الإخراج التي يتم تمييزها أكثر.
نقدم VideoClip، وهو نهج مقاوم للتناقض في تدريب نموذج موحد مسبقا لفهم الفيديو والنصية الصفرية، دون استخدام أي ملصقات على مهام المصب.يقوم VideoClep بتدريب محول الفيديو والنص عن طريق تناقض أزواج فيديو إيجابية مؤقتة متداخلة مع السلبيات الصعبة من أقرب است
رجاع جار.تجاربنا على سلسلة متنوعة من المهام المصب، بما في ذلك استرجاع الفيديو على مستوى التسلسل، والتعريب الخاص بمستوى عمل Videoqa ومستوى الرمز المميز، وتجزئة العمل تكشف عن أداء حالة من بين الفن، وتجاوز العمل السابق، وفي بعض الحالات يفوقنالنهج الخاضعة للإشراف.يتوفر الكود في https://github.com/pytorch/fairseq/examples/mmpt.
الاستعارات في كل مكان في اللغة الطبيعية، ويتطلب الكشف عنها منطق سياقي حول ما إذا كان التعارض الدلالي موجود بالفعل.معظم العمل الحالي يعالج هذه المشكلة باستخدام نماذج السياق المدربة مسبقا.على الرغم من نجاحها، تتطلب هذه النماذج كمية كبيرة من البيانات ال
مسمى ولا تستند إلى اللغة اللاحنة.في هذه الورقة، اقترحنا نموذجا متمربا مسبقا مسبقا (كيت) للكشف عن الاستعارة مع التعلم شبه الإشرافه.يستخدم نموذجنا أولا نموذجا مدربا مسبقا للحصول على تمثيل سياقي للكلمات المستهدفة وتوظف هدفا بسيطا لتعزيز المسافة المتزايدة بين الكلمات المستهدفة "الحواس الحرفية والجهزة المجازية القائمة على نظريات لغوية.علاوة على ذلك، نقترح استراتيجية بسيطة لجمع مثيلات مرشحة واسعة النطاق من كوربوس العام وتعميم النموذج عبر التدريب الذاتي.تبين تجارب واسعة أن كيت يحقق أداء أفضل ضد خطوط خطوط البيانات الحديثة على العديد من البيانات القياسية.
يهدف توليد تقرير الأشعة إلى توليد النص الوصفي من صور الأشعة تلقائيا، مما قد يقدم فرصة لتحسين تقارير الأشعة وتفسيره.يتكون الإعداد النموذجي من نماذج ترميز ترميز التشفير التدريب على أزواج تقارير الصور مع فقدان الانتروبيا الصليب، والذي يكافح من أجل توليد
جمل إعلامية للتشخيصات السريرية لأن النتائج العادية تهيمن على مجموعات البيانات.لمعالجة هذا التحدي وتشجيع المزيد من مخرجات النص بدقة سريريا، نقترح رواية خسارة مضيعة للإشراف ضعيفا لتوليد التقرير الطبي.تظهر النتائج التجريبية أن أسلوبنا يستفيد من التقارير المستهدفة المتناقضة مع غير صحيحة ولكنها قريبة من القريبة.تتفوق على العمل السابق على كل من صحة سرية ومقاييس جيل النص إلى معايير عامة.
توضيحات تناقض توضيح سبب حدوث حدث قد حدث على عكس آخر.إنهم بطبيعتهم بديهية للبشر لكل من الإنتاج والفهم.نقترح طريقة لإنتاج تفسيرات صغيرة في الفضاء الكامن، من خلال إسقاط تمثيل الإدخال، بحيث يتم التقاط الميزات التي تفرق إلا عن قرارات محتملة.يسمح التعديل ل
دينا بسلوك نموذجي للنظر في التفكير المتعرج فقط، والكشف عن جوانب المدخلات مفيدة لقرارات ومعاكضة معينة.يمكن أن تجيب تفسيراتنا الصنع للإجابة على أي تسمية، ومعها الملصق البدائل، هي ميزة إدخال معينة مفيدة.نحن ننتج تفسيرات صغيرة عبر كل من إسناد مفهوم مجردة رفيع المستوى ومستوى المدخلات / المدخلات منخفضة المستوى لإسناد معايير تصنيف NLP.توضح نتائجنا قدرة التفسيرات على نطاق واسع لتوفير إمكانية الترجمة الترجمة الفورية للقرارات النموذجية.
تعتبر تضمين الجملة من الحوارات من الحوارات اهتماما متزايدا بسبب انخفاض تكلفة التصفيف والقدرة على التكيف. تستخدم الأساليب التقليدية شبكة سيامي على هذه المهمة، والتي تحصل على تضيير الجملة من خلال نمذجة الأهمية الدلالية للاستجابة للسياق من خلال تطبيق شب
كة تغذية إلى الأمام أعلى من تشفير الجملة. ومع ذلك، نظرا لأن التشابه الدلالي النصي يقاس عادة من خلال مقاييس المسافات عن بعد عناصر (E.G. Cosping و L2 المسافة)، فإن هذه العمارة هذه تعطي فجوة كبيرة بين التدريب والتقييم. في هذه الورقة، نقترح DialoGuecse، نهج التعلم المتعرج النقي من الحوار معالج هذه المشكلة. يقدم Dialoguecse أولا آلية تضمين (MGE) الموجهة إلى مطابقة جديدة (MGE)، والتي تولد تضمين مدرك للسياق لكل تضمين استجابة مرشحة (أي التضمين الخالي من السياق) وفقا لتوجيه مصفوفات مطابقة السياق متعددة الدورات. ثم أزوج كل تضمين كل مدرسي في السياق مع تضمينها الخالي من السياق المقابل وأخيرا يقلل من الخسارة المتعاقبة عبر جميع أزواج. نحن نقيم نموذجنا على ثلاث مجموعات بيانات حوار متعددة الدوران: Microsoft Diroge Corpus، The Jing Dong Corpus، وجهاز حوار التجارة الإلكترونية Corpus. تظهر نتائج التقييم أن نهجنا تتفوق بشكل كبير على خطوط البيانات الثلاثة في جميع مجموعات البيانات الثلاثة من حيث الخريطة وتدابير الارتباط الرأي، مما يدل على فعاليته. تشير المزيد من التجارب الكمي إلى أن نهجنا يحقق أداء أفضل عند الاستفادة من سياق الحوار أكثر ويظل قويا عند توفير بيانات تدريب أقل.
على عكس النص المنظم جيدا، مثل التقارير الإخبارية ومقالات الموسوعة، غالبا ما يأتي محتوى الحوار من محاورين أو أكثر، وتبادل المعلومات مع بعضها البعض. في مثل هذا السيناريو، يمكن أن يختلف موضوع المحادثة عند التقدم والمعلومات الأساسية لموضوع معين في كثير م
ن الأحيان متناثرة عبر مختلف الكلام من المتكلمين المختلفة، مما يطرح التحديات التي تلخص التخلص من الحوارات بشكل مجردة. لالتقاط معلومات الموضوع المختلفة للمحادثة والحقائق البارزة على الموضوعات التي تم الاستيلاء عليها، يقترح هذا العمل أهدافا للتعلم المتعاواة على علم الموضوع، وهي اكتشاف الاتساق وأهداف الجيل الموجزة الفرعية، والتي من المتوقع أن تقوم بها ضمنيا في تغيير موضوع وتغيير الموضوع تحديات تثير المعلومات لمهمة تلخيص الحوار. يتم تأطير الأهداف المقنعة المقترحة بمثابة مهام مساعدة لمهمة تلخيص الحوار الأساسي، المتحدة عبر استراتيجية تحديث معلمة بديلة. توضح تجارب واسعة النطاق على مجموعات البيانات القياسية أن الطريقة البسيطة المقترحة تتفوق بشكل كبير على خطوط الأساس القوية وتحقق أداء جديد من بين الفني. الرمز والنماذج المدربة متاحة للجمهور عبر.
لقد ظهر التعلم الناقض كطريقة لتعلم التمثيل القوي ويسهل العديد من المهام المصب المختلفة خاصة عندما تكون البيانات الخاضعة للإشراف محدودة. كيفية بناء عينات مضاءة فعالة من خلال تكبير البيانات هي مفتاح نجاحها. على عكس مهام الرؤية، لم يتم التحقيق في طريقة
تكبير البيانات للتعلم المتعاقل بما فيه الكفاية في مهام اللغة. في هذه الورقة، نقترح نهج رواية لبناء عينات صغيرة لمهام اللغة باستخدام تلخيص النص. نحن نستخدم هذه العينات للتعلم المتعاقل الخاضع للإشراف للحصول على تمثيلات نصية أفضل التي تنفصل إلى حد كبير مهام تصنيف النص بشراحي محدود. لمزيد من تحسين الطريقة، نخلط عينات من فئات مختلفة وإضافة تنظيم إضافي، يدعى Mixsum، بالإضافة إلى فقدان الانتروبيا. توضح التجارب في مجموعات بيانات تصنيف النص العالمي الحقيقي (Amazon-5، YELP-5، AG News، IMDB) فعالية إطار التعلم المقاوم للضبط المقترح مع تكبير البيانات القائمة على التلخصات وانتظام Mixsum.
تستخدم وظائف الاستحواذ المشتركة للتعلم النشط إما أخذ عينات من عدم اليقين أو التنوع، تهدف إلى تحديد نقاط بيانات صعبة ومتنوعة من مجموعة البيانات غير المسبقة، على التوالي. في هذا العمل، استمتع بأفضل ما في العالمين، نقترح وظيفة الاستحواذ المفتوحة لاختار
الأمثلة المتعاقبة تماما، أي نقاط بيانات مشابهة في مساحة ميزة النموذج وحتى الآن مخرجات النموذج احتمالية تنبؤية مختلفة. قارنا نهجنا، CAL (التعلم النشط الصنع)، مع مجموعة متنوعة من وظائف الاستحواذ في أربعة مهام فهم اللغة الطبيعية وسبع مجموعات البيانات. تظهر تجاربنا أن CUR يؤدي Cal بشكل أفضل أو متساو من أفضل خط الأساس الأدائي عبر جميع المهام، على كل من البيانات داخل المجال والخروج. نقوم أيضا بإجراء دراسة واسعة النمذجة لطرأتنا، ونحن نتحلل جميع مجموعات البيانات المكتسبة بنشاط والتي توضح أن كال يحصل على مفاضلة أفضل بين عدم اليقين والتنوع مقارنة باستراتيجيات أخرى.
حققت شبكات الخصومة التوليدية (GANS) نجاحا كبيرا في توليف الصور، لكنه أثبت أنه من الصعب توليد لغة طبيعية. التحديات تنشأ من إشارات التعلم غير المنفصلة التي تم تمريرها من التمييز. وبعبارة أخرى، فإن إشارات التعلم السيئة تحد من قدرة التعلم لتوليد اللغات م
ع الهياكل والدلالات الغنية. في هذه الورقة، نقترحنا اعتماد طريقة التعلم المضاد للتعبير (CCL) لدعم تدريب المولد في محكمة اللغات. على النقيض من الجنانيين القياسيين الذين يعتمدون مصنف ثنائي بسيط للتمييز عما إذا كانت العينة حقيقية أو مزيفة، فإننا نوظف إشارة تعليمية مضادة للتناقض التي تقدم تدريبا على تدريب أجهزة اللغات بواسطة (1) سحب تمثيلات اللغة للعينات الناتجة والرصيصة معا و (2) دفع تمثيلات العينات الحقيقية للتنافس مع التمييز وبالتالي تمنع التمييز عن التمييز. نقيم طريقتنا على كل من المعايير الاصطناعية والحقيقة وتحصل على أداء تنافسي مقارنة بالجنطات السابقة لتوليد التسلسل الخصم.
