ترغب بنشر مسار تعليمي؟ اضغط هنا

حل المهام المسح الضوئي مع زيادة البيانات وإدخال المدخلات

Solving SCAN Tasks with Data Augmentation and Input Embeddings

286   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نحن نتطلع إلى تحدي التركيب المقدم من مؤشر المسح.باستخدام تكبير البيانات وتعديل هندسة SEQ2SEQ القياسية مع الاهتمام، نحقق نتائج SOTA على جميع المهام ذات الصلة من المعيار، وإظهار أن النماذج يمكن أن تعميم الكلمات المستخدمة في السياقات غير المرئية.نقترح امتدادا للمعيار من خلال مهمة أصعب، والتي لا يمكن حلها بالطريقة المقترحة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تعظيم البيانات غير المزعجة (UDA) هي تقنية شبه بيئية تنطبق على فقدان الاتساق لمعاقبة الاختلافات بين تنبؤات النماذج على (أ) أمثلة ملحوظة (غير مسفحة)؛ و (ب) الأمثلة الواضحة المقابلة التي تم إنتاجها عبر تكبير البيانات. في حين أن UDA اكتسبت شعبية لتصنيف ا لنصوص، فإن الأسئلة المفتوحة باقية من قرارات التصميم ضرورية وكيفية تمديد الطريقة لتسلسل مهام وضع العلامات. في هذه الورقة، نعيد فحص UDA وإظهار فعاليتها في العديد من المهام المتسلسلة. مساهمتنا الرئيسية هي دراسة تجريبية ل UDA لتأسيس مكونات الخوارزمية التي تمنح استحقاقات NLP. وخاصة، على الرغم من أن العمل السابق قد أكد على استخدام تقنيات تكبير ذكية بما في ذلك الترجمة ذات الترجمة المرجانية، نجد أن التناسق بين التنبؤات المخصصة للكلمات الملحوظة والمستبدلة غالبا ما تسفر عن فوائد قابلة للمقارنة (أو أكبر) مقارنة بنماذج الاضطرابات الأكثر تعقيدا. علاوة على ذلك، نجد أن تطبيق فقدان اتساق UDA يوفر مكاسب ذات مغزى دون أي بيانات غير قابلة للتحقيق على الإطلاق، أي في إعداد قياسي إشرافي. باختصار، لا تحتاج UDA إلى عدم إدراكها لتحقيق الكثير من فوائدها المذكورة، ولا تتطلب تكبير بيانات معقدة لتكون فعالة.
أثارت نماذج اللغة المدربة مسبقا مقرها الانتباه مثل GPT-2 تقدما كبيرا لنمذجة حوار نهاية إلى نهاية.ومع ذلك، فإنهم يقدمون أيضا مخاطر كبيرة للحوار الموجهة إلى المهام، مثل عدم وجود أسس المعرفة أو التنوع.لمعالجة هذه القضايا، نقدم أهداف تدريبية معدلة لنموذج اللغة Finetuning، ونحن نوظف تكبير بيانات ضخمة عبر الترجمة الخلفي لزيادة تنوع بيانات التدريب.ندرس إمكانيات الجمع بين البيانات من مصادر مضاعفات تحسين الأداء على مجموعة البيانات المستهدفة.نحن نقيم بعناية مساهماتنا مع كل من الأساليب البشرية والآلية.يتفوق نموذجنا بشكل كبير على خط الأساس على بيانات MultiWoz ويظهر أداء تنافسي مع حالة الفن في كل من التقييم التلقائي والإنساني.
حققت نماذج تمثيل اللغة المدربة مؤخرا مثل بيرت وروبرتا نتائج مهمة في مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP)، ومع ذلك، فإنها تتطلب تكلفة حسابية عالية للغاية.يعد تعلم المناهج الدراسية (CL) أحد الحلول المحتملة لتخفيف هذه المشكلة.CL هي استراتيجي ة تدريبية حيث يتم إعطاء عينات التدريب للنماذج بأمر هادف بدلا من أخذ العينات العشوائية.في هذا العمل، نقترح طريقة CL جديدة تدريجيا، مما يزيد تدريجيا من حجم نص المدخلات لتدريب آلية الانتباه الذاتي في بيرت ومتغيراته باستخدام الحد الأقصى للحجم الدفعة المتوفرة.تظهر التجارب في إعدادات الموارد المنخفضة أن نهجنا يفوق أن يؤدي إلى خط الأساس من حيث سرعة التقارب والأداء النهائي على مهام المصب.
تصف هذه الورقة نظام فريق Cambridge المقدم إلى المهمة المشتركة SEMEVAL-2021 على الغموض المتعدد اللغات واللغة الاجتماعية في السياق.بناء فوق نموذج لغة ملثم مسبقا مدرب مسبقا، يتم تدريب نظامنا أولا مسبقا على بيانات خارج المجال، ثم ضبطها على بيانات داخل ال مجال.نوضح فعالية استراتيجية التدريب التي تتراوح خطوتين مقترح وفوائد تكبير البيانات من كل من الأمثلة القائمة والموارد الجديدة.نحن مزيد من التحقيق في التمثيلات المختلفة وإظهار أن إضافة الميزات المستندة إلى عن بعد مفيدة في مهمة الغموض للكلمة في السياق.ينتج نظامنا نتائج تنافسية للغاية في المسار المتبادل دون تدريب على أي بيانات عبر اللغات؛وتحقق نتائج أحدث النتائج في المسار متعدد اللغات، الترتيب الأول في لغتين (العربية والروسية) والثانية في الفرنسية من أصل 171 نظام مقدم.
إن استخراج وسيطة الحدث الضمني (EAE) هي مهمة حاسمة لاستخراج المعلومات على مستوى المستندات تهدف إلى تحديد حجج الحدث بما يتجاوز مستوى الجملة.على الرغم من الجهود العديدة لهذه المهمة، فإن عدم وجود بيانات تدريبية كافية قد أعاقت الدراسة.في هذه الورقة، نأخذ منظورا جديدا لمعالجة قضية Sparsity الخاصة بالبيانات التي تواجهها EAE الضمنية، من خلال سد المهمة مع فهم القراءة بالآلة (MRC).على وجه الخصوص، نحن ابتكرت نظاميين تكبير البيانات عبر MRC، بما في ذلك: 1) يتيح نقل المعرفة الضمني، مما يتيح نقل المعرفة من المهام الأخرى، من خلال بناء إطار تدريب موحد في صياغة MRC، و 2) تكبير بيانات صريح، والتي يمكن أن تولد جديدا جديداأمثلة تدريبية، عن طريق علاج نماذج MRC كهندان.لقد بررت التجارب الواسعة فعالية نهجنا - - لا يحصل فقط على أداء حديثة على معيارين، ولكن أيضا يوضح نتائج متفوقة في سيناريو منخفضة البيانات.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا