ترغب بنشر مسار تعليمي؟ اضغط هنا

تدريجي للتدريب الذاتي مع تمييز لمصطلح الجانب

Progressive Self-Training with Discriminator for Aspect Term Extraction

226   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تهدف استخراج الأجل إلى الجانب إلى استخراج مصطلحات الجانب من جملة مراجعة قد أعرب المستخدمين عن آرائهم.واحدة من التحديات المتبقية لاستخراج مصطلح الجانب موجودة في الافتقار إلى البيانات المشروحة المكافحة.في حين أن التدريب الذاتي يحتمل أن يكون هناك طريقة فعالة لمعالجة هذه المسألة، فإن تسميات الزائفة التي تقوم بتسليمها على البيانات غير المسبقة قد تحفز الضوضاء.في هذه الورقة، نستخدم وسيلة اثنين لتخفيف الضوضاء في الملصقات الزائفة.واحد هو أنه مستوحى من تعلم المناهج الدراسية، ونحن نؤيد التدريب الذاتي التقليدي للتدريب الذاتي التدريجي.على وجه التحديد، ينطني النموذج الأساسي بالملصقات الزائفة في مجموعة فرعية تقدمية في كل تكرار، حيث تصبح العينات في المجموعة الفرعية أكثر صعوبة وأكثر كثرة في عائدات التكرار.والآخر هو أن نستخدم تمييزا لتصفية الملصقات الزائفة الصاخبة.تظهر النتائج التجريبية على أربعة مجموعات من مجموعات بيانات Sereval أن طرازنا تتفوق بشكل كبير على الأساس السابقة وتحقق أداء حالة من الفن.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

أسفرت صعود النماذج اللغوية المدربة مسبقا تقدما كبيرا في الغالبية العظمى من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، يمكن أن يكون النهج العام باتجاه الإجراء المسبق للتدريب بطبيعة الحال في بعض الحالات. بشكل خاص، قم بضبط نموذج لغة مدرب مسبقا في مجال ا لمصدر ثم تطبيقه على نطاق مستهدف مختلف، يؤدي إلى انخفاض أداء حاد من المصنف النهائي للعديد من أزواج المجال المستهدف المصدر. علاوة على ذلك، في بعض مهام NLP، تختلف فئات الإخراج بشكل كبير بين المجالات، مما يجعل التكيف أكثر تحديا. هذا، على سبيل المثال، يحدث في مهمة استخراج الجانب، حيث قد تكون جوانب اهتمام الاستعراضات، على سبيل المثال، المطاعم أو الأجهزة الإلكترونية مختلفة للغاية. تقدم هذه الورقة مخططا جديدا للضبط في بيرت، والتي تهدف إلى معالجة التحديات المذكورة أعلاه. نحن نسمي هذا المخطط Dilbert: تعلم المجال الثابتة مع Bert، وتخصيصه لاستخراج الجانب في إعداد تكيف المجال غير المقترح. يسخر Dilbert المعلومات الفئوية لكل من المصدر والمجالات المستهدفة لتوجيه عملية التدريب المسبق نحو تمثيل ثنائي النطاق والفئة، مما يغلق الفجوة بين المجالات. نظهر أن Dilbert يعطي تحسينات كبيرة على خطوط الأساس الحديثة أثناء استخدام جزء صغير من البيانات غير المسبقة، لا سيما في إعدادات تكيف مجال أكثر تحديا.
تتطلب شبكات العصبية العميقة الحديثة من بين الفن بيانات تدريبية ذات صلة واسعة النطاق غالبا ما تكون مكلفة للحصول على أو غير متوفرة للعديد من المهام. لقد ثبت أن الإشراف ضعيف في شكل قواعد خاصة بالمجال مفيدا في مثل هذه الإعدادات لإنشاء بيانات التدريب المس مى ضعيف. ومع ذلك، فإن التعلم مع القواعد الضعيفة يتحدى بسبب طبيعته المهمة والصاخبة المتأصلة. تحدي إضافي هو تغطية القاعدة والتداخل، حيث يعتبر العمل المسبق على الإشراف الضعيف فقط الحالات التي تغطيها قواعد ضعيفة، وبالتالي تاركة بيانات قيمة غير مسفدة وراءها. في هذا العمل، نطور إطارا ضعيفا للإشراف (Astra) الذي يرفع جميع البيانات المتاحة لمهمة معينة. تحقيقا لهذه الغاية، نستفيد البيانات الخاصة بمهارات العمل من خلال التدريب الذاتي مع نموذج (الطالب) الذي يعتبر تمثيلات السياق ويتوقع التسميات الزائفة على الحالات التي قد لا تغطيها قواعد ضعيفة. ونحن نضع كذلك شبكة انتباه القاعدة (المعلم) التي تتعلم كيفية إجمالي الملصقات الزائفة الطلابية مع ملصقات القاعدة الضعيفة، مشروطة بإخلاصها والسياق الأساسي للمثيل. أخيرا، نقوم بإنشاء هدف تعليمي شبه إشراف للتدريب المنتهي بالبيانات غير المستمرة والقواعد الخاصة بالمجال، وكمية صغيرة من البيانات المسمى. توضح تجارب واسعة على ستة مجموعات بيانات قياسية لتصنيف النص فعالية نهجنا مع تحسينات كبيرة على خطوط الأساس الحديثة.
يهدف تصنيف المعنويات على مستوى الجانب (ALSC) إلى تحديد قطبية المعنويات من جانب محدد في جملة. ESSC عبارة عن إعداد عملي في تحليل المعنويات المستندة إلى جانب الجسيم بسبب عدم وجود مصطلح الرأي اللازم، لكنه فشل في تفسير سبب اشتقاق قطبية المعنويات للجانب. ل معالجة هذه المشكلة، تعمل الأعمال الحديثة من تشفير المحولات التي تم تدريبها مسبقا على ELSC لاستخراج شجرة التبعية التي تركز على جانب جانب الجوانب التي يمكن أن تحدد كلمات الرأي. ومع ذلك، فإن كلمات الرأي المستحثة توفر فقط جديلة بديهية أقل بكثير من الترجمة الترجمة الشاملة على مستوى الإنسان. بالإضافة إلى ذلك، يميل التشفير المدرب مسبقا إلى استيعاب المشاعر الجوهرية في الجانب، مما تسبب في تحيز المعنويات وبالتالي يؤثر على أداء النموذج. في هذه الورقة، نقترح إطارا لتعليم تمثيل جانبي لمكافحة التحيز. يزيل أولا تحيز المعنويات في الجانب التضمين من خلال التعلم الخصم ضد المعنويات السابقة للجوانب. بعد ذلك، تقوم بمحاطة مرشحي الرأي المقطرين بالجانب من خلال نمذجة التبعية المستندة إلى SPAN لتسليط الضوء على شروط الرأي القابلة للتفسير. إن طريقتنا تحقق أداء جديد لحساب الفن في خمسة معايير، مع إمكانية استخراج الرأي غير المزعوم.
على الرغم من نجاحاتها الأخيرة في معالجة العديد من مهام NLP، لا تؤدي نماذج اللغة المدربة مسبقا على نطاق واسع وكذلك في إعدادات قليلة، حيث تتوفر حفنة من الأمثلة التدريبية فقط. لمعالجة هذا القصور، نقترح الطبقات، والتي تعني التدريب الذاتي مع تكبير المهمة، وهو نهج يبني على أفكارين رئيسيين للرافعة الفعالة من البيانات غير المسبقة. أولا، تستخدم Strata تكبير المهمة، وهي تقنية جديدة توليف كمية كبيرة من البيانات الخاصة بضبط المهمة المساعدة من النصوص المستهدفة من النصوص المستهدفة. ثانيا، تقوم الطبقات بإجراء تدريبات ذاتية من خلال زيادة ضبط النموذج القوي القوي الذي تم إنشاؤه بواسطة تكبير المهمة على توزيع واسع للبيانات المسمى الزائفة. توضح تجاربنا أن الطبقات يمكن أن تحسن بشكل كبير كفاءة عينة في 12 معيارا قليلة بالرصاص. بشكل ملحوظ، على DataSet SST-2 المعنويات، Strata، مع 8 أمثلة تدريبية فقط لكل فصل، تحقق نتائج قابلة للمقارنة للضبط بشكل جيد مع أمثلة تدريبية 67K. تكشف تحليلاتنا أن تكبير المهمة والتدريب الذاتي متكاملين وفعالا بشكل مستقل.
تحظى طرازات اللغة واسعة النطاق (LMS) في كورسورا هائلة من النص، مثل GPT-2، هي مولدات نصية مفتوحة قوية. ومع ذلك، نظرا لأن الفحص المنهجي الخاص بنا يكشف، فمن لا يزال يمثل تحديا لهذه النماذج لتوليد ممرات طويلة طويلة متماسكة من النص (على سبيل المثال، 1000 رمز)، خاصة عند ضبط النماذج بشكل جيد إلى المجال المستهدف على كائن صغير. تندرج أساليب التخطيط السابقة عند إيلاء إيناء نص طويل في المجالات المختلفة. للتغلب على القيود، نقترح طريقة بسيطة ولكنها فعالة لتوليد النص بطريقة تقدمية، مستوحاة من خلال توليد الصور من أدنى مستوى إلى دقة عالية. تقوم طريقةنا أولا بإنتاج الكلمات الرئيسية للمحتوى الخاص بالمجال ومن ثم تقوم بتطريصها تدريجيا في مقاطع كاملة في مراحل متعددة. يسمح التصميم البسيط لنهجنا الاستفادة من LMS المحدد في كل مرحلة وتكييف فعال مع أي مجال مستهدف معين فقط مجموعة صغيرة من الأمثلة. نقوم بإجراء دراسة تجريبية شاملة مع مجموعة واسعة من مقاييس التقييم، وإظهار أن نهجنا يحسن بشكل كبير على LMS الكبيرة التي تم ضبطها بشكل كبير وأساليب التخطيط والمنشدة المختلفة من حيث الجودة وكفاءة العينات. يتحقق التقييم البشري أيضا أن أجيال النماذج لدينا أكثر متماسكة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا