ترغب بنشر مسار تعليمي؟ اضغط هنا

هل تتعلم بيرت كإنسان؟فهم الأساليب اللغوية من خلال lexica

Does BERT Learn as Humans Perceive? Understanding Linguistic Styles through Lexica

596   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

ينقل الناس نيتهم ​​وموقفهم من خلال الأساليب اللغوية للنص الذي يكتبونه. في هذه الدراسة، نقوم بتحقيق كملات المعجم في المعجم عبر الأساليب طوال العدسين: الإدراك البشري وأهمية كلمة الجهاز، لأن الكلمات تختلف في قوة الإشارات الأسلوبية التي تقدمها. لجمع ملصقات التصور البشري، فإننا نرفع مجموعة بيانات جديدة وطنانيرد، على رأس مجموعات بيانات النمط القياسي. لدينا عمال الحشد يسلط الضوء على الكلمات التمثيلية في النص الذي يجعلهم يعتقدون أن النص لديه الأنماط التالية: المداراة والشعور والتهدفة وخمس أنواع العاطفة. بعد ذلك بمقارنة هذه الملصقات البشرية هذه ذات أهمية نصية مشتقة من مصنف ذو طراز ذو ضبط صقل شهير مثل بيرت. تظهر نتائجنا أن بيرتف غالبا ما يجد كلمات المحتوى غير ذات صلة بالأناقة المستهدفة ككلمات مهمة تستخدم في التنبؤ بالأناقة، لكن البشر لا ينظرون بنفس الطريقة على الرغم من أن بعض الأساليب (مثل الشعور والإيجابي والفرح) الإنسان والجهاز الكلمات المحددة تشترك في تداخل كبير لبعض الأساليب.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

فهم التعابير مهم في NLP.في هذه الورقة، ندرس إلى أي مدى يمكن لطراز بيرت المدرب مسبقا أن يرمز معنى التعبير العناقوي المحتمل (فطيرة) في سياق معين.نحن نستفيد من بعض البيانات الموجودة وأداء مهام التحقيق: تصنيف استخدام فطيرة وتحديد صياغة الصيغة.تشير نتائج التجريب الخاصة بنا إلى أن بيرت بالفعل يمكن أن تفصل السماحات الحرفية والاعتينية من فطيرة بدقة عالية.كما أنه قادر أيضا على تشفير المعنى الاصطلاح للكتبة إلى حد ما.
في مهام التحقق من القراءة في الجهاز، يجب على النموذج استخراج إجابة من السياق المتاح بالنظر إلى سؤال ومقطع.في الآونة الأخيرة، حققت نماذج اللغة المدربة مسبقا للمحولات أداء حديثة في العديد من مهام معالجة اللغة الطبيعية.ومع ذلك، فمن غير الواضح ما إذا كان هذا الأداء يعكس فهم اللغة الحقيقية.في هذه الورقة، نقترح أمثلة خصومة لتحقيق نموذج لغة عربية مدربة مسبقا (أرابيرت)، مما يؤدي إلى انخفاض كبير في الأداء على أربع مجموعات من مجموعات بيانات آلية قراءة آليا.نقدم تحليلا حكيما للدول الخفية للمحول لتقديم رؤى حول كيفية استكمال أسباب أرابيرت إجابة.تشير التجارب إلى أن أرابت يعتمد على الإشارات السطحية ومطابقة الكلمات الرئيسية بدلا من فهم النص.علاوة على ذلك، يوضح تصور الدولة المخفية أن أخطاء التنبؤ يمكن التعرف عليها من تمثيلات ناقلات في الطبقات السابقة.
تصف الورقة تقديم فريق Milanlp (جامعة Bocconi، ميلان) في مهمة Wassa 2021 المشتركة بشأن الكشف عن التعاطف والتصنيف العاطفي.نحن نركز على المسار 2 - تصنيف العاطفة - التي تتكون من التنبؤ بمشاعر ردود الفعل على القصص الإخبارية الإنجليزية على مستوى المقال.نخت بر نماذج مختلفة تعتمد على أطر متعددة ومتعددة الإدخال.كان الهدف هو استغلال أفضل جميع المعلومات المرتبطة المقدمة في مجموعة البيانات.نجد، على الرغم من أن التعاطف باعتباره المهمة المساعدة في التعلم متعدد المهام والسمات الديموغرافية حيث يوفر مدخلات إضافية أداء أسوأ فيما يتعلق بتعلم المهمة الفردية.في حين أن النتيجة تنافسية من حيث المنافسة، فإن نتائجنا تشير إلى أن العاطفة والتعاطف غير مرتبطة مهام مرتبطة - على الأقل لغرض التنبؤ.
كانت النماذج اللغوية الكبيرة المدربة مسبقا مثل بيرت القوة الدافعة وراء التحسينات الأخيرة في العديد من مهام NLP.ومع ذلك، يتم تدريب بيرت فقط على التنبؤ بالكلمات المفقودة - إما من خلال اخفاء أو تنبؤ الجملة التالي - وليس لديه معرفة بالمعلومات المعجمية أو النحوية أو الدلالية التي تتجاوز ما يلتقطه من خلال التدريب المسبق غير المدعوم.نقترح طريقة جديدة لحقن المعلومات اللغوية بشكل صريح في شكل embeddings في أي طبقة من بيرت المدرب مسبقا.عند ضمانات المضادات المضادة ومقرها التبعية، تشير تحسينات الأداء على مجموعات بيانات التشابه الدلالية المتعددة إلى أن هذه المعلومات مفيدة وفقدها حاليا من النموذج الأصلي.يوضح تحليلنا النوعي أن حقن التضمين المضاد للأدمان مفيد بشكل خاص، مع تحسينات ملحوظة على الأمثلة التي تتطلب دقة مرادف.
أدت الحاجة إلى نشر النماذج المدربة مسبقا على نطاق واسع على أجهزة الحافة بموجب موارد حسابية محدودة إلى بحث كبير لضغط هذه النماذج الكبيرة. ومع ذلك، تم إيلاء اهتمام أقل لضغط النماذج الخاصة المهام. في هذا العمل، نحقق في أساليب مختلفة من التقليم غير منظم في نماذج ذات المهام الخاصة بمهام تحليل المعنويات المستندة إلى جانب جانب الجسيم. على وجه التحديد، نقوم بتحليل الاختلافات في ديناميات التعلم من النماذج ذات التذرية باستخدام تقنيات التقليم القياسية لتحقيق شبكات متفرقة عالية الأداء. نقوم بتطوير فرضية لإظهار فعالية التشذيب المحلي على التقليم العالمي بالنظر إلى نموذج سي إن إن بسيط. في وقت لاحق، نحن نستخدم الفرضية لإظهار فعالية النموذج الحديثة المعادلة مقارنة بالنموذج المفرط من أحدث المعلمات تحت إعدادتين، أول النظر في الأساس لنفس المهمة المستخدمة ل توليد الفرضية، أي استخراج الآراء والثاني النظر في مهمة مختلفة، أي تحليل المعرفات. كما نقدم المناقشة المتعلقة بتعميم الفرضية التقليم.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا