أصبحت التمثيل التعلم للنص عبر الاحتمالات نموذج لغة على كوربوس كبيرة أصبح نقطة انطلاق قياسية لبناء أنظمة NLP. يقف هذا النهج على النقيض من السيارات الآلية، كما تم تدريبه على النص الخام، ولكن بهدف التعلم لترميز كل إدخال كجاغر يتيح إعادة الإعمار الكامل.
AutoNCoders جذابة بسبب هيكل الفضاء الكامن وخصائصها التوليدية. لذلك نستكشف بناء AutoNCoder على مستوى الجملة من نموذج لغة محول محول مسبقا. نحن نقوم بتكييف هدف نمذجة اللغة الملثمين كإنتاجية، وتمديد واحد، في حين أن تدرب فقط عنق الزجاجات الجملة ومكتشف محول بطبقة واحدة. نوضح أن تمثيلات الجملة التي اكتشفها طرازنا تحقق جودة أفضل من الأساليب السابقة التي استخراج تمثيلات من المحولات المسبدة مسبقا على مهام تشابه النص، ونقل النمط (مثال على الجيل الخاضع للرقابة)، ومهام تصنيف الجملة واحدة في معيار الغراء، أثناء استخدام عدد أقل من النماذج المحددة مسبقا.
أظهرت نماذج محولات محول مسبقا واسعة النطاق أداء حديثة (SOTA) في مجموعة متنوعة من مهام NLP.في الوقت الحاضر، تتوفر العديد من النماذج المحددة مسبقا في النكهات النموذجية المختلفة ولغات مختلفة، ويمكن تكييفها بسهولة مع المهمة المصب الأولى.ومع ذلك، فإن عدد
محدود فقط من النماذج متاحة لمهام الحوار، وخاصة مهام الحوار الموجهة نحو الأهداف.بالإضافة إلى ذلك، يتم تدريب النماذج المحددة مسبقا على لغة المجال العامة، مما يخلق عدم تطابقا بين لغة المحترفين ومجال المصب المصب.في هذه المساهمة، نقدم CS-Bert، نموذج BERT مسبقا على ملايين الحوارات في مجال خدمة العملاء.نقوم بتقييم CS-Bert على العديد من مهام حوار خدمة العملاء في العديد من مهام خدمة العملاء، وإظهار أن محالقنا في المجال لدينا مفيد مقارنة بالنماذج الأخرى المحددة مسبقا في كل من التجارب الصفري بالرصاص وكذلك في التجارب الصفرية، خاصة في إعداد بيانات منخفض الموارد.
تتضمن ممارسة شائعة في بناء مجموعات بيانات NLP، خاصة استخدام التعليقات التوضيحية من قبل الجمهور، الحصول على أحكام معلقية متعددة على نفس حالات البيانات، والتي يتم تسويتها بعد ذلك لإنتاج حقائق أو درجة أرضية واحدة، من خلال التصويت الأغلبية، المتوسط، أو ا
لحكموبعدفي حين أن هذه النهج قد تكون مناسبة في مهام توضيحية معينة، تطل مثل هذه التجمعات على الطبيعة التي تم إنشاؤها اجتماعيا للتصورات الإنسانية التي تهدف الشروح عن المهام ذاتية نسبيا إلى الاستيلاء عليها.على وجه الخصوص، فإن الخلافات المنهجية بين المحن المعلقين بسبب خلفياتهم الاجتماعية والثقافية والتجارب العاشية غالبا ما يتم توعيتها من خلال هذه التجمعات.في هذه الورقة، نوضح تجريبيا أن تجميع الملصقات قد يعرض تحيزات تمثيلية من وجهات النظر الفردية والمجموعة.بناء على هذا النتيجة، نقترح مجموعة من توصيات لزيادة فائدة وشفافية مجموعات البيانات في حالات استخدام المصب.
يجعل معالجة اللغة الطبيعية الحديثة (NLP) استخداما مكثفا لأساليب التعلم العميق بسبب الدقة التي تقدمها لمجموعة متنوعة من التطبيقات.نظرا للتأثير البيئي الكبير للبيئة للتعلم العميق، تم اقتراح تحليل التكلفة والفائدة بما في ذلك بصمة الكربون وكذلك تدابير ال
دقة لتحسين توثيق استخدام أساليب NLP للبحث أو النشر.في هذه الورقة، نراجع الأدوات المتاحة لقياس استخدام الطاقة وانبعاثات ثاني أكسيد الكربون لأساليب NLP.نحن تصف نطاق التدابير المقدمة ومقارنة استخدام ستة أدوات (تعقب الكربون، تعقب تأثير التجريب، الخوارزميات الخضراء، تأثير ثاني أكسيد الكربون، واستخدام الطاقة والاستزمي) على تجارب التعرف على الكيان المسماة المنجزة على إعدادات حسابية مختلفة (الخادم المحليمقابل مرفق الحوسبة).بناء على هذه النتائج، نقترح توصيات قابلة للتنفيذ لقياس الأثر البيئي بدقة تجارب NLP.
شفافية إفصائية أوسع --- الحقيقة والوضوح في مجال الاتصالات فيما يتعلق بوظائف منظمة العفو الدولية --- تعتبر على نطاق واسع مرغوب فيه. لسوء الحظ، إنه مفهوم غامض، يصعب تحديده وقياسه. هذا هو الإشكارات، كما أظهر العمل السابق مفاضلات محتملة وعواقب سلبية للإف
صاح عن الشفافية، مثل تأثير الالتباس، حيث تفهم الكثير من المعلومات "فهم القارئ لما يعني وصف النظام. لقد جعلت الطبيعة الشخصية الشفافية الإفصائية دراسة عميقة في هذه المشكلات وعلاجاتهم صعبة. لتحسين هذه الحالة، نقدم مقاييس احتمالية النموذج العصبي النموذجي النموذجي مباشرة من الشفافية الكشفية، وإظهار أنهم يرتبطون بالمستخدم وفكرات الخبراء من شفافية النظام، مما يجعلهم وكيلا موضوعيا صالحا. أخيرا، نوضح استخدام هذه المقاييس في دراسة تجريبية يحدد العلاقات بين الشفافية والارتباك وتصورات المستخدمين في كائن من أوصاف نظام NLP الحقيقي.
لقد نجحت النماذج اللغوية المدربة مسبقا للمحولات بشكل كبير في معظم مهام NLP التقليدية.لكنهم غالبا ما يكافحون في هذه المهام حيث يلزم التفاهم العددي.يمكن أن تكون بعض الأسباب المحتملة هي الأحمال وأهداف ما قبل التدريب غير المصممة خصيصا للتعلم والحفاظ على
الحساب.نحن هنا التحقيق في قدرة نموذج تعلم تحويل النص إلى النصي (T5)، والذي تفوقت على أسلافه في المهام التقليدية لبرنامج التعاون الخليجي، لتعلم الحساب.نحن نعتبر أربع مهام الحسابية: التردد، تنبؤ ترتيب الحجم، والعثور على الحد الأدنى والحد الأقصى في سلسلة، والفرز.نجد أنه على الرغم من أن نماذج T5 تؤدي بشكل جيد في إعداد الاستيفاء، إلا أنهم يكافحون إلى حد كبير في إعداد الاستقراء عبر جميع المهام الأربعة.
انفجار المحتوى الذي أنشأه المستخدم (UGC) --- E.G. وظائف وتعليقات وسائل التواصل الاجتماعي والتعليقات والمراجعات --- تحفز تطوير تطبيقات NLP مصممة على هذه الأنواع من النصوص غير الرسمية. السائدة بين هذه التطبيقات كانت تحليل المعنويات والترجمة الآلية (MT)
. حول الملاحظة التي تتميز بها UGC لغة مشحونة بالثريات والمعنوية للغاية ونقترح نهج من جانب فك الترميز الذي يشتمل على الثقة التلقائية التي يتم تسجيلها في عملية اختيار مرشح MT. نحن ندرب مصنف المعنويات أحادية الأنتجة باللغة الإنجليزية والإسبانية بالإضافة إلى نموذج معنويات متعددة اللغات وثقل Berting Berting Bert و XLM-Roberta. باستخدام N-Best المرشحين الناتج عن نموذج خط الأساس MT مع البحث الشعاع ونختار المرشح الذي يقلل من الفرق المطلق بين درجة المعنويات من جملة المصدر والترجمة وأداء تقييمين بشري لتقييم الترجمات المنتجة. على عكس العمل السابق ونحن نقوم بتحديد هذا الترجمة المتباينة على الحد الأدنى من خلال النظر في درجات المعنويات من جملة المصدر والترجمة على الفاصل الزمني المستمر وبدون استخدام E.G. التصنيف الثنائي والسماح باختيار أكثر غرامة من مرشحي الترجمة. تظهر نتائج التقييمات البشرية أنه وبالمقارنة مع نموذج خط الأساس MT مفتوح المصدر على رأسه مبني أن خط أنابيب القائم على المعنويات مبنية وينتج خط أنابيبنا ترجمة أكثر دقة للنصوص المصدر الثقيلة العامية والمعنويات.
يعد تقليل انهيار الاتصالات أمرا بالغ الأهمية للنجاح في تطبيقات NLP التفاعلية، مثل أنظمة الحوار.تحقيقا لهذه الغاية، نقترح إطارا لتخفيف الارتباك لكشف وعلاج انهيار الاتصالات.في هذا العمل، كخطوة أولى نحو تنفيذ هذا الإطار، نركز على الكشف عن مصادر الفونيم
للارتباك.كدليل من المفهوم، نقوم بتقييم اثنين من المهندسين العصبيين في التنبؤ بالاحتمال الذي سيؤديه المستمع إلى إساءة فهم الصوت في الكلام.نظير على أن كلتا النماذج العصبية تتفوق على خط أساس نجم نجم مرجح، يظهر وعد مبكرا للإطار الأوسع.
تصف هذه الورقة النظام الذي بنناه كفريق YNU-HPCC في مهمة Semeval-2021 11: NLPContribeGraph. تتضمن هذه المهمة أولا تحديد الجمل في المقالات العلمية المعينة للغة الطبيعية (NLP) التي تعكس مساهمات البحث من خلال التصنيف الثنائي؛ ثم تحديد المصطلحات العلمية ا
لأساسية وعبارات علاقتها من جمل هذه المساهمة عن طريق وضع التسلسل؛ وأخيرا، يتم تصنيف هذه المصطلحات والعلاقات العلمية هذه، وحددها، ويتم تنظيمها في ثلاثة أضعاف ثلاثة أضعاف لتشكيل رسم بياني للمعرفة بمساعدة تصنيف Multiclass وتصنيف متعدد التسميات. قمنا بتطوير نظام لهذه المهمة باستخدام نموذج تمثيل لغوي مدرب مسبقا يسمى Bert الذي يمثل تمثيلات تشفير ثنائية الاتجاه من المحولات، وحقق نتائج جيدة. متوسط درجة F1 للتقييم المرحلة 2، الجزء الأول كان 0.4562 واحتل المرتبة 7، ومتوسط درجة F1 لمرحلة التقييم 2، الجزء الثاني كان 0.6541، وأيضا المرتبة 7.
نقترح سلسلة من النماذج العصبية التي تنفذ تصنيف الجملة، والاعتراف العبارة، واستخراج ثلاثي لإجراء المساهمات العلمية تلقائيا من منشورات NLP. لتحديد أحكام المساهمة الأكثر أهمية في ورقة، استخدمنا مصنف مقرا له بالميزات الموضعية (SubTask 1). تم استخدام نموذ
ج BERT-CRF للتعرف على العبارات ذات الصلة وتمييزها في جمل المساهمة (SubTask 2). قمنا بتصنيف ثلاث مرات إلى عدة أنواع بناء على ما إذا كانت عناصرها وكيف تم التعبير عن عناصرها في نص، ومعالجتها كل نوع باستخدام مصنفين منفصلين مقرهم بالمقيمين بالإضافة إلى القواعد (SubTask 3). تم تصنيف نظامنا رسميا في المرحلة الأولى في تقييم المرحلة الأولى وأول مرة في كلا جزأين التقييم المرحلة 2. بعد إصلاح خطأ التقديم في PHARESE 1، فإن نهجنا يؤدي إلى أفضل النتائج بشكل عام. في هذه الورقة، بالإضافة إلى وصف للنظام، نقدم أيضا تحليلا إضافيا لنتائجنا، مما يسلط الضوء على نقاط القوة والقيود لها. نجعل شفرةنا متوفرة علنا في https://github.com/liu-hy/nlp-contrib-graph.
