أصبحت التمثيل التعلم للنص عبر الاحتمالات نموذج لغة على كوربوس كبيرة أصبح نقطة انطلاق قياسية لبناء أنظمة NLP. يقف هذا النهج على النقيض من السيارات الآلية، كما تم تدريبه على النص الخام، ولكن بهدف التعلم لترميز كل إدخال كجاغر يتيح إعادة الإعمار الكامل.
AutoNCoders جذابة بسبب هيكل الفضاء الكامن وخصائصها التوليدية. لذلك نستكشف بناء AutoNCoder على مستوى الجملة من نموذج لغة محول محول مسبقا. نحن نقوم بتكييف هدف نمذجة اللغة الملثمين كإنتاجية، وتمديد واحد، في حين أن تدرب فقط عنق الزجاجات الجملة ومكتشف محول بطبقة واحدة. نوضح أن تمثيلات الجملة التي اكتشفها طرازنا تحقق جودة أفضل من الأساليب السابقة التي استخراج تمثيلات من المحولات المسبدة مسبقا على مهام تشابه النص، ونقل النمط (مثال على الجيل الخاضع للرقابة)، ومهام تصنيف الجملة واحدة في معيار الغراء، أثناء استخدام عدد أقل من النماذج المحددة مسبقا.
شفافية إفصائية أوسع --- الحقيقة والوضوح في مجال الاتصالات فيما يتعلق بوظائف منظمة العفو الدولية --- تعتبر على نطاق واسع مرغوب فيه. لسوء الحظ، إنه مفهوم غامض، يصعب تحديده وقياسه. هذا هو الإشكارات، كما أظهر العمل السابق مفاضلات محتملة وعواقب سلبية للإف
صاح عن الشفافية، مثل تأثير الالتباس، حيث تفهم الكثير من المعلومات "فهم القارئ لما يعني وصف النظام. لقد جعلت الطبيعة الشخصية الشفافية الإفصائية دراسة عميقة في هذه المشكلات وعلاجاتهم صعبة. لتحسين هذه الحالة، نقدم مقاييس احتمالية النموذج العصبي النموذجي النموذجي مباشرة من الشفافية الكشفية، وإظهار أنهم يرتبطون بالمستخدم وفكرات الخبراء من شفافية النظام، مما يجعلهم وكيلا موضوعيا صالحا. أخيرا، نوضح استخدام هذه المقاييس في دراسة تجريبية يحدد العلاقات بين الشفافية والارتباك وتصورات المستخدمين في كائن من أوصاف نظام NLP الحقيقي.
تتضمن ممارسة شائعة في بناء مجموعات بيانات NLP، خاصة استخدام التعليقات التوضيحية من قبل الجمهور، الحصول على أحكام معلقية متعددة على نفس حالات البيانات، والتي يتم تسويتها بعد ذلك لإنتاج حقائق أو درجة أرضية واحدة، من خلال التصويت الأغلبية، المتوسط، أو ا
لحكموبعدفي حين أن هذه النهج قد تكون مناسبة في مهام توضيحية معينة، تطل مثل هذه التجمعات على الطبيعة التي تم إنشاؤها اجتماعيا للتصورات الإنسانية التي تهدف الشروح عن المهام ذاتية نسبيا إلى الاستيلاء عليها.على وجه الخصوص، فإن الخلافات المنهجية بين المحن المعلقين بسبب خلفياتهم الاجتماعية والثقافية والتجارب العاشية غالبا ما يتم توعيتها من خلال هذه التجمعات.في هذه الورقة، نوضح تجريبيا أن تجميع الملصقات قد يعرض تحيزات تمثيلية من وجهات النظر الفردية والمجموعة.بناء على هذا النتيجة، نقترح مجموعة من توصيات لزيادة فائدة وشفافية مجموعات البيانات في حالات استخدام المصب.
أظهرت نماذج محولات محول مسبقا واسعة النطاق أداء حديثة (SOTA) في مجموعة متنوعة من مهام NLP.في الوقت الحاضر، تتوفر العديد من النماذج المحددة مسبقا في النكهات النموذجية المختلفة ولغات مختلفة، ويمكن تكييفها بسهولة مع المهمة المصب الأولى.ومع ذلك، فإن عدد
محدود فقط من النماذج متاحة لمهام الحوار، وخاصة مهام الحوار الموجهة نحو الأهداف.بالإضافة إلى ذلك، يتم تدريب النماذج المحددة مسبقا على لغة المجال العامة، مما يخلق عدم تطابقا بين لغة المحترفين ومجال المصب المصب.في هذه المساهمة، نقدم CS-Bert، نموذج BERT مسبقا على ملايين الحوارات في مجال خدمة العملاء.نقوم بتقييم CS-Bert على العديد من مهام حوار خدمة العملاء في العديد من مهام خدمة العملاء، وإظهار أن محالقنا في المجال لدينا مفيد مقارنة بالنماذج الأخرى المحددة مسبقا في كل من التجارب الصفري بالرصاص وكذلك في التجارب الصفرية، خاصة في إعداد بيانات منخفض الموارد.
يجعل معالجة اللغة الطبيعية الحديثة (NLP) استخداما مكثفا لأساليب التعلم العميق بسبب الدقة التي تقدمها لمجموعة متنوعة من التطبيقات.نظرا للتأثير البيئي الكبير للبيئة للتعلم العميق، تم اقتراح تحليل التكلفة والفائدة بما في ذلك بصمة الكربون وكذلك تدابير ال
دقة لتحسين توثيق استخدام أساليب NLP للبحث أو النشر.في هذه الورقة، نراجع الأدوات المتاحة لقياس استخدام الطاقة وانبعاثات ثاني أكسيد الكربون لأساليب NLP.نحن تصف نطاق التدابير المقدمة ومقارنة استخدام ستة أدوات (تعقب الكربون، تعقب تأثير التجريب، الخوارزميات الخضراء، تأثير ثاني أكسيد الكربون، واستخدام الطاقة والاستزمي) على تجارب التعرف على الكيان المسماة المنجزة على إعدادات حسابية مختلفة (الخادم المحليمقابل مرفق الحوسبة).بناء على هذه النتائج، نقترح توصيات قابلة للتنفيذ لقياس الأثر البيئي بدقة تجارب NLP.
لقد نجحت النماذج اللغوية المدربة مسبقا للمحولات بشكل كبير في معظم مهام NLP التقليدية.لكنهم غالبا ما يكافحون في هذه المهام حيث يلزم التفاهم العددي.يمكن أن تكون بعض الأسباب المحتملة هي الأحمال وأهداف ما قبل التدريب غير المصممة خصيصا للتعلم والحفاظ على
الحساب.نحن هنا التحقيق في قدرة نموذج تعلم تحويل النص إلى النصي (T5)، والذي تفوقت على أسلافه في المهام التقليدية لبرنامج التعاون الخليجي، لتعلم الحساب.نحن نعتبر أربع مهام الحسابية: التردد، تنبؤ ترتيب الحجم، والعثور على الحد الأدنى والحد الأقصى في سلسلة، والفرز.نجد أنه على الرغم من أن نماذج T5 تؤدي بشكل جيد في إعداد الاستيفاء، إلا أنهم يكافحون إلى حد كبير في إعداد الاستقراء عبر جميع المهام الأربعة.
يبذل الأبحاث في معالجة اللغة الطبيعية تطورات سريعة، مما يؤدي إلى نشر عدد كبير من الأوراق البحثية. العثور على أوراق بحثية ذات صلة ومساهمتها في المجال هي مشكلة صعبة. في هذه الورقة، نتعلم هذا التحدي عبر مهمة Semeval 2021 11: NLPConTributiongraph، من خلا
ل تطوير نظام للحصول على الرسم البياني المعرفة المركزة للصفحة البحثية على أدب معالجة اللغة الطبيعية. تنقسم المهمة إلى ثلاث مهام فرعية: استخراج جمل المساهمة التي توضح مساهمات مهمة في المادة البحثية، واستخراج العبارات من أحكام المساهمة، والتنبؤ بالوحدات الإعلامية في المادة البحثية مع تكوين ثلاثي الأمراض من العبارات. النظام المقترح غير ملائم إلى مجال الموضوع ويمكن تطبيقه لبناء رسم بياني للمعرفة لأي منطقة. وجدنا أن نماذج اللغة القائمة على المحولات يمكن أن تحسن بشكل كبير التقنيات الحالية واستخدام النموذج المستند إلى Scibert. تستخدم المهمة الفرعية الأولى لدينا ثنائي الاتجاه LSTM (Bilstm) مكدسة أعلى طبقات نموذج Scibert، في حين أن المهمة الفرعية الثانية تستخدم مجال عشوائي مشروط (CRF) على رأس Scibert مع Bilstm. تستخدم المهمة الفرعية الثالثة نهجا عصبي مجتمعة مقرها مع الاستدلال لتنبؤ وحدة المعلومات وتشكيل ثلاثي الزيارة من العبارات. حقق نظامنا درجة F1 من 0.38، 0.63 و 0.76 في اختبار خط أنابيب نهاية إلى نهاية، اختبار استخراج العبارات واختبار استخراج ثلاث مرات.
يعد تقليل انهيار الاتصالات أمرا بالغ الأهمية للنجاح في تطبيقات NLP التفاعلية، مثل أنظمة الحوار.تحقيقا لهذه الغاية، نقترح إطارا لتخفيف الارتباك لكشف وعلاج انهيار الاتصالات.في هذا العمل، كخطوة أولى نحو تنفيذ هذا الإطار، نركز على الكشف عن مصادر الفونيم
للارتباك.كدليل من المفهوم، نقوم بتقييم اثنين من المهندسين العصبيين في التنبؤ بالاحتمال الذي سيؤديه المستمع إلى إساءة فهم الصوت في الكلام.نظير على أن كلتا النماذج العصبية تتفوق على خط أساس نجم نجم مرجح، يظهر وعد مبكرا للإطار الأوسع.
نحن تصف تقديم UPPSALA NLP إلى مهمة SEMEVAL-2021 2 على الغمزة متعددة اللغات والتبلغة في السياق.نستكشف عن فائدة ثلاثة نماذج لغوية متعددة اللغات المدربة مسبقا، XLM-Roberta (XLMR)، بيرت متعددة اللغات (MBERT) بيرت مقطورة متعددة اللغات (Mdistilbert).قارنا
هذه النماذج الثلاثة في اثنين من الإعدادات، والضبط بشكل جيد وكمسافات ميزة.في الحالة الثانية، نقوم أيضا بتجربة استخدام المعلومات المستندة إلى التبعية.نجد أن الضبط الدقيق أفضل من استخراج الميزات.يعمل XLMR بشكل أفضل من mbert في الإعداد المتبادل على حد سواء مع ضبط الدقيقة والميزة، في حين أن هاتين النموذجين تعطي أداء مماثل في الإعداد متعدد اللغات.يعمل Mdistilbert بشكل سيئ مع ضبط جيد ولكن يعطي نتائج مماثلة للنماذج الأخرى عند استخدامها كمستغل ميزة.قدمنا أفضل أنظمةنا، يتم ضبطها بشكل جيد مع XLMR و Mbert.
نقترح سلسلة من النماذج العصبية التي تنفذ تصنيف الجملة، والاعتراف العبارة، واستخراج ثلاثي لإجراء المساهمات العلمية تلقائيا من منشورات NLP. لتحديد أحكام المساهمة الأكثر أهمية في ورقة، استخدمنا مصنف مقرا له بالميزات الموضعية (SubTask 1). تم استخدام نموذ
ج BERT-CRF للتعرف على العبارات ذات الصلة وتمييزها في جمل المساهمة (SubTask 2). قمنا بتصنيف ثلاث مرات إلى عدة أنواع بناء على ما إذا كانت عناصرها وكيف تم التعبير عن عناصرها في نص، ومعالجتها كل نوع باستخدام مصنفين منفصلين مقرهم بالمقيمين بالإضافة إلى القواعد (SubTask 3). تم تصنيف نظامنا رسميا في المرحلة الأولى في تقييم المرحلة الأولى وأول مرة في كلا جزأين التقييم المرحلة 2. بعد إصلاح خطأ التقديم في PHARESE 1، فإن نهجنا يؤدي إلى أفضل النتائج بشكل عام. في هذه الورقة، بالإضافة إلى وصف للنظام، نقدم أيضا تحليلا إضافيا لنتائجنا، مما يسلط الضوء على نقاط القوة والقيود لها. نجعل شفرةنا متوفرة علنا في https://github.com/liu-hy/nlp-contrib-graph.
