لقد نجحت النماذج اللغوية المدربة مسبقا للمحولات بشكل كبير في معظم مهام NLP التقليدية.لكنهم غالبا ما يكافحون في هذه المهام حيث يلزم التفاهم العددي.يمكن أن تكون بعض الأسباب المحتملة هي الأحمال وأهداف ما قبل التدريب غير المصممة خصيصا للتعلم والحفاظ على
الحساب.نحن هنا التحقيق في قدرة نموذج تعلم تحويل النص إلى النصي (T5)، والذي تفوقت على أسلافه في المهام التقليدية لبرنامج التعاون الخليجي، لتعلم الحساب.نحن نعتبر أربع مهام الحسابية: التردد، تنبؤ ترتيب الحجم، والعثور على الحد الأدنى والحد الأقصى في سلسلة، والفرز.نجد أنه على الرغم من أن نماذج T5 تؤدي بشكل جيد في إعداد الاستيفاء، إلا أنهم يكافحون إلى حد كبير في إعداد الاستقراء عبر جميع المهام الأربعة.
يتم تشفير المعرفة البشرية بشكل جماعي في حوالي 6500 لغة تحدثت في جميع أنحاء العالم، لكنها لا توزع بنفس القدر من اللغات.وبالتالي، بالنسبة لنظم الإجابة على الأسئلة التي تسعى للحصول على المعلومات (QA) لخدمة مكبرات الصوت بشكل كاف من جميع اللغات، فإنها تحت
اج إلى تشغيل عبر المقلوب.في هذا العمل، نحقق في إمكانات نماذج اللغة المسبقة للحداجات متعددة اللغات على QA عبر اللغات.نجد أن محاذاة التمثيلات الصافية عبر اللغات التي تحتوي على خطوة Finetuning Post-Hoc تؤدي عموما إلى تحسين الأداء.نحن بالإضافة إلى ذلك التحقيق في تأثير حجم البيانات بالإضافة إلى اختيار اللغة في هذه الخطوة الدقيقة هذه، أيضا إطلاق مجموعة بيانات لتقييم أنظمة QA عبر اللغات.
لقد أظهرت نماذج اللغة المدربة على كورسا كبيرة جدا مفيدة لمعالجة اللغة الطبيعية. كأداة أثرية ثابتة، أصبحوا موضوعا للدراسة المكثفة، حيث يحكم العديد من الباحثين "مدى الحصول عليها والذي يثبت بسهولة التجريد اللغوي ومعرفة الواقعية والعمومية وقدرات التفكير.
تطبيق العمل الحديث عدة تحقيقات مراحل التدريب المتوسطة لمراقبة العملية التنموية للنموذج الواسع النطاق (شيانغ وآخرون، 2020). بعد هذا الجهد، نجيب بشكل منهجي على سؤال: لأنواع مختلفة من المعرفة يتعلم نموذج اللغة، عند التدريب أثناء (قبل) هل تم الحصول عليها؟ باستخدام روبرتا كدراسة حالة، نجد: يتم الحصول على المعرفة اللغوية بسرعة، ثابتة، قوية عبر المجالات. الحقائق والعموم أبطأ وأكثر حساسية للنطاق. القدرات المنطقية هي، بشكل عام، لا تكتسب بشكل ثابت. كشركات بيانات جديدة، بروتوكولات محدبة، بروتوكولات وبروتوكولات وإثبات تظهر، نعتقد أن التحليلات الواردة في الوقت المحدد يمكن أن تساعد الباحثين على فهم التعلم المعقدة والخيول أن هذه النماذج تخضع لنا وتوجيهنا نحو نهج أكثر كفاءة التي تحقق التعلم اللازم بشكل أسرع.
نماذج اللغة المحددة مسبقا (PTLMS) تسفر عن الأداء الحديث في العديد من مهام معالجة اللغة الطبيعية، بما في ذلك بناء الجملة والدلالات والعموم.في هذه الورقة، نركز على التعرف على أي مدى تلتقط PTLMS السمات الدلالية وقيمها، على سبيل المثال، الارتباط بين القي
مة الغنية والعالية الصافية.نستخدم ptlms للتنبؤ الرموز الملثمين باستخدام أنماط وقوائم العناصر من Wikidata من أجل التحقق من مدى احتمال ترميز PTLMS السمات الدلالية جنبا إلى جنب مع قيمها.مثل هذه الاستنتاجات القائمة على دلالات بديهية للبشر كجزء من فهم لغتنا.نظرا لأن PTLMS يتم تدريبها على كمية كبيرة من بيانات ويكيبيديا، فسوف نفترض أنها يمكن أن تولد تنبؤات مماثلة، ومع ذلك تكشف نتائجنا أن PTLMS لا تزال أسوأ بكثير من البشر في هذه المهمة.نوضح الأدلة والتحليل في شرح كيفية استغلال منهجيةنا لدمج سياق ودواني أفضل في PTLMS باستخدام قواعد المعرفة.
تم تنفيذ العديد من الدراسات على الكشف عن الميزات اللغوية التي أسرتها بيرت. يتم تحقيق ذلك عادة من خلال تدريب مصنف تشخيصي على تمثيلات تم الحصول عليها من طبقات مختلفة من بيرت. ثم يتم تفسير دقة التصنيف اللاحقة على أنها قدرة النموذج في ترميز الممتلكات الل
غوية المقابلة. على الرغم من تقديم رؤى، فقد تركت هذه الدراسات الدور المحتمل لتمثيلات الرمز المميز. في هذه الورقة، نقدم تحليلا أكثر متعمقا حول مساحة تمثيل بيرت بحثا عن مساحات فرعية متميزة وذات مغزى يمكن أن تفسر الأسباب الكامنة وراء هذه النتائج التحقيق. بناء على مجموعة من المهام التحقيق ومع مساعدة أساليب الإسناد، نوضح أن بيرت يميل إلى تشفير المعرفة الهادفة في تمثيلات رمزية محددة (والتي غالبا ما يتم تجاهلها في إعدادات التصنيف القياسية)، مما يسمح للنموذج بالكشف عن تشوهات النحوية والدلالية، ولل منفصلة بشكل مميز رقم النحوي والضواس الفرعية المتوترة.
اعتمدت الأبحاث الحديثة حقل تجريبي جديد يترکن حول مفهوم اضطرابات النصوص التي كشفت عن ترتيب الكلمات الخلفي ليس لها تأثير كبير على أداء نماذج اللغة القائمة على المحولات في العديد من مهام NLP. تتناقض هذه النتائج بالفهم المشترك لكيفية تشفير النماذج من الم
علومات الهرمية والهيكلية وحتى السؤال إذا تم تصميم أمر Word مع Adgeddings الموضع. تحقيقا لهذه الغاية، تقترح هذه الورقة تسع مجموعات بيانات للتحقيق التي تنظمها نوع اضطراب النص الذي يمكن السيطرة عليه لثلاثة لغات داخلية من الهند مع درجة متفاوتة من مرونة ترتيب الكلمات: الإنجليزية والسويدية والروسية. استنادا إلى تحليل التحقيق لنماذج M-Bert و M-Bart، نبلغ أن الحساسية النحوية تعتمد على أهداف اللغة والنموذج قبل التدريب. نجد أيضا أن الحساسية تنمو عبر الطبقات مع زيادة حبيبات الاضطراب. أخيرا وليس آخرا، نعرض أن النماذج بالكاد تستخدم المعلومات الموضعية لتحفيز الأشجار النحوية من تمثيلها الذاتي المتوسطة والتعويضات السياقية.
واحدة من الآليات التي ينتشر فيها التضليل عبر الإنترنت، لا سيما من خلال وسائل التواصل الاجتماعي، من خلال توظيف تقنيات الدعاية. وتشمل هذه الاستراتيجيات الخطابية والنفسية المحددة، تتراوح من الاستفادة من العواطف لاستغلال المداخل المنطقية. في هذه الورقة،
هدفنا هو دفع البحث إلى الأمام على اكتشاف الدعاية بناء على تحليل النص، بالنظر إلى الدور الحاسم قد تلعب هذه الأساليب لمعالجة هذه القضية المجتمعية الرئيسية. وبشكل أكثر دقة، نقترح نهجا مختلفا لتصنيف مقتطفات نصية كرسائل دعائية ووفقا لتقنية الدعاية التطبيقية الدقيقة، بالإضافة إلى تحليل لغوي مفصل للميزات التي تميز معلومات الدعاية في النص (مثل ميزات الدلالية والمعنويات والحجة) وبعد تجارب واسعة النطاق التي أجريت على موارد دعائية متوفرة (IE، NLP4IF'19 و Semeval'y-Task Task 11) تشير إلى أن النهج المقترح، والاستفادة من طرازات لغة مختلفة والسمات اللغوية التي تم التحقيق فيها، تحقق نتائج واعدة للغاية حول تصنيف الدعاية، سواء - وفي مستوى الشظية.
تجارب تفاصيل الورقة هذه التي أجريناها في التبعيات العالمية 2.7 كورسا من أجل التحقيق في أمر الكلمات المهيمنة في اللغات المتاحة.لهذا الغرض، استخدمنا أداة إعادة كتابة الرسم البياني، نمت، والتي سمحت لنا بتجاوز التعليقات التوضيحية السطح وتحديد الموضوعات ا
لضمنية.قمنا أولا بقياس توزيع أوامر الكلمة الستة المختلفة (SVO، SOV، VSO، VOS، OVS، OSV) في كورسا والتحقيق فيها عندما كان هناك فرق كبير في Corga بلغة معينة.بعد ذلك، قارننا النتائج التي تم الحصول عليها مع المعلومات المقدمة في قاعدة بيانات Wals (مجفف ومشبيلماث، 2013) وفي (̈Ostling، 2015).أخيرا، درسنا تأثير استخدام أداة إعادة كتابة الرسم البياني لهذه المهمة.تتوفر الأدوات والموارد المستخدمة لهذا البحث بحرية.
تقدم هذه الورقة تقديم نظامنا إلى المهمة 5: تمثل المسابقة السامة من مسابقة Semeval-2021.تهدف المنافسة إلى اكتشاف الجرف الذي يصنع سامة سامة.في هذه الورقة، نوضح نظامنا للكشف عن المواقف السامة، والتي تشمل توسيع نطاق التدريب السام الذي تم تعيينه مع تفسيرا
ت نموذجية غير مرغوية للطراز المحلي (الجير)، وطيب الروبيرتا الناعم للكشف، وتحليل الأخطاء.وجدنا أن إطعام النموذج مع مجموعة تدريبية موسعة باستخدام تعليقات Reddit من السماد المستقطب والسمية مع الجير على رأس تصنيف الانحدار اللوجستي يمكن أن يساعد روبرتا على تعلم أكثر دقة التعرف على الأمور السامة.حققنا درجة F1 المستفادة من 0.6715 على مرحلة الاختبار.تظهر نتائجنا الكمية والنوعية أن التنبؤات من نظامنا يمكن أن تكون ملحقا جيدا لشروح مجموعة تدريب الذهب.
في هذا العمل، نستكشف تأثير دمج البيانات الوصفية الديموغرافية في نصوص نصية مدربة على رأس نموذج لغة محول مدرب مسبقا. وبشكل أكثر تحديدا، نضيف معلومات حول جنس النقاد ومؤلفي الكتاب عند تصنيف قطبية مراجعات الكتب، وقطبية الاستعراضات عند تصنيف الجنسين من الم
ؤلفين والنقاد. نحن نستخدم مجموعة بيانات موجودة من مراجعات الكتاب النرويجية من خلال تقييمات من قبل النقاد المحترفين، والتي عززت أيضا مع المعلومات الجنسانية، وتدريب مصنف معنويات على مستوى المستند أعلى نموذج برت النرويجي الذي تم إصداره مؤخرا. نظهر أن النماذج المستنيرة بين الجنسين تحصل على دقة أعلى إلى حد كبير، وأن النماذج المستنيرة بالقطبية تحصل على دقة أعلى عند تصنيف جندات مؤلفي الكتاب. بالنسبة إلى مجموعة البيانات الخاصة بهذه الطريقة، نأخذ هذه النتيجة تأكيدا بتحيز بين الجنسين في توزيع الملصقات الأساسية، ولكن في أوائل أخرى نعتقد أنه يمكن استخدام نهج مماثل لتخفيف التحيز في النموذج.
