نماذج اللغة واسعة النطاق مثل GPT-3 هي متعلمين بقلة قليلة، مما يتيح لهم السيطرة عليها عبر مطالبات النص الطبيعي. أبلغ الدراسات الحديثة أن التصنيف المباشر الفوري يزيل الحاجة إلى ضبط الدقيقة ولكن يفتقر إلى إمكانية التوسع للبيانات والاستدلال. تقترح هذه ال
ورقة تقنية تكبير بيانات جديدة ترفع نماذج لغة واسعة النطاق لتوليد عينات نصية واقعية من مزيج من العينات الحقيقية. نقترح أيضا استخدام الملصقات الناعمة المتوقعة من النماذج اللغوية، وتقطير المعرفة بفعالية من نماذج اللغة واسعة النطاق وإنشاء اضطرابات نصية في وقت واحد. نقوم بإجراء تجارب تكبير البيانات على مهام التصنيف المتنوعة وإظهار أن طريقتنا تتفوق بشكل كبير على أساليب تكبير النص الحالية. نقوم أيضا بإجراء تجارب في معيارنا المقترح حديثا لإظهار أن تأثير تكبير لا يعزى فقط إلى الحفظ. مزيد من دراسات الاجتثاث والتحليل النوعي توفر المزيد من الأفكار في نهجنا.
مع استمرار العالم في محاربة جائحة CovID-19، فإنه يقاتل في وقت واحد من نقص الدم "- وهو طوفان من تضليل وانتشار نظريات المؤامرة المؤدية إلى تهديدات صحية وشعبة المجتمع. لمكافحة هذا المعكرية، هناك حاجة ملحة لمجموعات البيانات القياسية التي يمكن أن تساعد ال
باحثين على تطوير وتقييم النماذج الموجهة نحو الكشف التلقائي عن التضليل. في حين أن هناك جهودا متزايدة لإنشاء مجموعات بيانات قياسية كافية ومفتوحة للمصدر للغة الإنجليزية، فإن الموارد القابلة للمقارنة غير متاحة تقريبا بالنسبة للألمانية، مما يترك البحث في اللغة الألمانية متخلفة بشكل كبير. في هذه الورقة، نقدم DataSet المعيار الجديد Fang-Covid يتكون من 28،056 مواد إخبارية ألمانية حقيقية و 13،186 مرتبطة بمعائق CovID-19 وكذلك بيانات عن انتشارها على Twitter. علاوة على ذلك، نقترح نموذجا قابل للتفسير القائم على السياق والاجتماعي للكشف عن الأخبار المزيفة، ومقارنة أدائه إلى النماذج والأداء الأسود الميزة لتقييم الأهمية النسبية للميزات القابلة للتفسير البشرية في التمييز بين الأخبار المزيفة من الأخبار الأصلية وبعد
يتضمن تصنيف النص متعدد العلامات واسعة النطاق (LMTC) مهام مع مسافات تسمية هرمية، مثل التعيين التلقائي لرموز ICD-9 إلى ملخصات التفريغ.يتم تقييم أداء النماذج في الفن السابق مع تدابير الدقة القياسية والتذكر و F1 دون اعتبار للهيكل الهرمي الغني.في هذا العم
ل، نقول بتقييم هرمي لتنبؤات نماذج LMTC العصبية.مع مثال على علم ICD-9 ontology، نصف مشكلة هيكلية في تمثيل مساحة الملصقات المهيكلة في الفنية السابقة، واقتراح تمثيل بديل بناء على عمق OnTology.نقترح مجموعة من مقاييس التقييم الهرمي باستخدام التمثيل القائم على العمق.قارن درجات التقييم من المقاييس المقترحة مع مقاييس تستخدم سابقا على نماذج LMTC السابقة لترميز ICD-9 في MIMIC-III.كما نقترح أيضا طرق البحث الأخرى التي تنطوي على التمثيل الترطاني المقترح.
WhatsApp Messenger هي واحدة من أكثر القنوات شعبية لنشر المعلومات مع الوصول الحالي لأكثر من 180 دولة و 2 مليار شخص. لقد جعل استخدامه واسع النطاق أحد أكثر وسائل الإعلام شيوعا لانتشار المعلومات بين الجماهير خلال أي حدث جذاب اجتماعيا. في الماضي القريب، ش
هدت عدة بلدان فعاليتها وتأثيرها في الحملات السياسية والاجتماعية. نلاحظ ارتفاعا كبيرا في المعلومات وتدفق الدعاية أثناء الحملات الانتخابية. في هذه الورقة، نستكشف مجموعة بيانات عالية الجودة التي تم إنشاؤها على نطاق واسع من المستخدمين المنصوص عليها من WhatsApp تضم 281 مجموعة، و 31،078 مستخدم فريد، و 223،404 رسالة مشتركة من قبل، أثناء الانتخابات العامة الهندية بعد عام 2019، تشمل جميع السياسية الهندية الرئيسية الأطراف والقادة. بالإضافة إلى البيانات الناتجة الناتجة عن المستخدم الصاخبة الناتجة، نقدم مجموعة بيانات مشروحة محبوبة من 3،848 رسالة مفيدة لفهم الأبعاد المختلفة للحملات السياسية WhatsApp. نقدم العديد من الأفكار التكميلية في قصص التحقيق والإخبارية المثيرة من نفس الفترة. تحليل البيانات الاستكشافية والتجارب تعرض العديد من النتائج المثيرة والفرص البحثية المستقبلية. لتسهيل البحث القابل للتكرار، نجعل مجموعات البيانات المجهولية المتاحة في المجال العام.
في هذه الورقة، نصف تقديم فريق مشترك لبحوث Samsung Philippines-Konvergen AI لمهمة الترجمة متعددة اللغات متعددة اللغات WMT'21 - المسار الصغير 2. نقدم نموذج محول SEQ2SEQ قياسي إلى المهمة المشتركة دون أي حيل تدريب أو عمارة، تعتمد بشكل رئيسي على قوة تقنيا
ت ما قبل البيانات الخاصة بنا لتعزيز الأداء.سجل طراز التقديم النهائي لدينا 22.92 متوسط بلو على مجموعة Flores-101 Devtest، وسجل 22.97 متوسط بلو على مجموعة الاختبارات الخفية للمسابقة، المرتبة السادسة بشكل عام.على الرغم من استخدام محول قياسي فقط، في المرتبة النموذجية المرتبة الأولى في الإندونيسية إلى الجاوية، مما يدل على المسائل المعالجة المسبقة للبيانات على قدم المساواة، إن لم تكن أكثر، من تقنيات النموذج المتطورة وتقنيات التدريب.
توضح هذه الورقة نظام الترجمة متعددة الاستخدامات على نطاق واسع ل WMT 2021. نشارك في المسار الصغير 2 في خمسة لغات جنوب شرق آسيا، والثلاثين الاتجاهات: الجاوية، الإندونيسية، الملايو، التاغالوغية، التاميل، الإنجليزية.نحن نستخدم أساسا إلى الأمام / الترجمة
إلى الوراء، واختيار بيانات داخل المجال، وقطاع المعرفة، والضبط الجماعي التدريجي من الطراز المدرب مسبقا فلوريس 101.نجد أن الترجمة إلى الأمام / الخلفي يحسن بشكل كبير من نتائج الترجمة، واختيار البيانات والضبط الجمنيات التدريجية فعالة بشكل خاص أثناء مجال التكيف، في حين أن تقطير المعرفة يجلب تحسين أداء طفيف.أيضا، يستخدم متوسط المتوسط لتحسين أداء الترجمة بناء على هذه الأنظمة.يحقق نظامنا النهائي درجة بلو متوسط قدره 28.89 عبر ثلاثين اتجاهين في مجموعة الاختبار.
نقدم تطوير نظام الترجمة الآلي متعدد اللغات لمهمة الترجمة متعددة اللغات متعددة اللغات المهمة متعددة اللغات في WMT 2021. بدء تشغيل نظام الأساس المحتمل، حققنا في العديد من التقنيات لتحسين جودة الترجمة على المجموعة الفرعية المستهدفة من اللغات.تمكنا من تح
سين جودة الترجمة بشكل كبير من خلال تكييف النظام باتجاه المجموعة الفرعية المستهدفة من اللغات وتوليد بيانات اصطناعية باستخدام النموذج الأولي.التقنيات المطبقة بنجاح في الترجمة متعددة اللغز المزدوجة (E.G. التشابه العادي) كان لها تأثير بسيط فقط على أداء الترجمة النهائي.
يتم تدريب نماذج استرجاع الحالية على نطاق واسع على نطاق واسع مع 0-1 تسمية صعبة تشير إلى ما إذا كان الاستعلام مناسب بمستند، وتجاهل المعلومات الغنية من درجة الأهمية.تقترح هذه الورقة تحسين الاسترجاع القائم على التضمين من منظور توصيف أفضل شهادة استفسار ال
وثيقة عن طريق إدخال تحسين التسمية (LE) لأول مرة.لتوليد توزيع الملصقات في سيناريو استرجاع، نقوم بتصميم طريقة رواية وفعالة تم إشرافها التي تتضمن المعرفة السابقة من أساليب الترجيح الديناميكي إلى تضمينات سياقية.تتفوقت طريقتنا بشكل كبير أربع نماذج استرجاع قابلة للتنافسية ونظرائها المجهزة بتقنيتين بديلين من نماذج التدريب مع توزيع الملصقات التي تم إنشاؤها كمعلومات الإشراف المساعدة.يمكن ملاحظة التفوق بسهولة على مهام استرجاع اللغة الإنجليزية والصينية على نطاق واسع تحت إعدادات بدء التشغيل القياسية والباردة.
على الرغم من الأداء الرائع للنماذج التوليدية واسعة النطاق في محادثة مفتوحة، من المعروف أنها أقل عملية لبناء أنظمة محادثة في الوقت الفعلي بسبب ارتفاع الكمون. من ناحية أخرى، يمكن أن تعيد نماذج استرجاع الردود بأشياء أقل بكثير ولكنها تظهر أداء أدنى للنما
ذج الإدارية على نطاق واسع لأن جودة المحادثة تحدها مجموعة استجابة محددة مسبقا. للاستفادة من كلتا النهجين، نقترح طريقة تدريب جديدة تسمى G2R (التقطير الاسترجلي من الاسترجاع) التي تحافظ على كفاءة نموذج استرجاع مع الاستفادة من القدرة على التحدث نموذجا إيديا واسع النطاق عن طريق غرس المعرفة بالتوليد نموذج في نموذج الاسترجاع. تتكون G2R من تقنيتين متميزتين من التقطير: يعزز G2R على مستوى البيانات مجموعة بيانات الحوار مع ردود إضافية النموذج المولد النطاق، وينقل G2R على مستوى النموذج درجة جودة الاستجابة التي تم تقييمها بواسطة نموذج التوليد إلى درجة نموذج الاسترجاع عن طريق فقدان المعرفة في التقطير. من خلال تجارب واسعة بما في ذلك التقييم البشري، نوضح أن نظام المحادثة المستندة إلى استرجاعنا المدربين مع G2R يدل على أداء محسن بشكل كبير مقارنة بنموذج استرجاع الأساس أثناء إظهار زمن الاستدلال الأساسي بشكل كبير من النماذج الإدارية على نطاق واسع.
نقدم نتائج المهمة الأولى على الترجمة ذات الجهاز متعدد اللغات على نطاق واسع.تتكون المهمة على التقييم المتعدد إلى العديد من النماذج الفردية عبر مجموعة متنوعة من اللغات المصدر والمستهدفة.هذا العام، تتألف المهمة على ثلاثة إعدادات مختلفة: (1) المهمة الصغي
رة 1 (لغات أوروبا الوسطى / الجنوبية الشرقية)، (2) المهمة الصغيرة 2 (لغات جنوب شرق آسيا)، و (3) مهمة كاملة (كل 101 × 100 زوج أزواج).استخدمت جميع المهام DataSet Flores-101 كمعيار التقييم.لضمان طول العمر من مجموعة البيانات، لم يتم إصدار مجموعات الاختبار علنا وتم تقييم النماذج في بيئة خاضعة للرقابة على Dynabench.كان هناك ما مجموعه 10 فرق مشاركة للمهام، بما مجموعه 151 من العروض النموذجية المتوسطة و 13 نماذج نهائية.تظهر نتائج هذا العام تحسنا كبيرا على خطوط الأساس المعروفة مع +17.8 بلو ل Task-Task2، +10.6 للمهمة الكاملة و +3.6 للمهمة الصغيرة 1.
