من المعروف أن نماذج الحوار العصبي تعاني من مشاكل مثل توليد ردود غير آمنة وغير متناسقة.على الرغم من أن هذه المشاكل حاسمة وسائدة، إلا أنها تعد في الغالب يدويا من قبل مصممي النماذج من خلال التفاعلات.في الآونة الأخيرة، يرشد بعض الأبحاث أن الجماعات الجمهو
رية إلى البوتات الروبوتين في إثارة مثل هذه المشاكل.ومع ذلك، فإن البشر يستفيدون من القرائن السطحية مثل خطاب الكراهية، مع ترك المشاكل المنهجية السرية.في هذه الورقة، نقترح طريقتان بما في ذلك التعزيز التعلم لتشغيل نموذج حوار تلقائيا إلى استجابات إشكالية.نظهر تأثير طرقنا في فضح مشاكل السلامة والتناقض مع نماذج الحوار الحديثة.
النماذج التركيبية المنظمة جذابة لأنها تتحلل صراحة المشاكل وتوفير مخرجات متوسطة تفسير تفسر الثقة في أن النموذج ليس مجرد إزالته على القطع الأثرية للبيانات. ومع ذلك، فإن تعلم هذه النماذج صعبة، ومع ذلك، نظرا لأن الإشراف على المهمة النهائية يوفر فقط إشارة
غير مباشرة ضعيفة حول القيم التي يجب أن تتخذ القرارات الكامنة. غالبا ما يؤدي ذلك إلى فشل النموذج في تعلم كيفية تنفيذ المهام الوسيطة بشكل صحيح. في هذا العمل، نقدم طريقة للاستفادة من الأمثلة المقترنة التي توفر إشارات أقوى لتعلم القرارات الكامنة. عندما تتخلى أمثلة تدريبية ذات صلة بالحرارة الداخلية، نضيف هدف تدريب إضافي لتشجيع الاتساق بين قراراتهم الكامنة. لا يتطلب مثل هذا الهدف إشراف خارجي لقيم الإخراج الكامن، أو حتى المهمة النهائية، حتى الآن يوفر إشارة تدريب إضافية إلى ذلك من خلال أمثلة تدريب فردية أنفسهم. نحن نطبق طريقتنا لتحسين سؤال التركيبي الرد باستخدام شبكات الوحدات النمطية العصبية على Dropet DataSet. نستكشف ثلاث طرق للحصول على أسئلة مقترنة في قطرة: (أ) اكتشاف أمثلة مقترنة بشكل طبيعي داخل DataSet، (ب) بناء أمثلة مقترنة باستخدام القوالب، و (ج) إنشاء أمثلة مقنعة باستخدام نموذج جيل سؤال. إننا نوضح تجريبيا أن نهجنا المقترح يحسن التعميم داخل التوزيع ويؤدي إلى تصحيح تنبؤات القرارات الكامنة.
نستخدم مجموعة بيانات من الأسماء الأولى الأمريكية مع ملصقات تستند إلى النوع الاجتماعي السائد والمجموعة العرقية لفحص تأثير تواتر Corpus على التقييم والسياق والتشابه إلى التمثيل الأولي والتحيز في Bert و GPT-2 و T5 و XLNet. نظهر أن الأسماء الأكثر في الغا
لب والأسماء غير البيضاء أقل تواترا في شركة التدريب لهذه النماذج الأربع هذه. نجد أن الأسماء النادرة هي أكثر مماثلة ذاتيا عبر السياقات، مع Rho Spearman بين التردد والتشابه الذاتي بنسبة منخفضة تصل إلى 763. الأسماء النادرة هي أيضا أقل تشبه التمثيل الأولي، مع تشابه RHO ل Spearman بين التردد ومحاذاة النواة الخطية (CKA) للتمثيل الأولي بما يصل إلى .702. علاوة على ذلك، نجد Rho Spearman بين التحيز العنصري وتكرار الاسم في Bert of .492، مما يشير إلى أن أسماء مجموعات الأقليات ذات التردد الأدنى مرتبطون ببراعة. تخضع تمثيل الأسماء النادرة لمعالجة المزيد من المعالجة، ولكنها أكثر مماثلة ذاتيا، مما يشير إلى أن النماذج تعتمد على تمثيل أقل مستنيرة في السياق بأسماء غير شائعة وأسماء الأقليات التي يتم إجاءاتها على عدد أقل من السياقات الملحوظة.
تعتمد نماذج تلخيص الجماع بشكل كبير على آليات النسخ، مثل شبكة المؤشر أو الاهتمام، لتحقيق أداء جيد، تقاس بالتداخل النصي مع الملخصات المرجعية.نتيجة لذلك، تبقى الملخصات التي تم إنشاؤها بالقرب من التركيبات في المستند المصدر.نقترح نموذج * الحكم * نموذج لتو
ليد المزيد من الملخصات الجماعية.يتضمن وحدة فك ترميز هرمي يقوم أولا بإنشاء تمثيل الجملة الموجزة التالية، ثم ظروف مولد Word على هذا التمثيل.إن ملخصاتنا الناتجة أكثر إشراك وفي الوقت نفسه تحقق درجات روج عالية عند مقارنتها بالملخصات المرجعية البشرية.نتحقق من فعالية قرارات التصميم لدينا بالتقييمات الواسعة.
في هذه الورقة، يمكننا التحقيق في أنواع المعلومات النمطية التي يتم التقاطها عن طريق نماذج اللغة المحددة مسبقا.نقدم بيانات البيانات الأولى التي تشمل السمات النمطية لمجموعة من المجموعات الاجتماعية واقتراح طريقة لاستزاز الصور النمطية المشفرة من قبل نماذج
اللغة المحددة في أزياء غير منشأة.علاوة على ذلك، نربط النمط النمطية الناشئة على مظاهرهم كعاطرات أساسية كوسيلة لدراسة آثارهم العاطفية بطريقة أكثر تعميم.لإظهار كيف يمكن استخدام أساليبنا لتحليل نوبات المشاعر والنمطية بسبب التجربة اللغوية، نستخدم ضبطها بشكل جيد على مصادر الأخبار كدراسة حالة.تعرض تجاربنا كيف تختلف المواقف تجاه مجموعات اجتماعية مختلفة عبر النماذج وكيف يمكن أن تحول العواطف والقوالب النمطية بسرعة في مرحلة ضبط الدقيقة.
حققت نماذج التسلسل العصبي غير المعروضة أداء تنافسية مع نماذج التسلسل الموجهة للحكومة الموجهة التي تولد رتيبا من اليسار إلى اليمين في مهام الترجمة الآلية. في هذا العمل، ندرب السياسة التي تتعلم طلب الجيل لنموذج الترجمة المدربة مسبقا مسبقا، عبر التعلم ا
لتعزيز. نظا على أن الترجمات التي تركتها أوامرنا المستفادة تحقق درجات بلو أعلى من النواتج المشفرة من اليسار إلى اليمين أو فك شفرة من قبل النظام المستفيد من منصيموف وآخرون. (2019) على مهمة الترجمة الألمانية والإنجليزية WMT'14. فيما يتعلق بالأمثلة بأقصى قدر من المصدر والمستهدف لمدة 30 من المهام الإنجليزية من DE-en و WMT'16 الإنجليزية الرومانية، فإن أمرنا المستفيد يتفوق على جميع أوامر الجيل المجهرية على ثلاثة من أربع أزواج لغوية. نقوم بالتحليل بعناية أنماط الطلب المستفادة من خلال التحليل النوعي والكمي. نظهر أن سياستنا تتبع عموما طلبا خارجيا إلى داخلي، توقع أكثر الأيسر والأيمن - معظم المناصب أولا، ثم تتحرك نحو المنتصف أثناء تخطي الكلمات الأقل أهمية في البداية. علاوة على ذلك، فإن السياسة تتوقع عادة مواقع لهيكل مؤسس بنزلي واحد في خطوات متتالية. نعتقد أن نتائجنا قد توفر المزيد من الأفكار حول آلية نماذج الجيل غير المعردة وتشجيع المزيد من البحث في هذا الاتجاه.
غالبا ما يتم تقييم نماذج اللغة المستخدمة في التعرف على الكلام بشكل جوهري باستخدام حيرة في بيانات الاختبار أو غير مسبوق مع نظام التعرف على الكلام التلقائي (ASR). لا يرتبط التقييم السابق دائما بشكل جيد مع أداء ASR، في حين أن الأخير يمكن أن يكون محددا ل
أنظمة ASR معينة. اقترح العمل الحديث لتقييم نماذج اللغة باستخدامها لتصنيف جمل الحقيقة الأرضية بين جمل مماثلة للالعناد الصوتي الناتج عن محول الدولة الدقيقة. مثل هذا التقييم هو افتراض أن الجمل التي تم إنشاؤها غير صحيحة لغويا. في هذه الورقة، وضعنا أولا هذا الافتراض موضع السؤال، ومراقبة أن الجمل التي تم إنشاؤها بدلا من ذلك قد تكون صحيحة في كثير من الأحيان لغويا عندما تختلف عن الحقيقة الأرضية بواسطة تحرير واحد فقط. ثانيا، أظهرنا أنه باستخدام بيرت متعددة اللغات، يمكننا تحقيق أداء أفضل من العمل السابق على مجموعات بيانات تبديل التعليمات البرمجية. تطبيقنا متاح علنا على Github في https://github.com/sikfeng/language-modelling-for-code-Switching.
أخبار وهمية تسبب أضرارا كبيرة في المجتمع.للتعامل مع هذه الأخبار المزيفة، تم إجراء العديد من الدراسات حول نماذج كشف البناء وترتيب مجموعات البيانات.معظم مجموعات بيانات الأخبار المزيفة تعتمد على فترة زمنية محددة.وبالتالي، فإن نماذج الكشف المدربة على مثل
هذه البيانات لديها صعوبة في اكتشاف الأخبار الرواية المزيفة الناتجة عن التغييرات السياسية والتغيرات الاجتماعية؛قد ينتج عنهم إخراج متحيز من المدخلات، بما في ذلك أسماء شخص معين وأسماء تنظيمية.نشير إلى هذه المشكلة كتحيز DIACHRONIC لأنه سبب تاريخ إنشاء الأخبار في كل مجموعة بيانات.في هذه الدراسة، نؤكد التحيز، وخاصة الأسماء المناسبة بما في ذلك أسماء الشخص، من انحراف مظاهر العبارة في كل مجموعة بيانات.بناء على هذه النتائج، نقترح طرق الاخفاء باستخدام Wikidata للتخفيف من تأثير أسماء الشخص والتحقق من صحة ما إذا كانوا يقومون بإجراء نماذج الكشف عن الأخبار وهمية قوية من خلال التجارب مع بيانات داخل المجال والخروج.
تولد نماذج اللغة الكبيرة (LM) نص بطلاقة بشكل ملحوظ ويمكن تكييفها بكفاءة عبر مهام NLP. قياس وضمان جودة النص الذي تم إنشاؤه من حيث السلامة أمر ضروري لنشر LMS في العالم الحقيقي؛ تحقيقا لهذه الغاية، غالبا ما يعتمد العمل السابق على التقييم التلقائي لسمية
LM. نناقش هذا النهج بشكل خطير، وتقييم العديد من استراتيجيات تخفيف السمية فيما يتعلق بالتقييم التلقائي والبشري، وتحليل عواقب التخفيف من السمية من حيث التحيز النموذجي وجودة LM. نوضح أنه في حين أن استراتيجيات التدخل الأساسية يمكن أن تتحسن بشكل فعال مقاييس تلقائية تم تأسيسها مسبقا على مجموعة بيانات Realtoxicyprompts، فإن هذا يأتي عند تكلفة انخفاض تغطية LM لكلا النصوص حول، ولهجات المجموعات المهمشة. بالإضافة إلى ذلك، نجد أن التصدير البشري غالبا ما يختلفون في درجات سمية تلقائية عالية بعد تدخلات تخفيض السمية القوي --- تسليط الضوء على مزيد من الفروق الدقيقة المشاركة في التقييم الدقيق لسامة LM.
تم إثبات التحسينات الأخيرة المثيرة للإعجاب في NLP، على أساس نجاح نماذج اللغة العصبية السياقية، في معظمها على معظم زوجين من اللغات عالية الموارد. بناء لغة البناء، وبشكل أعم، لا تزال أنظمة NLP للغات غير الموحدة والموارد منخفضة مهمة صعبة. في هذا العمل،
نحن fo- cus على اللغة العربية العامية من الشمال الأفريقي العربية المكتوبة باستخدام امتداد من البرنامج النصي اللاتيني، يسمى Narabizi، في الغالب على وسائل التواصل الاجتماعي والرسائل. في هذا السيناريو المنخفض للموارد مع عرض البيانات مستوى كبير من التباين، نقوم بمقارنة أداء المصب لنموذج لغة قائمة على الطابع على وضع علامات جزء من الكلام والاعتماد على نماذج أحادية اللغات وغير اللغوية. نظرا لأن نموذجا مقرا له على الطابع المدرب على جمل 99 ألفا فقط من Narabizi ويتم تغريمه على خرق صغير من هذه اللغة يؤدي إلى أداء قريبة من تلك التي تم الحصول عليها مع نفس الهندسة المعمارية المدربة مسبقا على نماذج كبيرة متعددة اللغات وأنتجة. تؤكد هذه النتائج على مجموعة بيانات أكبر بكثير من المحتوى الناتج عن المستخدم الفرنسي الصاخب، نجح بأن هذه النماذج اللغوية القائمة على الأحرف يمكن أن تكون أصول ل NLP في مجموعة التباين المنخفضة واللغة العالية.
