نقدم طريقتان رواية غير منشأة لإزالة السمية في النص.تجمع أهميتنا الأولى بين الأفكار الحديثة: (1) إرشادات عملية التوليد مع نماذج اللغة الشرطية النمطية الصغيرة و (2) استخدام نماذج إعادة الصياغة لأداء نقل النمط.نحن نستخدم أداء أداء جيدا تسترشد نماذج لغة
مدربة على الطراز للحفاظ على محتوى النص وإزالة السمية.تستخدم الطريقة الثانية لدينا بيرت لاستبدال الكلمات السامة مع مرادفاتها غير الهجومية.نحن نجعل الطريقة أكثر مرونة من خلال تمكين بيرت لتحل محل الرموز القناع مع عدد متغير من الكلمات.أخيرا، نقدم أول دراسة مقارنة واسعة النطاق لنماذج نقل النمط في مهمة إزالة السمية.نقارن نماذجنا بعدد من الطرق لنقل النمط.يتم تقييم النماذج بطريقة خالية من المرجع باستخدام مزيج من مقاييس نقل النمط غير المدقق.كلتا الطريقتين نقترح أن تسفر عن نتائج سوتا الجديدة.
النماذج التركيبية المنظمة جذابة لأنها تتحلل صراحة المشاكل وتوفير مخرجات متوسطة تفسير تفسر الثقة في أن النموذج ليس مجرد إزالته على القطع الأثرية للبيانات. ومع ذلك، فإن تعلم هذه النماذج صعبة، ومع ذلك، نظرا لأن الإشراف على المهمة النهائية يوفر فقط إشارة
غير مباشرة ضعيفة حول القيم التي يجب أن تتخذ القرارات الكامنة. غالبا ما يؤدي ذلك إلى فشل النموذج في تعلم كيفية تنفيذ المهام الوسيطة بشكل صحيح. في هذا العمل، نقدم طريقة للاستفادة من الأمثلة المقترنة التي توفر إشارات أقوى لتعلم القرارات الكامنة. عندما تتخلى أمثلة تدريبية ذات صلة بالحرارة الداخلية، نضيف هدف تدريب إضافي لتشجيع الاتساق بين قراراتهم الكامنة. لا يتطلب مثل هذا الهدف إشراف خارجي لقيم الإخراج الكامن، أو حتى المهمة النهائية، حتى الآن يوفر إشارة تدريب إضافية إلى ذلك من خلال أمثلة تدريب فردية أنفسهم. نحن نطبق طريقتنا لتحسين سؤال التركيبي الرد باستخدام شبكات الوحدات النمطية العصبية على Dropet DataSet. نستكشف ثلاث طرق للحصول على أسئلة مقترنة في قطرة: (أ) اكتشاف أمثلة مقترنة بشكل طبيعي داخل DataSet، (ب) بناء أمثلة مقترنة باستخدام القوالب، و (ج) إنشاء أمثلة مقنعة باستخدام نموذج جيل سؤال. إننا نوضح تجريبيا أن نهجنا المقترح يحسن التعميم داخل التوزيع ويؤدي إلى تصحيح تنبؤات القرارات الكامنة.
عادة ما يتم تدريب نماذج اللغات الحالية على استخدام مخطط للإشراف على الذات، حيث يركز التركيز الرئيسي على التعلم في كلمة البرنامج أو مستوى الجملة.ومع ذلك، كان هناك تقدم محدود في توليد تمثيلات مفيدة على مستوى الخطاب.في هذا العمل، نقترح استخدام الأفكار م
ن نظرية الترميز التنبؤية لزيادة نماذج اللغة ذات طراز بيرت مع آلية تسمح لهم بتعلم تمثيلات مناسبة على مستوى الخطاب.نتيجة لذلك، يكون نهجنا المقترح قادرا على التنبؤ بالأحكام المستقبلية باستخدام اتصالات واضحة من أعلى إلى أسفل تعمل في الطبقات المتوسطة للشبكة.من خلال تجربة معايير مصممة لتقييم المعرفة المتعلقة بالحبال باستخدام تمثيلات الجملة المدربة مسبقا، نوضح أن نهجنا يحسن الأداء في 6 من أصل 11 مهام من خلال التميز في كشف علاقة الخطاب.
نقدم العمل في تلخيص عمليات تداول لغات غير الإنجليزية.على عكس مجموعات البيانات التي تمت دراستها شائعة، مثل المقالات الإخبارية، تعكس مجموعة بيانات التدوين هذه صعوبات الجمع بين روايات متعددة، معظمها من الجودة النحوية الفقراء، في نص واحد.نقوم بالإبلاغ عن
تقييم شامل لمجموعة واسعة من نماذج التلخيص المبادرة بالاشتراك مع نموذج الترجمة الآلي خارج الرف.ترجم النصوص إلى اللغة الإنجليزية، وتمخيصها، وترجمت إلى اللغة الأصلية.نحصل على نتائج واعدة فيما يتعلق بطلاقة الملخصات والاتساق والأهمية المنتجة.نهجنا سهل التنفيذ للعديد من اللغات لأغراض الإنتاج عن طريق تغيير نموذج الترجمة ببساطة.
نستكشف استخدام نماذج لغة كبيرة مسببة الاحتراج كحلل دلالي أقل بالرصاص.الهدف في التحليل الدلالي هو توليد تمثيل معنى منظم بالنظر إلى إدخال لغة طبيعية.ومع ذلك، يتم تدريب نماذج اللغة لتوليد اللغة الطبيعية.لسد الفجوة، نستخدم نماذج اللغة لإعادة صياغة المدخل
ات في Sublanguage تسيطر يشبه اللغة الإنجليزية التي يمكن تعيينها تلقائيا إلى تمثيل معنى الهدف.توضح نتائجنا أنه مع كمية صغيرة فقط من البيانات والكود القليل جدا لتحويلها إلى تمثيلات تشبه اللغة الإنجليزية، يؤدي مخططنا لتحقيق البث الدلالي السريع إلى أداء فعال بشكل مدهش على مهام مجتمع متعددة، يتجاوز بشكل كبير أساليب خط الأساس المدربة أيضا على نفس المحدودةبيانات.
في هذه الورقة، يمكننا التحقيق في أنواع المعلومات النمطية التي يتم التقاطها عن طريق نماذج اللغة المحددة مسبقا.نقدم بيانات البيانات الأولى التي تشمل السمات النمطية لمجموعة من المجموعات الاجتماعية واقتراح طريقة لاستزاز الصور النمطية المشفرة من قبل نماذج
اللغة المحددة في أزياء غير منشأة.علاوة على ذلك، نربط النمط النمطية الناشئة على مظاهرهم كعاطرات أساسية كوسيلة لدراسة آثارهم العاطفية بطريقة أكثر تعميم.لإظهار كيف يمكن استخدام أساليبنا لتحليل نوبات المشاعر والنمطية بسبب التجربة اللغوية، نستخدم ضبطها بشكل جيد على مصادر الأخبار كدراسة حالة.تعرض تجاربنا كيف تختلف المواقف تجاه مجموعات اجتماعية مختلفة عبر النماذج وكيف يمكن أن تحول العواطف والقوالب النمطية بسرعة في مرحلة ضبط الدقيقة.
في هذه الورقة، نقدم متري جديد يعتمد على تضمين التعاون على نماذج التصنيف القابلة للتدريب لتقييم الدقة الدلالية لمولدات البيانات النصية العصبية. هذا المتريات مناسب بشكل خاص لتقييم أداء مولد النص بشكل خاص بشكل خاص وتقييم فعليا عندما يمكن ربط الجداول بمر
اجع متعددة وقيم الجدول تحتوي على كلمات نصية نصية. نقدم أولا كيف يمكن للمرء تنفيذ ومزيد من التخصص المتخصص من خلال تدريب نماذج التصنيف الأساسية في مجموعة بيانات قانونية إلى نصية. نظهر كيف قد يوفر ذلك تقييما أكثر قوة من مخططات التقييم الأخرى في الإعدادات الصعبة باستخدام مجموعة بيانات تضم أي رسوم بين قيم الجدول ومراجعها. أخيرا، نقوم بتقييم قدرات تعميمها على مجموعة بيانات معروفة، و WEBNLG، بمقارنتها بالتقييم البشري ومقياس تم إدخاله مؤخرا بناء على الاستدلال اللغوي الطبيعي. بعد ذلك، توضح كيف تميز بشكل طبيعي، سواء من الناحية الكمية والنوعية والإغفالات والهلوسة.
من المعروف أن نماذج الحوار العصبي تعاني من مشاكل مثل توليد ردود غير آمنة وغير متناسقة.على الرغم من أن هذه المشاكل حاسمة وسائدة، إلا أنها تعد في الغالب يدويا من قبل مصممي النماذج من خلال التفاعلات.في الآونة الأخيرة، يرشد بعض الأبحاث أن الجماعات الجمهو
رية إلى البوتات الروبوتين في إثارة مثل هذه المشاكل.ومع ذلك، فإن البشر يستفيدون من القرائن السطحية مثل خطاب الكراهية، مع ترك المشاكل المنهجية السرية.في هذه الورقة، نقترح طريقتان بما في ذلك التعزيز التعلم لتشغيل نموذج حوار تلقائيا إلى استجابات إشكالية.نظهر تأثير طرقنا في فضح مشاكل السلامة والتناقض مع نماذج الحوار الحديثة.
نظرا لأن نماذج NLP منتشرة بشكل متزايد في إعدادات موقع اجتماعي مثل الكشف عن المحتوى المسيء عبر الإنترنت، فمن الضروري التأكد من أن هذه النماذج قوية. تتمثل إحدى طرق تحسين متواضع النموذج في إنشاء بيانات معدية مضادة للعمل (CAD) لنماذج التدريب التي يمكن أن
تتعلم بشكل أفضل التمييز بين الميزات الأساسية وتذكير البيانات. في حين أن النماذج المدربة على هذا النوع من البيانات قد أظهرت تعميم تعميمات خارج نطاق، فلا تزال غير واضحة ما هي مصادر هذه التحسينات. نحقق في فوائد CAD لنماذج NLP الاجتماعية من خلال التركيز على ثلاثة بنيات الحوسبة الاجتماعية --- الشعور والجوعي، خطاب الكراهية. تقييم أداء النماذج المدربة مع وبدون CAD عبر أنواع مختلفة من مجموعات البيانات، نجد أنه أثناء قيام النماذج المدربة على CAD بإظهار الأداء السفلي داخل المجال، فإنهم يعممون أفضل من المجال. نحن نفث هذا التناقض الواضح باستخدام تفسيرات الجهاز والعثور على أن CAD يقلل من الاعتماد على النموذج على ميزات زائفة. الاستفادة من نطق رواية من CAD لتحليل علاقتهم بأداء نموذجي، نجد أن CAD الذي يعمل على البناء مباشرة أو مجموعة متنوعة من CAD يؤدي إلى أداء أعلى.
على الرغم من الأداء الرائع للنماذج التوليدية واسعة النطاق في محادثة مفتوحة، من المعروف أنها أقل عملية لبناء أنظمة محادثة في الوقت الفعلي بسبب ارتفاع الكمون. من ناحية أخرى، يمكن أن تعيد نماذج استرجاع الردود بأشياء أقل بكثير ولكنها تظهر أداء أدنى للنما
ذج الإدارية على نطاق واسع لأن جودة المحادثة تحدها مجموعة استجابة محددة مسبقا. للاستفادة من كلتا النهجين، نقترح طريقة تدريب جديدة تسمى G2R (التقطير الاسترجلي من الاسترجاع) التي تحافظ على كفاءة نموذج استرجاع مع الاستفادة من القدرة على التحدث نموذجا إيديا واسع النطاق عن طريق غرس المعرفة بالتوليد نموذج في نموذج الاسترجاع. تتكون G2R من تقنيتين متميزتين من التقطير: يعزز G2R على مستوى البيانات مجموعة بيانات الحوار مع ردود إضافية النموذج المولد النطاق، وينقل G2R على مستوى النموذج درجة جودة الاستجابة التي تم تقييمها بواسطة نموذج التوليد إلى درجة نموذج الاسترجاع عن طريق فقدان المعرفة في التقطير. من خلال تجارب واسعة بما في ذلك التقييم البشري، نوضح أن نظام المحادثة المستندة إلى استرجاعنا المدربين مع G2R يدل على أداء محسن بشكل كبير مقارنة بنموذج استرجاع الأساس أثناء إظهار زمن الاستدلال الأساسي بشكل كبير من النماذج الإدارية على نطاق واسع.
