نماذج الموضوعات العصبية (NTMS) تطبيق الشبكات العصبية العميقة إلى نمذجة الموضوعات. على الرغم من نجاحها، تجاهل NTMS عموما جائبا مهمين: (1) فقط يتم استخدام معلومات عدد الكلمات على مستوى المستند للتدريب، في حين يتم تجاهل المزيد من المعلومات ذات المستوى ا
لجميل على مستوى الجملة، و (2) المعرفة الدلالية الخارجية فيما يتعلق بالوثائق، الجمل والكلمات لم يتم استغلالها للتدريب. لمعالجة هذه المشكلات، نقترح نموذج NTM (VAE) AutoNCoder (VAE) بشكل مشترك إعادة بناء الجملة وكلمة الوثيقة التي تهمها مجموعات من المبيعات الموضعية في كيس الكلمات (القوس) و EMBEDDINGS الدلالي المدرب مسبقا. يتم تحويل المدينات المدربة مسبقا لأول مرة إلى مساحة موضة كامنة مشتركة لمواءمة دلالاتها مع تضمين القوس. يتميز نموذجنا أيضا باختلاف KL هرمي للاستفادة من تضمينات كل وثيقة لتوسيع نطاق جملهم، مما يدفع المزيد من الاهتمام للجمل ذات الصلة الدولى. أظهرت كل من التجارب الكمية والنوعية فعالية نموذجنا في 1) خفض أخطاء إعادة الإعمار على كل من المستويات الجملة والوثائق، و 2) اكتشاف موضوعات أكثر تماسكا من مجموعات بيانات العالم الحقيقي.
تعتبر إساءة استخدام الإنترنت مشكلة مجتمعية مهمة في عصرنا. يواجه ملايين مستخدمي الإنترنت المضايقات والعنصرية والهجمات الشخصية وأنواع أخرى من سوء المعاملة عبر مختلف المنصات. يمكن أن تكون الآثار النفسية للإيذاء على الأفراد عميقة ودائمة. وبالتالي، خلال ا
لسنوات القليلة الماضية، كان هناك جهد بحثي كبير نحو الكشف الآلي للكشف عن اللغة المسيئة في مجال NLP. في ورقة الموضع هذه، نناقش الدور الذي يلعبه نمذجة المستخدمين والمجتمعات عبر الإنترنت في اكتشاف إساءة الاستخدام. على وجه التحديد، نقوم بمراجعة وتحليل حالة الأساليب الفنية التي ترفض معلومات المستخدم أو المجتمع لتعزيز فهم اللغة والكشف عن اللغة المسيئة. ثم نستكشف التحديات الأخلاقية المتمثلة في دمج معلومات المستخدم والمجتمع، ووضع اعتبارات لتوجيه البحوث المستقبلية. أخيرا، نتعلم موضوع الشرح في الكشف عن اللغة المسيئة، واقتراح خصائص يجب أن تهدف طريقة تفسير إلى إظهارها. نحن تصف كيف يمكن للمستخدم والمعلومات المجتمعية تسهيل تحقيق هذه الخصائص ومناقشة التشغيل الفعال للتفسير في ضوء العقارات.
العاطفة والتعاطف هي أمثلة على الصفات البشرية التي تفتقر إلى العديد من التفاعلات البشرية. الهدف من عملنا هو توليد حوار جذاب في صورة مشتركة من المستخدمين مع زيادة العاطفة والتعاطف مع تقليل النواتج غير اللائق أو الهجومية الاجتماعية. ونحن نفرج عن الصورة
العصبية التعليق مع مجموعة بيانات التعاطف (لطيفة) تتكون من ما يقرب من مليوني صورة وتعليقات مقابلة للإنسان، ومجموعة من التعليقات الشروحية البشرية والأداء الأساسي في مجموعة من النماذج. في الموقف عن الاعتماد على المشاعر المسمى يدويا، نستخدم أيضا تمثيل اللغوي الذي تم إنشاؤه تلقائيا كمصدر للملصقات الخاضعة للإشراف. بناء على هذه التعليقات التوضيحية، نحدد مهامين مختلفة لمجموعة البيانات الجميلة. بعد ذلك، نقترح نموذجا روايا قبل التدريب - النمذجة تؤثر على جيل للحصول على تعليقات الصورة (السحر) - والتي تهدف إلى توليد تعليقات للصور، مشروطة على التمثيل اللغوي الذي التقاط النمط والتأثير، والمساعدة في توليد أكثر تعاطفا وعاطفيا وجذابا و تعليقات اجتماعية مناسبة. باستخدام هذا النموذج، نحقق الأداء الحديث في واحدة من مهامنا الجميلة. تظهر التجارب أن النهج يمكن أن يولد المزيد من التعليقات التي تشبه الإنسان وإشراكها للإشراك.
معظم أساليب تلخيص المستندات النسخة الاستخراجية الحالية (MDS) تسجل كل جملة بشكل فردي واستخراج الجمل الباردة واحدا تلو الآخر لتكوين ملخص، ولديه عاطفي رئيسيين: (1) إهمال العلاقات داخل الوثائق بين الجمل؛ (2) إهمال التماسك وجواء الملخص بأكمله. في هذه الور
قة، نقترح إطار عمل MDS الرواية (SGSUM) لصياغة مهمة MDS كأداة اختيار Sub-Graph، حيث تعتبر المستندات المصدر بيانيا العلاقة من الجمل (على سبيل المثال، الرسم البياني التشابه أو الرسم البياني الخطابي) والمرشح الملخصات هي الرسوم البيانية الفرعية لها. بدلا من اختيار الجمل البارزة، حدد SGSUM رسم بياني فرعي بارز من الرسم البياني العلاقة كملخص. مقارنة بالطرق التقليدية، فإن طريقةنا لها مزايا رئيسية: (1) يتم التقاط العلاقات بين الأحكام من خلال نمذجة كل من هيكل الرسم البياني لمجموعة الوثيقة بأكملها والرسوم البيانية الفرعية المرشحة؛ (2) يخرج مباشرة ملخصا دمج في شكل رسم بياني فرعي وهو أكثر إفادة وتماسك. تظهر تجارب واسعة على مجموعات بيانات متعددة الوظائف و DUC أن أسلوبنا المقترح يجلب تحسينات كبيرة على العديد من خطوط الأساس القوية. توضح نتائج التقييم البشري أيضا أن طرازنا يمكن أن ينتج ملخصات أكثر متماسكا وكفاحيا مقارنة بطرق MDS التقليدية. علاوة على ذلك، فإن الهندسة المعمارية المقترحة لديها قدرة نقل قوية من إدخال واحد إلى متعدد الوثائق، والتي يمكن أن تقلل من عنق الزجاجة في مهام MDS.
التعرف على علاقة الخطاب الضمني (IDRR) هو مهمة حاسمة في تحليل الخطاب. الدراسات السابقة فقط اعتبارها مهمة التصنيف وتفتقر إلى فهم متعمق لدل العلاقات المختلفة. لذلك، نرى أولا EDRR كامرأة توليد ومزيد من اقتراح طريقة النمذجة المشتركة للتصنيف والجيل. على وج
ه التحديد، نقترح نموذجا مشتركا، CG-T5، للتعرف على تسمية العلاقة وتوليد الجملة المستهدفة التي تحتوي على معنى العلاقات في وقت واحد. علاوة على ذلك، نقوم بتصميم ثلاث نماذج جملة مستهدفة، بما في ذلك نموذج الأسئلة، لنموذج الجيل لإدماج المعرفة السابقة. لمعالجة مشكلة أن وحدات الخطاب الكبيرة غير متضمنة بالكاد في الجملة المستهدفة، نقترح أيضا آلية بناء الجملة المستهدفة التي تستخرج الجمل الأساسية تلقائيا من تلك الوحدات الخطابية الكبيرة. تظهر النتائج التجريبية على حد سواء على مجموعات بيانات MCDTB والإنجليزية الصينية أن نموذج CG-T5 لدينا يحقق أفضل أداء ضد العديد من الأنظمة الحديثة.
يعد تقدير الجودة (QE) مكونا هاما لسير عمل الترجمة الآلي لأنه يقيم جودة الإخراج المترجم دون الترجمات المرجعية الاستشارية.في هذه الورقة، نناقش التقديم لدينا إلى المهمة المشتركة WMT 2021 QE.إننا نشارك في المهمة الفرعية الفرعية على مستوى الجملة 2 المهام
التي تتحدى المشاركين للتنبؤ بدرجة HTER من أجل جهد التحرير على مستوى الجملة.نظامنا المقترح هو مجموعة من نماذج الانحدار من بيرت (mbert) متعددة اللغات، والتي يتم إنشاؤها بواسطة ضبط صقلها على إعدادات الإدخال المختلفة.يوضح أداء قابلا للمقارنة فيما يتعلق بترابط بيرسون، وتغلب على نظام الأساس في ماي / رموز لعدة أزواج اللغة.بالإضافة إلى ذلك، نقوم بتكييف نظامنا لإعداد اللقطة الصفرية من خلال استغلال أزواج اللغة ذات الصلة بالغة والترجمات المرجعية الزائفة.
التقييم البشري لمهام التلخيص موثوقة ولكن يجلب قضايا التكاثر والتكاليف العالية. المقاييس التلقائية رخيصة وغير قابلة للتكرار ولكن في بعض الأحيان ترتبط بشكل سيء بحكمات بشرية. في هذا العمل، نقترح Nemiautomatic مرنة لمقاييس التقييم الموجز التلقائي، بعد طر
يقة التقييم البشري الهرم. يحتفظ Lite2Pyramid شبه التلقائي بوحدات المحتوى الموجزة ذات العلامة البشرية القابلة لإعادة الاستخدام (SCU) للإشارة (SCU)، لكنها تحل محل العمل اليدوي للحكم على وجود قاضم في ملخصات النظام مع نموذج استنتاج اللغة الطبيعية (NLI). تستبدل Lite3pyramid التلقائي بالكامل مزيد من البدائل SCUS مع الوحدات الثلاثية الدلالية المستخرجة تلقائيا (STUS) عبر نموذج العلامات الدلالية (SRL). أخيرا، نقترح مقاييس، Lite2.xpyramid، حيث نستخدم نموذجا بسيطا للتنبؤ بمدى محاكاة STUS محاكاة SCUS والاحتفاظ ب SCUs الأكثر صعوبة في محاكاة، والتي توفر عملية انتقال سلسة وتوازن بين الأتمتة والتقييم اليدوي وبعد مقارنة 15 مقاييس موجودة، نقوم بتقييم الارتباطات المترية البشرية على 3 مجموعات بيانات تقييم التلوث الحالية و Pyrxsum التي تم جمعها حديثا (مع أمثلة / أنظمة / أنظمة 100/10 XSUM). يظهر أن Lite2Pyramid لديها باستمرار أفضل الارتباطات على مستوى الملخص؛ يعمل Lite3pyramid بشكل أفضل من أو قابلة للمقارنة مع مقاييس أوتوماتيكية أخرى؛ يتداول Lite2.XPyramID قبالة قطرات الارتباط الصغيرة لخفض الجهد اليدوي الأكبر، والتي يمكن أن تقلل من تكاليف جمع البيانات المستقبلية.
غالبا ما يكون اختلاف الفرد في أسلوب الكتابة وظيفة من السمات الاجتماعية والشخصية. في حين أن التباين الاجتماعي المنظم قد درس على نطاق واسع، مثل التباين القائم على النوع الاجتماعي، فإن أقل بكثير معروف حول كيفية وصف الأساليب الفردية بسبب طبيعتها الخصوصية
. نقدم نهجا جديدا لدراسة idiolects من خلال مقارنة هائلة للمؤلف عبر المؤلف لتحديد وترميز الميزات الأسلوبية. يحقق النموذج العصبي الأداء القوي في تحديد التأليف على النصوص القصيرة ومن خلال مهمة التحقيق القائم على التشبيه، يظهر أن التمثيلات المستفادة تظهر منتديات مفاجئة ترميز التحولات النوعية والكمية من الأساليب القطرية. من خلال اضطراب النص، نحدد المساهمات النسبية للعناصر اللغوية المختلفة على التباين الاضطراب. علاوة على ذلك، فإننا نقدم وصفا ل idiolects من خلال قياس الاختلاف بين المؤلفين و interra، مما يدل على أن الاختلاف في idiolects غالبا ما يكون مميزا بعد متسقة.
مهمة مهمة في تطبيقات NLP مثل تبسيط الجملة هي القدرة على اتخاذ جملة طويلة ومعقدة وتقسيمها إلى جمل أقصر، وإعادة صياغة حسب الضرورة. نقدم مجموعة بيانات جديدة ونموذج جديد لهذه المهمة الانقسام وإعادة صياغة. تتكون بياناتنا في Bisect التدريبية من 1 مليون جمل
إنجليزية طويلة مقترن بأجمل الإنجليزية الأقصر والمعاواة بينها. نحصل على هؤلاء من خلال استخراج محاذاة جملة واحدة في فورانيا متوازية ثنائية اللغة ثم استخدام الترجمة الآلية لتحويل كلا الجانبين من الجور إلى نفس اللغة. يحتوي Bisect على أمثلة تدريبية ذات جودة أعلى من SPORTA SPORTA السابق وإعادة صياغتها، مع انشقاقات الجملة التي تتطلب تعديلات أكثر أهمية. نقوم بتصنيف أمثلة في Corpus لدينا واستخدام هذه الفئات في نموذج جديد يتيح لنا استهداف مناطق محددة من جملة المدخلات التي سيتم تقسيمها وتحريرها. علاوة على ذلك، نوضح أن النماذج المدربة على Bisect يمكن أن تؤدي مجموعة متنوعة واسعة من العمليات المنقسمة وتحسينها على النهج السابقة للحالة السابقة في التقييمات التلقائية والبشرية.
على الرغم من أن العديد من الدراسات تستخدم معجم Liwc لإظهار وجود إشارات تسرب لفظية في مجموعات بيانات الكشف، لا شيء ما ذكر كيف تتأثر إشارات التسرب اللفظي بوسائل جمع البيانات، أو تأثيرها على أداء النماذج. في هذه الورقة، ندرس إشارات التسرب اللفظي لفهم تأ
ثير طريقة بناء البيانات على أهميتها، وفحص العلاقة بين صلاحية هذه العظة وصحة النماذج. يتم استخدام عشرات هيمنة فئة Word-فئة Liwc من سبع مجموعات بيانات الكشف عن الكذب لإظهار أن البيانات الصوتية والشروح القائمة على الكذب تشير إلى عدد أكبر من فئات التسرب اللفظي القوي. علاوة على ذلك، نقوم بتقييم صحة نماذج الكشف عن حديثة الكذب مع الاختبار عبر مجموعة البيانات. تظهر النتائج أنه في كلا النوعين من الاختبار، تدرب النماذج على مجموعة بيانات مع فئات جديلة تسرب شفهية أكثر قوة - - على عكس عدد أكبر من الإشارات القوية --- تسفر عن نتائج فائقة، مما يشير إلى أن العظة التسرب اللفظي هي عامل رئيسي لاختيار مجموعات بيانات الكشف عن الكذب.
