القدرة على تحديد وحل عدم اليقين أمر بالغ الأهمية لأغاني نظام الحوار. في الواقع، تم تأكيد ذلك بشكل تجريبي على الأنظمة التي تستخدم مناهج Bayesian لحوار تتبع الاعتقاد. ومع ذلك، فإن هذه الأنظمة تعتبر تقديرات الثقة فقط وتواجه صعوبة في التحجيم إلى إعدادات
أكثر تعقيدا. نادرا ما تؤدي أنظمة الحوار العصبي، من ناحية أخرى إلى عدم اليقين في الاعتبار. لذلك فهي تفرد في قراراتهم وأقل قوة. علاوة على ذلك، غالبا ما يتم تقييم أداء مهمة التتبع بمعزل، دون النظر في تأثيره على تحسين السياسة المصب. نقترح استخدام تدابير عدم اليقين المختلفة لتتبع الاعتقاد العصبي. يتم تقييم آثار هذه التدابير على المهمة المهمة المصب للمهمة من تحسين السياسة بإضافة تدابير مختارة من عدم اليقين إلى مساحة ميزة سياسات السياسات والتدريب من خلال التفاعل مع جهاز محاكاة المستخدم. يظهر كل من نتائج المستخدمين البشري والمحاكاة أن إدماج هذه التدابير يؤدي إلى تحسين كل من الأداء وبقوة سياسة الحوار المصب. هذا يسلط الضوء على أهمية تطوير تعقب اعتقاد الحوار العصبي التي تأخذ عدم اليقين في الاعتبار.
تعاني نماذج الترجمة الآلية العصبية غير التلقائية (NART) من مشكلة الوسائط المتعددة والتي تسبب عدم تناسق الترجمة مثل تكرار الرمز المميز. حاولت معظم الأساليب الأخيرة حل هذه المشكلة من خلال النمذجة الضمنية التبعيات بين المخرجات. في هذه الورقة، نقدم Align
art، الذي يرفع معلومات المحاذاة الكاملة إلى تقليل طريقة التوزيع المستهدف بشكل صريح. تقسم AlignArt مهمة ترجمة الآلة في (1) تقدير المحاذاة و (2) الترجمة مع مدخلات فك تشفير محاذاة، توجيه وحدة فك التركيز للتركيز على الترجمة المبسطة الواحدة المبسطة. لتخفيف مشكلة تقدير المحاذاة، فإننا نقترح كذلك طريقة تحلل المحاذاة الجديدة. تظهر تجاربنا أن Alignart تفوق النماذج السابقة غير التكرارية التي تركز على تخفيض طريقة صريحة على WMT14 EN↔DE و WMT16 RO → EN. علاوة على ذلك، تحقق Alignart درجات بلو مماثلة لتلك النماذج القائمة على التصنيف الزمني للدولة من الفنون على WMT14 En↔de. نلاحظ أيضا أن Alignart يعالج بشكل فعال مشكلة تكرار الرمز المميز حتى دون تقطير المعرفة على مستوى التسلسل.
حققت الطرز المستندة إلى المحولات مثل Bert و Xlnet و XLM-R أداء أحدث في مختلف مهام NLP بما في ذلك تحديد اللغة الهجومية وخطاب الكراهية، وهي مشكلة مهمة في وسائل التواصل الاجتماعي.في هذه الورقة، نقدم Fbert، إعادة تدريب نموذج BERT على الصلبة، أكبر كوربوس
لتحديد اللغة الإنجليزية الهجومية المتاحة مع أكثر من 1.4 مليون حالة هجومية.نقيم أداء Fbert الخاص بتحديد المحتوى الهجومي على مجموعات بيانات باللغة الإنجليزية المتعددة ونختبر عدة عتبات لاختيار المثيلات من الصلبة.سيتم توفير نموذج FberT بحرية للمجتمع.
تم دراسة ضغط الجملة (SC)، التي تهدف إلى تقصير الأحكام مع الاحتفاظ بكلمات مهمة تعبر عن المعاني الأساسية، لسنوات عديدة في العديد من اللغات، خاصة باللغة الإنجليزية. ومع ذلك، فإن التحسينات في مهمة SC الصينية لا تزال قليلة جدا بسبب العديد من الصعوبات: ناد
رة من كوربورا الموازية، وتحبيب تجزئة مختلفة من الجمل الصينية، والأداء غير الكامل للتحليلات النحوية. علاوة على ذلك، تم التحقيق في نماذج SC الصينية بأكملها حتى الآن. في هذا العمل، نبني مجموعة بيانات SC من الجمل العامية الصينية من نظام الإجابة على مدى واقعية في مجال الاتصالات السلكية واللاسلكية، ثم نقترح نموذج صيني عصبي SC معزز مع خريطة تنظيم ذاتية (SOM-NCSCM)، إلى احصل على رؤية قيمة من البيانات وتحسين أداء نموذج SC الصيني العصبي بأكمله بطريقة صالحة. تظهر النتائج التجريبية أننا يمكن أن تستفيد بشكل كبير من التحقيق العميق في التشابه بين البيانات، وتحقيق درجة F1 واعدة قدرها 89.655 وفرز Bleu4 البالغة 70.116، والتي توفر أيضا خط أساس لمزيد من الأبحاث حول مهمة SC الصينية.
على الرغم من التحسينات المستمرة في جودة الترجمة الآلية، تظل الترجمة التلقائية الشعر مشكلة صعبة بسبب عدم وجود شاعرية موازية مفتوحة، وبالنسبة إلى التعقيدات الجوهرية المعنية في الحفاظ على الدلالات والأناقة والطبيعة المجازية للشعر. نقدم إجراءات تجريبية ل
ترجمة الشعر على طول عدة أبعاد: 1) حجم وأسلوب بيانات التدريب (Poetic vs. غير شعري)، بما في ذلك إعداد الصفر بالرصاص؛ 2) ثنائي اللغة مقابل التعلم متعدد اللغات؛ و 3) نماذج لغة خاصة للعائلة مقابل نماذج عائلية مختلطة. لإنجاز ذلك، نساهم في مجموعة بيانات متوازية من ترجمات الشعر لعدة أزواج اللغة. تبين نتائجنا أن ضبط التركيب المتعدد اللغات على النص الشعري يتفوق بشكل كبير على النص المتعدد اللغوي على النص غير الشعري الذي هو 35X أكبر في الحجم، كلاهما من حيث المقاييس التلقائية (BLEU، Bertscore، المذنب) ومقاييس التقييم البشري مثل الإخلاص ( معنى والأناقة الشعرية). علاوة على ذلك، فإن ضبط التردد متعدد اللغات على البيانات الشعرية تتفوق على ضبط ثنائي اللغة على البيانات الشعرية.
لقد أظهر العمل السابق أن أنظمة التسجيل الآلي للمقالات، ولا سيما أنظمة التعلم في الجهاز، ليست قادرة على تقييم جودة المقالات، ولكنها تعتمد على طول المقال، وهو عامل غير ذي صلة لكتابة الكفاءة.في هذا العمل، نوضح أولا أن الأنظمة الحديثة، أنظمة التسجيل العص
بي العصبي الحديثة، قد تتأثر أيضا بالارتباط بين طول المقال وعشرات في مجموعة بيانات قياسية.في تقييمنا، يظهر نموذج عصبي بسيط للغاية الأداء الحديث في مجموعة البيانات القياسية.للنظر في محتوى المقالات دون تناول طول المقالات في الاعتبار، نقدم نموذج عصبي بسيط تقييم تشابه المحتوى بين مقال الإدخال والمقالات تعيين درجات مختلفة.يحقق هذا النموذج العصبي أداء مماثل لدولة الفن على مجموعة بيانات قياسية وكذلك في مجموعة بيانات ثانية.تشير النتائج التي توصلنا إليها إلى أن أنظمة تسجيل المقالات العصبية يجب أن تنظر في خصائص مجموعات البيانات للتركيز على جودة النص.
تصف هذه الورقة أنظمة الترجمة الآلية العصبية MiningLamp لمهام الترجمة الأخبار WMT2021.لقد شاركنا في ثمانية اتجاهات مهام ترجمة لنص الأخبار بما في ذلك الصينية من / الإنجليزية، الهوسا من / إلى الإنجليزية، الألمانية من / إلى / اللغة الإنجليزية والفرنسية م
ن / إلى الألمانية.استند نظامنا الأساسي إلى بنية المحولات، مع بناء أوسع أو أصغر لمهام ترجمة أخبار مختلفة.استخدمنا بشكل رئيسي طريقة الترجمة الخلفي، وقراءة المعرفة والضبط بشكل جيد لتعزيز نموذج واحد، في حين تم استخدام الفرقة للجمع بين النماذج الفردية.احتل تقديمنا النهائي الأول لأول مرة في مهمة Hausa.
البحث عن وثائق قانونية هي مهمة متخصصة لاسترجاع المعلومات ذات الصلة لمستخدمي الخبراء (المحامين ومساعدتهم) وللمستخدمين غير الخبراء. من خلال البحث في قرارات المحكمة السابقة (الحالات)، يمكن للمستخدم إعداد التفكير القانوني بشكل أفضل من حالة جديدة. القدرة
على البحث باستخدام تقطيع نص لغة طبيعية بدلا من استعلام مزيد من الاستعلام الاصطناعي قد يساعد في منع مشكلات صياغة الاستعلام. أيضا، إذا كان التشابه الدلالي قد يكون على غرار المطابقات المعجمية الدقيقة، فيمكن العثور على نتائج أكثر صلة حتى لو كانت شروط الاستعلام لا تتطابق تماما. بالنسبة لهذا المجال، صاغنا مهمة لمقارنة الطرق المختلفة لنمذجة التشابه الدلالي على مستوى الفقرة، باستخدام النظم العصبية وغير العصبية. قارنا أنظمة تشفير الاستعلام وفقرات مجموعة البحث كمنتجات، مما يتيح استخدام تشابه التجميل لتحقيق تصنيف النتائج. بعد بناء مجموعة بيانات ألمانية للحالات والنظام الأساسي من سويسرا، واستخراج الاستشهادات من الحالات إلى النظام الأساسي، قمنا بتطوير خوارزمية لتقدير التشابه الدلالي على مستوى الفقرة، باستخدام طريقة التشابه القائمة على الرابط. عند تقييم الأنظمة المختلفة بهذه الطريقة، نجد أن النمذجة الدلالية التشابه بواسطة النظم العصبية يمكن أن يتم تعزيز قناع اهتمام ممتد يروي الضوضاء في المدخلات.
نماذج الموضوعات العصبية (NTMS) تطبيق الشبكات العصبية العميقة إلى نمذجة الموضوعات. على الرغم من نجاحها، تجاهل NTMS عموما جائبا مهمين: (1) فقط يتم استخدام معلومات عدد الكلمات على مستوى المستند للتدريب، في حين يتم تجاهل المزيد من المعلومات ذات المستوى ا
لجميل على مستوى الجملة، و (2) المعرفة الدلالية الخارجية فيما يتعلق بالوثائق، الجمل والكلمات لم يتم استغلالها للتدريب. لمعالجة هذه المشكلات، نقترح نموذج NTM (VAE) AutoNCoder (VAE) بشكل مشترك إعادة بناء الجملة وكلمة الوثيقة التي تهمها مجموعات من المبيعات الموضعية في كيس الكلمات (القوس) و EMBEDDINGS الدلالي المدرب مسبقا. يتم تحويل المدينات المدربة مسبقا لأول مرة إلى مساحة موضة كامنة مشتركة لمواءمة دلالاتها مع تضمين القوس. يتميز نموذجنا أيضا باختلاف KL هرمي للاستفادة من تضمينات كل وثيقة لتوسيع نطاق جملهم، مما يدفع المزيد من الاهتمام للجمل ذات الصلة الدولى. أظهرت كل من التجارب الكمية والنوعية فعالية نموذجنا في 1) خفض أخطاء إعادة الإعمار على كل من المستويات الجملة والوثائق، و 2) اكتشاف موضوعات أكثر تماسكا من مجموعات بيانات العالم الحقيقي.
نقدم طريقتان رواية غير منشأة لإزالة السمية في النص.تجمع أهميتنا الأولى بين الأفكار الحديثة: (1) إرشادات عملية التوليد مع نماذج اللغة الشرطية النمطية الصغيرة و (2) استخدام نماذج إعادة الصياغة لأداء نقل النمط.نحن نستخدم أداء أداء جيدا تسترشد نماذج لغة
مدربة على الطراز للحفاظ على محتوى النص وإزالة السمية.تستخدم الطريقة الثانية لدينا بيرت لاستبدال الكلمات السامة مع مرادفاتها غير الهجومية.نحن نجعل الطريقة أكثر مرونة من خلال تمكين بيرت لتحل محل الرموز القناع مع عدد متغير من الكلمات.أخيرا، نقدم أول دراسة مقارنة واسعة النطاق لنماذج نقل النمط في مهمة إزالة السمية.نقارن نماذجنا بعدد من الطرق لنقل النمط.يتم تقييم النماذج بطريقة خالية من المرجع باستخدام مزيج من مقاييس نقل النمط غير المدقق.كلتا الطريقتين نقترح أن تسفر عن نتائج سوتا الجديدة.
