تظهر هذه الورقة أن عصير التفاح، مقياس التقييم التقليدي لوصف الصورة، لا يعمل بشكل صحيح على مجموعات البيانات حيث يكون عدد الكلمات في الجملة أكبر بكثير من تلك الموجودة في مجموعة بيانات التسميات التوضيحية MS COCO.نظهر أيضا أن CIDER-D لديه أداء يعوقه عدم
وجود جمل مرجعية متعددة والتباين العالي لطول الجملة.لتجاوز هذه المشكلة، نقدم Cider-R، الذي يحسن CIDER-D، مما يجعله أكثر مرونة في التعامل مع مجموعات البيانات ذات تباين طول الجملة.نوضح أن عصير التفاح هو أكثر دقة وأقرب من الحكم الإنساني من عصير التفاح.Cider-R هو أكثر قوة فيما يتعلق بعدد المراجع المتاحة.تكشف نتائجنا أن استخدام تدريب التسلسل الحرج الذاتي لتحسين عصير التفاح - يولد تعليقا وصفيا.في المقابل، عند تحسين CIDER-D، يميل طول التسميات التوضيحية التي تم إنشاؤها إلى أن تكون مشابهة للطول المرجعي.ومع ذلك، تكرر النماذج أيضا عدة مرات نفس الكلمة لزيادة طول الجملة.
في حين أن التعرف التلقائي على الكلام قد أظهر عرضة لهجمات الخصومة، فإن الدفاعات ضد هذه الهجمات لا تزال متأخرة.يمكن كسر الدفاعات الحالية والساذجة جزئيا مع هجوم على التكيف.في مهام التصنيف، تبين أن نموذج التجانس العشوائي فعال في النماذج الدفاعية.ومع ذلك،
من الصعب تطبيق هذه النموذج لمهام ASR، بسبب تعقيدها والطبيعة المتسلسلة لمخرجاتها.تتغلب الورق لدينا على بعض هذه التحديات من خلال الاستفادة من الأدوات الخاصة بالكلام مثل التحسين والتصويت Rover لتصميم نموذج ASR قوي للقلق.نحن نطبق الإصدارات التكيفية من الهجمات الحديثة، مثل هجوم ASR غير المحدد، ونموذجنا، وإظهار أن أقوى دفاعنا هو قوي لجميع الهجمات التي تستخدم الضوضاء غير المسموعة، ولا يمكن كسرها إلا مع تشويه كبير للغايةوبعد
تحتوي نماذج الترجمة الآلية على مفردات منفصلة واستخدام تقنيات تجزئة الكلمات الفرعية لتحقيق المفردات المفتوحة.يعتمد هذا النهج على تسلسل Unicode متسق وصحيح، ويجعل النماذج عرضة للتدهور من الأنواع المشتركة من الضوضاء والاختلاف.بدافع من متانة معالجة اللغات
البشرية، نقترح استخدام تمثيلات نصية بصرية، والذي يتم الاستغناء عن مجموعة محدودة من Adgeddings النصية لصالح المفردات المستمرة التي تم إنشاؤها عن طريق معالجة النص المنصوص عليه بصريا مع Windows Sliding Windows.نظهر أن النماذج باستخدام نهج تمثيلات النص المرئي أو مطابقة أداء النماذج النصية التقليدية على مجموعات البيانات الصغيرة والأكبر.الأهم من ذلك، الأهم من ذلك، توضح النماذج ذات المدينات البصرية متانة كبيرة لأنواع الضوضاء المتنوعة، وتحقيق على سبيل المثال، 25.9 بلو على شخصية مسموعة باللغة الألمانية - المهمة الإنجليزية حيث تتحلل نماذج الكلمات الفرعية إلى 1.9.
حققت نماذج اللغة المدربة مسبقا (PTLMS) أداء مثير للإعجاب في معايير استنتاج المنطقية، لكن قدرتها على استخدام المناولة لإستنساخ قوي، وهو أمر ضروري للاتصالات الفعالة مع البشر،. في السعي لتحقيق الاتصالات السائل للاتصالات الإنسانية، نقترح تحديا جديدا، ريك
ا: الاستدلال القوي باستخدام بديهيات المنطقية، التي تقيم الاستدلال القوي المنزلي على الرغم من الاضطرابات النصية. لتوليد بيانات لهذا التحدي، نقوم بتطوير إجراءات منهجية وقابلة للتطوير باستخدام قواعد المعرفة المنطقية والتحقيق PTLMS عبر إعدادين تقييمين مختلفين. تبين تجارب واسعة النطاق على مجموعات التحقيق التي تم إنشاؤها مع أكثر من 10K عبارات أن ptlms لا تؤدي أفضل من التخمين العشوائي على إعداد اللقطة الصفرية، وتتأثر بشدة بالتحيزات الإحصائية، وهي ليست قوية لهجمات الاضطراب. نجد أيضا أن الضبط الدقيق حول تصريحات مماثلة تقدم مكاسب محدودة، حيث لا تزال PTLMS تفشل في تعميم الاستدلالات غير المرئية. يعرض مؤشرنا الجديد واسع النطاق فجوة كبيرة بين PTLMS وفهم لغة الإنسان ويقدم تحديا جديدا ل PTLMS لإظهار العمولة.
تعلم الترجمة الآلية العصبية متعددة اللغات (MNMT) ترجمة أزواج متعددة اللغات بنموذج واحد، يحتمل أن يحسن كل من الدقة وكفاءة الذاكرة للنماذج المنتشرة. ومع ذلك، فإن عدم اختلال البيانات الثقيلة بين اللغات يعوق النموذج من الأداء بشكل موحد عبر أزواج اللغة. ف
ي هذه الورقة، نقترح هدفا تعليميا جديدا ل MNMT بناء على التحسين القوي التويضي، مما يقلل من الخسارة المتوقعة الأسوأ في مجموعة أزواج اللغة. نوضح كذلك كيفية تحسين هذا الهدف من الناحية العملية للترجمة الكبيرة باستخدام مخطط أفضل استجابة مزخرف، وهو فعاليتان فعالة وتتحمل تكلفة حسابية إضافية ضئيلة مقارنة بقليل المخاطر التجريبية القياسية. نقوم بإجراء تجارب مكثفة على ثلاث مجموعات من اللغات من مجموعة بيانات وتظهر أن طريقتنا تتفوق باستمرار على أساليب خطية قوية من حيث المتوسط والأداء لكل لغة تحت كلا من إعدادات الترجمة متعددة إلى واحدة وواحدة متعددة.
بايت زوج ترميز (BPE) هي خوارزمية في كل مكان في عملية تكييف الكلمات الفرعية لنماذج اللغة لأنها توفر فوائد متعددة. ومع ذلك، فإن هذه العملية تستند فقط إلى إحصاءات بيانات ما قبل التدريب، مما يجعل من الصعب على الممتلزمية أن تتعامل مع هجاء نادرة. من ناحية
أخرى، على الرغم من أن طراز أخطاء إملائي، إلا أن نماذج على مستوى الطابع النقي غالبا ما تؤدي إلى تسلسل طويل غير معقول وجعل الأمر أكثر صعوبة في تعلم النموذج كلمات ذات معنى. لتخفيف هذه التحديات، نقترح وحدة الكلمات الفرعية القائمة على الطابع (Char2Subword) التي تتعلم جدول تضمين الكلمات الفرعية في النماذج المدربة مسبقا مثل Bert. تقوم وحدة char2subword الخاصة بنا بإنشاء تمثيلات من الشخصيات من المفردات الفرعية، ويمكن استخدامها كإستبدال قطرة من جدول تضمين الكلمات الفرعية. الوحدة النمطية قوية لتعديلات مستوى الأحرف مثل أخطاء إملائي، انعطاف Word، غلاف، علامات الترقيم. نحن ندمجها أكثر مع بيرت من خلال التدريب المسبق مع الحفاظ على معلمات محول بيرت الثابتة - وبالتالي توفير طريقة عملية. أخيرا، نوضح أن دمج الوحدة النمطية الخاصة بنا إلى mbert يحسن بشكل كبير الأداء في معيار التقرير اللغوي لوسائل الإعلام الاجتماعية (LINCE).
يمكن أن تفحص نماذج استخراج أحداث المخدرات السلبية (ADE) بسرعة مجموعات كبيرة من نصوص وسائل التواصل الاجتماعي، والكشف عن ذكرات التفاعلات السلبية ذات الصلة بالمخدرات وتحريك التحقيقات الطبية.ومع ذلك، على الرغم من التقدم الأخير في NLP، فإنه غير معروف حالي
ا إذا كانت هذه النماذج قوية في مواجهة النفي، والتي تنتشر عبر أصناف اللغة.في هذه الورقة، نقيم ثلاث أنظمة ثلاثية، تظهر هشاشةها ضد النفي، ثم نقدم استراتيجيتين ممكنين لزيادة متانة هذه النماذج: نهج خط أنابيب، بالاعتماد على مكون محدد للكشف عن النفي؛تكبير بيانات استخراج ADE لإنشاء عينات نفي بشكل مصطنع وتدريب النماذج الأخرى.نظهر أن كلا الاستراتيجيتين تجلب الزيادات الكبيرة في الأداء، مما أدى إلى خفض عدد الكيانات الزائفة المتوقعة من النماذج.سيتم إصدار بيانات DataSet و Code علنا لتشجيع البحث على الموضوع.
النمذجة المتنقلة المتسلسلة قوية هي مهمة أساسية في العالم الحقيقي حيث تكون المدخلات صاخبة في كثير من الأحيان. تحتوي المدخلات التي تم إنشاؤها عن المستخدمين والآلة على أنواع مختلفة من الضوضاء في شكل أخطاء إملائية، والأخطاء النحوية، وأخطاء التعرف على الأ
حرف، والتي تؤثر على مهام المصب وتأثر على الترجمة الشفوية للنصوص. في هذا العمل، نرتند بنية جديدة للتسلسل إلى التسلسل للكشف عن وتصحيح مختلف العالم الحقيقي والضوضاء الاصطناعية (هجمات الخصومة) من النصوص الإنجليزية. نحو ذلك اقترحنا بنية فك التشفير المعدلة التي تعتمد على المحولات التي تستخدم آلية Gating للكشف عن أنواع التصحيحات المطلوبة وبناء على تصحيح النصوص. تظهر النتائج التجريبية أن الهندسة المعمارية المصورة لدينا مع نماذج لغوية مدربة مسبقا تؤدي بشكل أفضل بشكل كبير إلى أن النظيرات غير الدائرين ونماذج تصحيح الأخطاء الأخرى غير المدرجة في تصحيح الأخطاء الإملائية والحدائية. التقييم الخارجي لنموذجنا على الترجمة الآلية (MT) ومهام التلخيص تظهر الأداء التنافسي للنموذج مقابل نماذج تسلسل تسلسل أخرى أخرى تحت المدخلات الصاخبة.
مساعد شخصي ذكي (IPAS) مثل Amazon Alexa و Assistant Google وسيري سيري يمدد قدراتهم المدمجة من خلال دعم التطبيقات الصوتية التي طورها مطورو الطرف الثالث. في بعض الأحيان يكون المساعد الذكي غير قادر على الاستجابة بنجاح لأوامر صوت المستخدم (ويعرف أيضا باسم
الكلام). هناك العديد من الأسباب بما في ذلك خطأ التعرف على الكلام التلقائي (ASR)، وفهم اللغة الطبيعية (NLU)، وتوجيه الكلام إلى تطبيق صوت غير ذي صحي أو ببساطة أن المستخدم يطلب إمكانية غير مدعومة بعد. يؤدي الفشل في التعامل مع أمر صوتي إلى إحباط العملاء. في هذه الورقة، نقدم نظام توصية مهارة الاحتياطية لاقتراح تطبيق صوتي إلى عميل أمر صوتي غير معالج. واحدة من التحديات البارزة في تطوير نظام موصوف المهارات ل IPAS هو ملاحظة جزئية. لحل مشكلة الملاحظة الجزئية، نقترح طريقة إعادة انتكاسات البيانات التعاونية (CDR). بالإضافة إلى ذلك، يحسن CDR أيضا تنوع المهارات الموصى بها. نقيم الطريقة المقترحة على حد سواء دون اتصال وعلى الإنترنت. تظهر نتائج التقييم غير المتصلة بالإنترنت أن النظام المقترح يتفوق على الأساس. تظهر نتائج اختبار Online A / B زيادة كبيرة من مقاييس تجربة العملاء.
أظهرت نماذج اختيار الاستجابة متعددة الدوران مؤخرا أداء مماثل للبشر في العديد من البيانات القياسية.ومع ذلك، في البيئة الحقيقية، غالبا ما تحتوي هذه النماذج على نقاط ضعف، مثل اتباع تنبؤات غير صحيحة تستند بشكل كبير على الأنماط السطحية دون فهم شامل للسياق
.على سبيل المثال، غالبا ما تعطي هذه النماذج درجات عالية مرشحة للاستجابة الخاطئة التي تحتوي على العديد من الكلمات الرئيسية المتعلقة بالسياق ولكن باستخدام المضارع غير المتناقص.في هذه الدراسة، نقوم بتحليل نقاط الضعف في نماذج اختيار استجابة الاستجابة الكورية من هذا المجال ونشر مجموعة بيانات الخصومة لتقييم هذه نقاط الضعف.نقترح أيضا استراتيجية لبناء نموذج قوي في هذه البيئة الخصومة.
