في حين أن التعرف التلقائي على الكلام قد أظهر عرضة لهجمات الخصومة، فإن الدفاعات ضد هذه الهجمات لا تزال متأخرة.يمكن كسر الدفاعات الحالية والساذجة جزئيا مع هجوم على التكيف.في مهام التصنيف، تبين أن نموذج التجانس العشوائي فعال في النماذج الدفاعية.ومع ذلك،
من الصعب تطبيق هذه النموذج لمهام ASR، بسبب تعقيدها والطبيعة المتسلسلة لمخرجاتها.تتغلب الورق لدينا على بعض هذه التحديات من خلال الاستفادة من الأدوات الخاصة بالكلام مثل التحسين والتصويت Rover لتصميم نموذج ASR قوي للقلق.نحن نطبق الإصدارات التكيفية من الهجمات الحديثة، مثل هجوم ASR غير المحدد، ونموذجنا، وإظهار أن أقوى دفاعنا هو قوي لجميع الهجمات التي تستخدم الضوضاء غير المسموعة، ولا يمكن كسرها إلا مع تشويه كبير للغايةوبعد
يمكن أن تفحص نماذج استخراج أحداث المخدرات السلبية (ADE) بسرعة مجموعات كبيرة من نصوص وسائل التواصل الاجتماعي، والكشف عن ذكرات التفاعلات السلبية ذات الصلة بالمخدرات وتحريك التحقيقات الطبية.ومع ذلك، على الرغم من التقدم الأخير في NLP، فإنه غير معروف حالي
ا إذا كانت هذه النماذج قوية في مواجهة النفي، والتي تنتشر عبر أصناف اللغة.في هذه الورقة، نقيم ثلاث أنظمة ثلاثية، تظهر هشاشةها ضد النفي، ثم نقدم استراتيجيتين ممكنين لزيادة متانة هذه النماذج: نهج خط أنابيب، بالاعتماد على مكون محدد للكشف عن النفي؛تكبير بيانات استخراج ADE لإنشاء عينات نفي بشكل مصطنع وتدريب النماذج الأخرى.نظهر أن كلا الاستراتيجيتين تجلب الزيادات الكبيرة في الأداء، مما أدى إلى خفض عدد الكيانات الزائفة المتوقعة من النماذج.سيتم إصدار بيانات DataSet و Code علنا لتشجيع البحث على الموضوع.
النمذجة المتنقلة المتسلسلة قوية هي مهمة أساسية في العالم الحقيقي حيث تكون المدخلات صاخبة في كثير من الأحيان. تحتوي المدخلات التي تم إنشاؤها عن المستخدمين والآلة على أنواع مختلفة من الضوضاء في شكل أخطاء إملائية، والأخطاء النحوية، وأخطاء التعرف على الأ
حرف، والتي تؤثر على مهام المصب وتأثر على الترجمة الشفوية للنصوص. في هذا العمل، نرتند بنية جديدة للتسلسل إلى التسلسل للكشف عن وتصحيح مختلف العالم الحقيقي والضوضاء الاصطناعية (هجمات الخصومة) من النصوص الإنجليزية. نحو ذلك اقترحنا بنية فك التشفير المعدلة التي تعتمد على المحولات التي تستخدم آلية Gating للكشف عن أنواع التصحيحات المطلوبة وبناء على تصحيح النصوص. تظهر النتائج التجريبية أن الهندسة المعمارية المصورة لدينا مع نماذج لغوية مدربة مسبقا تؤدي بشكل أفضل بشكل كبير إلى أن النظيرات غير الدائرين ونماذج تصحيح الأخطاء الأخرى غير المدرجة في تصحيح الأخطاء الإملائية والحدائية. التقييم الخارجي لنموذجنا على الترجمة الآلية (MT) ومهام التلخيص تظهر الأداء التنافسي للنموذج مقابل نماذج تسلسل تسلسل أخرى أخرى تحت المدخلات الصاخبة.
أظهرت نماذج اختيار الاستجابة متعددة الدوران مؤخرا أداء مماثل للبشر في العديد من البيانات القياسية.ومع ذلك، في البيئة الحقيقية، غالبا ما تحتوي هذه النماذج على نقاط ضعف، مثل اتباع تنبؤات غير صحيحة تستند بشكل كبير على الأنماط السطحية دون فهم شامل للسياق
.على سبيل المثال، غالبا ما تعطي هذه النماذج درجات عالية مرشحة للاستجابة الخاطئة التي تحتوي على العديد من الكلمات الرئيسية المتعلقة بالسياق ولكن باستخدام المضارع غير المتناقص.في هذه الدراسة، نقوم بتحليل نقاط الضعف في نماذج اختيار استجابة الاستجابة الكورية من هذا المجال ونشر مجموعة بيانات الخصومة لتقييم هذه نقاط الضعف.نقترح أيضا استراتيجية لبناء نموذج قوي في هذه البيئة الخصومة.
في السنوات الأخيرة، اكتسبت الترجمة التلقائية للكلام في الكلام والكلام إلى النص زخما بفضل التقدم في الذكاء الاصطناعي، وخاصة في مجالات التعرف على الكلام والترجمة الآلية. يتم اختبار جودة هذه التطبيقات بشكل شائع مع المقاييس التلقائية، مثل بلو، في المقام
الأول بهدف تقييم التحسينات في الإصدارات أو في سياق حملات التقييم. ومع ذلك، يعرف القليل عن كيفية إدراك إخراج هذه الأنظمة من قبل المستخدمين النهائيين أو كيف تقارن بين العروض البشرية في مهام تواصل مماثلة. في هذه الورقة، نقدم نتائج تجربة تهدف إلى تقييم جودة محرك ترجمة الكلام في الوقت الفعلي من خلال مقارنته بأداء المترجمين الفوريين المهنيين المهنيين. للقيام بذلك، نعتمد إطارا تم تطويره لتقييم المترجمين الفوريين البشري واستخدامه لإجراء تقييم يدوي على كل من العروض البشرية والآلة. في عيناتنا، وجدنا أداء أفضل للمترجمين الفوريين البشري من حيث الوضوح، في حين أن الجهاز ينفذ بشكل أفضل قليلا من حيث المعلوماتية. وتناقش قيود الدراسة والتحسينات المحتملة للإطار المختار. على الرغم من قيودها الجوهرية، فإن استخدام هذا الإطار يمثل خطوة أولى نحو منهجية ذات سن المراهقة على المستخدمين ومنهجية موجهة نحو الاتصال لتقييم ترجمة الكلام التلقائي في الوقت الفعلي.
تقوم أنظمة الترجمة التقليدية المدربين على وثائق مكتوبة بشكل جيد للترجمة المستندة إلى النصوص ولكن ليس كذلك للتطبيقات المستندة إلى الكلام.نحن نهدف إلى تكييف نماذج الترجمة إلى الكلام عن طريق إدخال أخطاء معجمية حقيقية من أخطاء ASR والتجزئة من علامات التر
قيم التلقائية في بيانات تدريب الترجمة الخاصة بنا.نقدم نهج إسقاط مقلوب تم اكتشافه تلقائيا شرائح النظام تلقائيا على النصوص البشرية ومن ثم إعادة الشرائح ترجمة الذهب إلى محاذاة النصوص الإنسانية المتوقعة.نوضح أن هذا يتغلب على عدم تطابق اختبار القطار الموجود في نهج التدريب الأخرى.يحقق نهج الإسقاط الجديد مكاسب أكثر من 1 نقطة بلو على خط أساس يتعرض للنصوص البشرية والجزء، وهذه المكاسب تعقد لكلا بيانات IWSLT وبيانات YouTube.
تحقق نماذج الرد على الأسئلة النصية الحالية (QA) أداء قوي على مجموعات اختبار داخل المجال، ولكن في كثير من الأحيان القيام بذلك عن طريق تركيب أنماط المستوى السطحي، لذلك فشلوا في التعميم لإعدادات خارج التوزيع. لجعل نظام ضمان الجودة أكثر قوة ومفهومة، نقوم
بالنماذج النموذجية في الإجابة كمشكلة محاذاة. نحن نحلل كل من السؤال والسياق إلى وحدات أصغر بناء على التمثيلات الدلالية خارج الرف (هنا، الأدوار الدلالية)، ومحاذاة السؤال إلى مجموعة فرعية من السياق من أجل العثور على الجواب. نقوم بصياغة نموذجنا كإدارة منظمة تنظم، مع درجات المحاذاة المحسوبة عبر Bert، ويمكننا تدريب نهاية إلى نهاية على الرغم من استخدام شعاع البحث عن الاستدلال التقريبي. يتيح لنا استخدامنا للتويات الصريحة استكشاف مجموعة من القيود التي يمكننا حظرها أنواع معينة من السلوك النموذجي السيئ الناشئ في إعدادات المجال عبر. علاوة على ذلك، من خلال التحقيق في الاختلافات في الدرجات عبر الإجابات المحتملة المختلفة، يمكننا أن نسعى لفهم جوانب معينة من المدخلات التي تقدم النموذج لاختيار الإجابة دون الاعتماد على تقنيات تفسير ما بعد المخصص. نحن ندرب نموذجنا على فرقة V1.1 واختبرها على العديد من مجموعات بيانات الخصومة والخروج. تشير النتائج إلى أن طرازنا أكثر قوة من طراز Bert QA القياسي، والقيود المستمدة من درجات المحاذاة تسمح لنا بالتنازل بفعالية من التغطية والدقة بشكل فعال.
