ترغب بنشر مسار تعليمي؟ اضغط هنا

هجوم إعادة الإعمار على سبيل المثال ترميز لفهم اللغة

Reconstruction Attack on Instance Encoding for Language Understanding

346   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

اقترح مخطط التعلم الخاص Texthide مؤخرا لحماية البيانات النصية الخاصة أثناء مرحلة التدريب عبر ترميز المثيل المزعوم.نقترح هجوم إعادة الإعمار الجديد لكسر Texthide من خلال استعادة بيانات التدريب الخاص، وبالتالي تكشف النقاب عن مخاطر الخصوصية على ترميز المثيل.لقد صادقنا تجريبيا فعالية هجوم إعادة الإعمار مع مجموعات بيانات شائعة الاستخدام لتصنيف الجملة.إن هجومنا ستقدم تطوير التعلم في الحفاظ على الخصوصية في سياق معالجة اللغة الطبيعية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

من أجل تخفيف الطلب الكبير على مجموعات البيانات المشروح للمهام المختلفة، اعتمدت العديد من مجموعات بيانات معالجة اللغات الطبيعية الحديثة خطوط أنابيب آلية للبيانات القابلة للاستخدام السريع. ومع ذلك، فإن التدريب النموذجي مع مثل هذه البيانات يشكل تحديا لأ ن أهداف التحسين الشائعة ليست قوية لتسمية الضوضاء الناجمة عن عملية توليد التوضيحية. تم اقتراح العديد من الخسائر القوية للضوضاء وتقييمها في المهام في رؤية الكمبيوتر، لكنها تستخدم عموما فرط DataSet-WiseParamter واحد للتحكم في قوة مقاومة الضوضاء. يقترح هذا العمل أطر تدريبية جديدة على سبيل المثال لتغيير فرط بيانات DataSet واحد من مقاومة الضوضاء في مثل هذه الخسائر لتكون مثالا. توقع هؤلاء مثيل - Hyperparameters مقاومة للضوضاء من خلال تنبؤات ذات جودة عالية على مستوى التصنيف، والتي يتم تدريبها مع نماذج التصنيف الرئيسية. تظهر تجارب مجموعات بيانات NLP الصاخبة والفساد أن أطر التدريب على سبيل المثال المقترحة على سبيل المثال تساعد في زيادة متانة الضوضاء التي توفرها هذه الخسائر، وتعزيز استخدام الأطر والأطر الخسائر المرتبطة بها في نماذج NLP المدربة مع بيانات صاخبة.
الملخص نقدم إطارا جديدا للملقة، دلالات الحدث العصبي (NES)، لفهم اللغة التركيبية التركيبية.يعامل نهجنا جميع الكلمات كصفوفات مصنوعة من التصنيف لتشكيل عقوبة ذات معنى بضرب درجات الإخراج.تنطبق هذه المصنفات على المناطق المكانية (الأحداث) ويمشر NES هيكلها ا لدلالي من اللغة عن طريق توجيه الأحداث إلى مدخلات حجة مصنف مختلفة عن طريق الاهتمام الناعم.NES هي نهاية قابلة للتدريب من خلال نزول التدرج مع الحد الأدنى من الإشراف.نقيم طريقةنا على مهام اللغة التركيبية المتراكمة في إعدادات الاصطناعية والواقعية التي تسيطر عليها.توفر NES إمكانية تعميم أقوى من الأطر التركيبية القياسية القائمة على الوظائف، مع تحسين الدقة على الأساليب العصبية الحديثة في مهام اللغة العالمية الحقيقية.
نقدم خوارزمية تدريبية مستهدفة بسيطة ولكنها فعالة (TAT) لتحسين التدريب الخصم لفهم اللغة الطبيعية.الفكرة الرئيسية هي أن تخطئ الأخطاء الحالية وتحديد أولويات التدريب على الخطوات إلى حيث يخطئ النموذج أكثر.تظهر التجارب أن TAT يمكن أن تحسن بشكل كبير الدقة ع لى التدريب الخصم القياسي على الغراء وتحقيق نتائج جديدة من أحدث النتائج في XNLI.سيتم إصدار شفرة لدينا عند قبول الورقة.
مكنت التقدم في تمثيل اللغة الإنجليزية مهمة أكثر كفاءة عينة من خلال التعلم بكفاءة ترميز يصنف بدائل الرمز المميز بدقة (Electra).أي، بدلا من تدريب نموذج لاستعادة الرموز الممثيلين، يقوم بتدريب نموذج تمييزي على التمييز بين الرموز الإدخال الحقيقية من الرمو ز التالفة التي تم استبدالها بشبكة مولدات.من ناحية أخرى، فإن نهج تمثيل اللغة باللغة العربية الحالية تعتمد فقط على الاحتجاج عن طريق نمذجة اللغة الملثم.في هذه الورقة، نقوم بتطوير نموذج تمثيل اللغة باللغة العربية، والتي نستها ARAELECTRA.يتم الاحترام من النموذج الخاص بنا باستخدام هدف الكشف عن الرمز المميز في النص العربي الكبير.نقوم بتقييم نموذجنا على مهام NLP العربية المتعددة، بما في ذلك فهم القراءة وتحليل المعرفات والاعتراف باسم الكيان المسمى ونعرض أن ARAELECTRA تتفوق على نماذج تمثيل اللغة العربية الحديثة الحالية، بالنظر إلى نفس البيانات المحددةحجم نموذج أصغر.
يتم استخدام تقطير المعرفة (KD) على نطاق واسع لضغط ونشر نماذج لغة كبيرة مدربة مسبقا على أجهزة EDGE لتطبيقات العالم الحقيقي.ومع ذلك، فإن مساحة البحث واحدة مهملة هي تأثير الملصقات الصاخبة (التالفة) على KD.نقدم، إلى حد علمنا، أول دراسة حول الملكية الدماغ ية مع ملصقات صاخبة في فهم اللغة الطبيعية (NLU).نحن توثق نطاق المشكلة وتقديم طريقتين لتخفيف تأثير ضوضاء التسمية.تشير التجارب على مرجع الغراء إلى أن أساليبنا فعالة حتى تحت مستويات ضوضاء عالية.ومع ذلك، تشير نتائجنا إلى أن المزيد من البحث ضروري للتعامل مع ضجيج الملصقات تحت KD.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا