تم إثبات مهام معالجة اللغة الطبيعية (NLP)، بدءا من تصنيف النص إلى جيل النص، من خلال نماذج اللغة المحددة مسبقا، مثل بيرت. هذا يسمح للشركات بإنشاء برامج برت أقوى بسهولة عن طريق تثبيت نماذج Berted Brounded لمهام المصب. ومع ذلك، عندما يتم نشر نموذج Berte
d Berted كخدمة، فقد يعاني من هجمات مختلفة تم إطلاقها من قبل المستخدمين الضارين. في هذا العمل، نقدم أولا كيف يمكن أن يسرق الخصم خدمة API القائمة على BERT (النموذج الضحية / الهدف) على مجموعات بيانات معطرة متعددة ذات معرفة مسبقة محدودة واستفسارات. نوضح كذلك أن النموذج المستخرج يمكن أن يؤدي إلى هجمات خصومة قابلة للتحويل شديدة ضد نموذج الضحية. تشير دراساتنا إلى أن نقاط الضعف المحتملة لخدمات API القائمة على بيرت لا تزال تعقد، حتى عندما يكون هناك عدم تطابق معماري بين نموذج الضحية ونموذج الهجوم. أخيرا، نبحث في استراتيجيات دفاعتين لحماية نموذج الضحية، وإيجاد أنه ما لم يتم التضحية بأداء نموذج الضحايا، فإن كلا من استخراج النماذج والانتفاخ الخصوم يمكن أن تساوم على نحو فعال النماذج المستهدفة.
تهدف آلية الخروج المبكر إلى تسريع سرعة الاستدلال من نماذج اللغة المدربة مسبقا على نطاق واسع. الفكرة الأساسية هي الخروج مبكرا دون المرور من خلال كل طبقات الاستدلال في مرحلة الاستدلال. لإجراء تنبؤات دقيقة لمهام المصب، ينبغي النظر في المعلومات اللغوية ا
لهرمية المدمجة في جميع الطبقات بشكل مشترك. ومع ذلك، فقد تقتصر الكثير من الأبحاث الآن على استخدام التمثيلات المحلية لطبقة الخروج. هذا العلاج يفقد حتما معلومات عن الطبقات السابقة غير المستخدمة وكذلك الميزات الرفيعة المستوى المضمنة في الطبقات المستقبلية، مما يؤدي إلى الأداء دون الأمثل. لمعالجة هذه المشكلة، نقترح طريقة مستقبلية جديدة جديدة لإجراء تنبؤات شاملة من منظور عالمي. نأخذ أولا في الاعتبار جميع المعلومات اللغوية المضمنة في الطبقات السابقة، ثم اتخذ خطوة أخرى لإشراك المعلومات المستقبلية التي لا يمكن الوصول إليها في الأصل للتنبؤات. توضح تجارب واسعة أن أسلوبنا تتفوق على أساليب الخروج المبكر السابقة من هامش كبير، مما يؤدي إلى أداء أفضل وقوي.
