تم إثبات مهام معالجة اللغة الطبيعية (NLP)، بدءا من تصنيف النص إلى جيل النص، من خلال نماذج اللغة المحددة مسبقا، مثل بيرت. هذا يسمح للشركات بإنشاء برامج برت أقوى بسهولة عن طريق تثبيت نماذج Berted Brounded لمهام المصب. ومع ذلك، عندما يتم نشر نموذج Berted Berted كخدمة، فقد يعاني من هجمات مختلفة تم إطلاقها من قبل المستخدمين الضارين. في هذا العمل، نقدم أولا كيف يمكن أن يسرق الخصم خدمة API القائمة على BERT (النموذج الضحية / الهدف) على مجموعات بيانات معطرة متعددة ذات معرفة مسبقة محدودة واستفسارات. نوضح كذلك أن النموذج المستخرج يمكن أن يؤدي إلى هجمات خصومة قابلة للتحويل شديدة ضد نموذج الضحية. تشير دراساتنا إلى أن نقاط الضعف المحتملة لخدمات API القائمة على بيرت لا تزال تعقد، حتى عندما يكون هناك عدم تطابق معماري بين نموذج الضحية ونموذج الهجوم. أخيرا، نبحث في استراتيجيات دفاعتين لحماية نموذج الضحية، وإيجاد أنه ما لم يتم التضحية بأداء نموذج الضحايا، فإن كلا من استخراج النماذج والانتفاخ الخصوم يمكن أن تساوم على نحو فعال النماذج المستهدفة.