نشر فعالة من حيث التكلفة لنماذج بيرت في بيئة خامل

في هذه الدراسة، نوضح جدوى نشر نماذج نمط بيرت إلى AWS Lambda في بيئة الإنتاج.نظرا لأن النماذج المدربة مسبقا متوفرة بحرية كبيرة جدا بحيث لا يتم نشرها في هذه البيئة، فإننا نستخدم تقارير المعرفة وضبط النماذج على مجموعات البيانات الخاصة بمهام عمليتين في العالم الحقيقي: تحليل المعنويات والتوجيهات النصية الدلالية.نتيجة لذلك، نحصل على نماذج تم ضبطها مجال معين ونشرها في بيئة Serverless.يوضح تحليل الأداء اللاحق أن هذا الحل لا يبلغ فقط عن مستويات الكمون مقبول لاستخدام الإنتاج ولكنه أيضا بديل فعال من حيث التكلفة لنماذج صغيرة إلى متوسطة الحجم لنماذج بيرت، كل ذلك دون أي مرفقات تحتية للبنية التحتية.

In this study, we demonstrate the viability of deploying BERT-style models to AWS Lambda in a production environment. Since the freely available pre-trained models are too large to be deployed in this environment, we utilize knowledge distillation and fine-tune the models on proprietary datasets for two real-world tasks: sentiment analysis and semantic textual similarity. As a result, we obtain models that are tuned for a specific domain and deployable in the serverless environment. The subsequent performance analysis shows that this solution does not only report latency levels acceptable for production use but that it is also a cost-effective alternative to small-to-medium size deployments of BERT models, all without any infrastructure overhead.