We propose pre-finetuning, an additional large-scale learning stage between language model pre-training and fine-tuning. Pre-finetuning is massively multi-task learning (around 50 datasets, over 4.8 million total labeled examples), and is designed to
encourage learning of representations that generalize better to many different tasks. We show that pre-finetuning consistently improves performance for pretrained discriminators (e.g. RoBERTa) and generation models (e.g. BART) on a wide range of tasks (sentence prediction, commonsense reasoning, MRC, etc.), while also significantly improving sample efficiency during fine-tuning. We also show that large-scale multi-tasking is crucial; pre-finetuning can hurt performance when few tasks are used up until a critical point (usually above 15) after which performance improves linearly in the number of tasks.
In this paper we present a new Massive Open Online Course on Natural Language Processing, targeted at non-English speaking students. The course lasts 12 weeks, every week consists of lectures, practical sessions and quiz assigments. Three weeks out o
f 12 are followed by Kaggle-style coding assigments. Our course intents to serve multiple purposes: (i) familirize students with the core concepts and methods in NLP, such as language modelling or word or sentence representations, (ii) show that recent advances, including pre-trained Transformer-based models, are build upon these concepts; (iii) to introduce architectures for most most demanded real-life applications, (iii) to develop practical skills to process texts in multiple languages. The course was prepared and recorded during 2020 and so far have received positive feedback.
إنّ تزايد الطلب على معدلات النقل في الاتصالات دفع الباحثين لإيجاد طرق جديدة لتلبيّة هذه المتطلبات، ومع محدودية المصادر الترددية (عرض الحزمة) والزمنية تمّ التوّجه لإيجاد مصادر جديدة للنظام تساعد على زيادة معدل النقل وتحسين جودة النظام في الوقت نفسه بغ
ية توفير عرض الحزمة والاستطاعة المستهلكة في الأنظمة التقليدية الحالية التي تحوي هوائي إرسال واحد وهوائي استقبال واحد.
ظهرت أنظمة الاتصالات متعددة المداخل والمخارج MIMO لتقدّم الكثير من التحسينات والميّزات الجديدة لشبكات الاتصالات اللاسلكيّة وأدخلت أنظمة الاتصالات بعصر جديد يستخدم النظام فيه عدة هوائيات في الإرسال والاستقبال للاستفادة من خصائص القناة متعددة المسارات Multipath Channel عبر تقديم ربحين: ربح التنويع Diversity Gain وربح التنضيد Multiplexing Gain حيث يعمل ربح التنويع على زيادة تحسين جودة وأداء النظام، بينما يعمل ربح التنضيد على زيادة معدل نقل النظام، كما أدخلت مؤخرا ميزات أخرى على هذا النظام أهمها تقنية تشكيل الحزمة Beamforming التي تعمل على تركيز الحزمة بالاتجاه المطلوب لتقليل التداخل بين الأجهزة وزيادة جودة الإشارة.
وظفت هذه الميزات في الكثير من أنظمة الاتصالات ومنها أنظمة Wi-Fi والأنظمة الخلوية LTE و5G التي أدخلت مفاهيم جديدة على أنظمة MIMO أهمها: تقنية Massive MIMO الذي ساعد على تحقيق معدلات وكفاءات فائقة وتقنية Virtual MIMO التي تعمل على تشكيل مصفوفات إرسال/استقبال من عدة أجهزة متفرقة.
سوف نقوم في هذا البحث بشرح أساسيات القناة متعددة المسارات وأنظمة MIMO، كيفية نمذجتها رياضياً، ميزات وأرباح هذه المنظومة، بنية المنظومة، أهم تطبيقات هذه المنظومة وخصائصها الجديدة وأخيراً تحدياتها وطرق تطويرها.
