النمذجة NLP المعاصرة في ستة مهام برمجة شاملة

نقدم سلسلة من مهام البرمجة، قابلة للتكيف مع مجموعة من مستويات الخبرة من المرحلة الجامعية المتقدمة إلى الدكتوراه، لتعليم الطلاب تصميم وتنفيذ أنظمة NLP الحديثة. يتم بناء هذه المهام من الألف إلى الياء والتأكيد على فهم المكدس الكامل للنماذج التعليمية الآلية: في البداية، يقوم الطلاب بتنفيذ حساب الاستدلال والتدرج باليد، ثم استخدم Pytorch لبناء شبكات عصبية أحدث تقريبا باستخدام أفضل الممارسات الحالية. يتم اختيار الموضوعات لتغطية مجموعة واسعة من تقنيات النمذجة والاستدلال التي قد تواجه المرء، بدءا من النماذج الخطية المناسبة لتطبيقات الصناعة لنماذج التعلم العميق الحديثة المستخدمة في أبحاث NLP. يتم تخصيص المهام، مع خيارات مقيدة لتوجيه طلاب أقل خبرة أو الخيارات المفتوحة المنتهية لإعطاء حرية الطلاب المتقدمة لاستكشافها. يمكن نشر كل منهم بطريقة غير قابلة للتطبيق بالكامل، وقد تم اختبارها بشكل جماعي على أكثر من 300 طالب عبر العديد من الفصول الدراسية.

We present a series of programming assignments, adaptable to a range of experience levels from advanced undergraduate to PhD, to teach students design and implementation of modern NLP systems. These assignments build from the ground up and emphasize full-stack understanding of machine learning models: initially, students implement inference and gradient computation by hand, then use PyTorch to build nearly state-of-the-art neural networks using current best practices. Topics are chosen to cover a wide range of modeling and inference techniques that one might encounter, ranging from linear models suitable for industry applications to state-of-the-art deep learning models used in NLP research. The assignments are customizable, with constrained options to guide less experienced students or open-ended options giving advanced students freedom to explore. All of them can be deployed in a fully autogradable fashion, and have collectively been tested on over 300 students across several semesters.