التعلم عن تعويضات ناقلات الكلمات والتعلم العميق من خلال تنفيذ Word2VEC

تعتبر تمثيلات ناقلات الكلمات جزءا أساسيا من منهج NLP.هنا، نصف الواجبات المنزلية التي لديها طلاب تنفيذ طريقة شعبية لتعلم مجاهاجر Word، Word2VEC.يقوم الطلاب بتنفيذ الأجزاء الأساسية للطريقة، بما في ذلك إعادة النظر في النص، وأخذ العينات السلبية، وهبوط التدرج.يوفر رمز البداية إرشادات وتعامل مع العمليات الأساسية، والتي تتيح للطلاب التركيز على الجوانب الصعبة من الناحية النظرية.بعد توليد ناقلاتهم، يقوم الطلاب بتقييمهم باستخدام الاختبارات النوعية والكمية.

Word vector representations are an essential part of an NLP curriculum. Here, we describe a homework that has students implement a popular method for learning word vectors, word2vec. Students implement the core parts of the method, including text preprocessing, negative sampling, and gradient descent. Starter code provides guidance and handles basic operations, which allows students to focus on the conceptually challenging aspects. After generating their vectors, students evaluate them using qualitative and quantitative tests.