ميكولوف وآخرون.(2013A) لاحظ أن تضمين كلمة كاجب مستمرة من الكلمات (CBOW) تميل إلى أشرطة Skip-Gram المعطفية (SG)، وتم الإبلاغ عن هذه النتيجة في أعمال لاحقة.نجد أن هذه الملاحظات مدفوعة بعدم هذه الاختلافات الأساسية في أهدافها التدريبية، ولكن على الأرجح على تطبيقات مراقبة الألعاب السلبية الخاطئة في المكتبات الشعبية مثل التنفيذ الرسمي و Word2VEC.C و Gensim.نظهر أنه بعد تصحيح الخلل في تحديث التدرج CBOW، يمكن للمرء أن يتعلم أن تضمين Word CBOW تنافس تماما مع SG على مختلف المهام الجوهرية والخارجية، بينما تكون عدة مرات أسرع في التدريب.
Mikolov et al. (2013a) observed that continuous bag-of-words (CBOW) word embeddings tend to underperform Skip-gram (SG) embeddings, and this finding has been reported in subsequent works. We find that these observations are driven not by fundamental differences in their training objectives, but more likely on faulty negative sampling CBOW implementations in popular libraries such as the official implementation, word2vec.c, and Gensim. We show that after correcting a bug in the CBOW gradient update, one can learn CBOW word embeddings that are fully competitive with SG on various intrinsic and extrinsic tasks, while being many times faster to train.
المراجع المستخدمة
https://aclanthology.org/
إن القدرة على التباين في استخدام اللغة ضروري للمتحدثين لتحقيق أهدافهم المحادثة، على سبيل المثال عند الإشارة إلى الكائنات في البيئات المرئية.نقول أن التنوع لا ينبغي أن يكون على غرار كهدف مستقل في الحوار، ولكن يجب أن يكون نتيجة لذلك أو منتج ثاني لتوليد
يمكن أن نطاقات اللغة العصبية التي تدركها القبض على العلاقة بين الكلمات من خلال استغلال معلومات مستوى الطابع وهي فعالة بشكل خاص للغات مع التشكل الغني.ومع ذلك، عادة ما تكون هذه النماذج متحيزة باتجاه المعلومات من أشكال السطح.لتخفيف هذه المشكلة، نقترح طر
يُستخدم البرتقال في تصنيع العصير، و ينتج عنه كَمّيات كبيرة من المنتجات الثانوية. تمﱠ تحليل التركيب الكيميائي و المقدرة على ربط الماء من قِبل قشور البرتقال، حيث أظهرت النتائج أنَّها تحتوي على كمّيات مرتفعة من الألياف الخام و المركبات الفينولية و مضادا
تسهل المعلومات اللغوية الخشنة، مثل الكيانات أو العبارات المسماة، التعلم التمثيل بشكل كاف في التدريب المسبق. تعمل السابقة بشكل أساسي على توسيع هدف نمذجة لغة بيرت الملثمين (MLM) من إخفاء الرموز الفردية إلى تسلسلات متجاورة من الرموز N. نقول أن هذه الطري
يتم تدريب معظم أنظمة الترجمة الآلية المتزامنة (SIMT) وتقييمها في Offline Translation Corpora.نحن نقول أن أنظمة SIMT يجب تدريبها واختبارها على بيانات التفسير الحقيقي.لتوضيح هذه الحجة، نقترح مجموعة اختبار التفسير وإجراء تقييم واقعي ل Simt المدربة على ا