نحن نحقق في تعلم اللغة الأساسية من خلال بيانات عالمية حقيقية، من خلال نمذجة ديناميات متعلم المعلم من خلال التفاعلات الطبيعية التي تحدث بين المستخدمين ومحركات البحث؛على وجه الخصوص، نستكشف ظهور التعميم الدلالي من تمثيلات كثيفة غير مخالفة خارج البيئات الاصطناعية.يتم تعلم مجال التأريض وظيفة دلالة ودالة تكوين من بيانات المستخدم فقط.نظهر كيف تظهر الدلالات الناتجة عن عبارات الاسم خصائصا تتراكم بينما تكون مائيا تماما دون أي وضع علامات واضحة.نحن نقسم لدينا دلالاتنا المتطرفة على التركيبية ومهام الاستدلال صفرية، ونرى أنها توفر نتائج أفضل وتعميمات أفضل من نماذج SOTA غير المدرجة، مثل Word2VEC و BERT.
We investigate grounded language learning through real-world data, by modelling a teacher-learner dynamics through the natural interactions occurring between users and search engines; in particular, we explore the emergence of semantic generalization from unsupervised dense representations outside of synthetic environments. A grounding domain, a denotation function and a composition function are learned from user data only. We show how the resulting semantics for noun phrases exhibits compositional properties while being fully learnable without any explicit labelling. We benchmark our grounded semantics on compositionality and zero-shot inference tasks, and we show that it provides better results and better generalizations than SOTA non-grounded models, such as word2vec and BERT.
المراجع المستخدمة
https://aclanthology.org/
يمكن جمع كميات كبيرة من سجلات التفاعل من أنظمة NLP التي يتم نشرها في العالم الحقيقي.كيف يمكن الاستفادة من هذه الثروة من المعلومات؟يعد استخدام سجلات التفاعل هذه في إعداد تعليم التعزيز (RL) غير متصل نهجا واعدا.ومع ذلك، نظرا لطبيعة مهام NLP وقيود أنظمة
بالنظر إلى الطبيعة الأكثر انتشارا لواجهات اللغة الطبيعية، من المهم بشكل متزايد فهم من يصل إلى هذه الواجهات، وكيف يتم استخدام هذه الواجهات.في هذه الورقة، نستكشف التدقيق الإملائي في سياق البحث على شبكة الإنترنت مع الأطفال كجمهور مستهدف.على وجه الخصوص،
نحن نحلل كيف يتعلم نموذج اللغة القائم على المحولات قواعد الشطرنج من البيانات النصية للألعاب المسجلة.نوضح كيف يمكن البحث عن كيفية القدرة النموذجية والعدد المتاح لبيانات التدريب التي تؤثر على نجاح تعلم نموذج اللغة بمساعدة مقاييس الشطرنج الخاصة.مع هذه ا
هذا اقتراح بحثي لأبحاث الدكتوراه في اكتشاف السخرية، والترجمة في الوقت الحقيقي لجور اللغة الإنجليزية من الكلمات الساخرة.تفاصيل البحث السابق في مواضيع مماثلة، اتجاهات البحث المحتملة والأهداف البحثية.
تتوفر أنظمة الإجابة على الأسئلة (QA) الآن من خلال العديد من التطبيقات التجارية لمجموعة واسعة من المجالات، مما يخدم ملايين المستخدمين الذين يتفاعلون معهم عبر واجهات الكلام.ومع ذلك، فإن المعايير الحالية في أبحاث ضمنيا لا تحسب الأخطاء التي قد تعرضها نما