"شيء شيء هوتا هاي!" نهج قابل للتفسير نحو تحليل المعنويات على البيانات المزدجة التعليمية الهندي

أدى الاستخدام المتزايد لمواقع وسائل التواصل الاجتماعي في بلدان مثل الهند إلى مجلدات كبيرة من البيانات المختلطة.يمكن أن يوفر تحليل المعنويات لهذه البيانات رؤى غير متكاملة في وجهات نظر الناس والآراء.غالبا ما تكون البيانات المختلطة من التعليمات البرمجيةصاخبة في الطبيعة بسبب تهجئة متعددة لنفس الكلمة، ونقص ترتيب واضح للكلمات في جملة، واختصرات عشوائية.وبالتالي، فإن العمل مع البيانات المختلطة من التعليمات البرمجية أكثر تحديا من بيانات أحادية الأونلينغ.تفسير التنبؤات النموذجية تتيح لنا تحديد متانة النموذج ضد أشكال مختلفة من الضوضاء.في هذه الورقة، نقترح منهجية لإدماج النهج القابلة للتفسير في تحليل المعنويات المختلطة من التعليمات البرمجية.من خلال تفسير تنبؤات نماذج تحليل المعنويات، نقيم مدى جودة النموذج قادر على التكيف مع الضوضاء الضمنية الموجودة في البيانات المختلطة التعليمات البرمجية.

كفاءة النص متعدد اللغات التصنيف اللغات الهندية

الهند هي واحدة من أغنى مراكز اللغات على الأرض وهي متنوعة للغاية وتعدد اللغات. ولكن بصرف النظر عن عدد قليل من اللغات الهندية، ما زال معظمهم يعتبرون فقراء الموارد. نظرا لأن معظم تقنيات NLP تتطلب معرفة لغوية لا يمكن تطويرها إلا من قبل الخبراء والمتحدثينالأصليين في هذه اللغة أو أنها تتطلب الكثير من البيانات المسمى باهظة الثمن مرة أخرى لتوليد، فإن مهمة تصنيف النص تصبح تحديا لمعظم الهندي اللغات. الهدف الرئيسي من هذه الورقة هو معرفة كيف يمكن للمرء الاستفادة من التشابه المعجمي الموجود باللغات الهندية في سيناريو متعدد اللغات. هل يمكن إعادة استخدام نموذج تصنيف مدرب على لغة هندية واحدة لغات هندية أخرى؟ لذا، أجرينا تصنيف نصي بالرصاص عن طريق استغلال التشابه المعجمي وملاحظ أن طرازنا ينفذ بشكل أفضل في تلك الحالات حيث يتداخل المفردات بين مجموعات البيانات اللغوية كحد أقصى. تؤكد تجاربنا أيضا أن نموذجا واحدا متعدد اللغات مدرب عبر رابط استغلال اللغة يتفوق على الأساس من الهوامش الهامة.