عادة ما تتم دراسة تصنيف النص عن طريق وضع علامات نصوص اللغة الطبيعية مع الفئات ذات الصلة من مجموعة محددة مسبقا. في العالم الحقيقي، قد تستمر فصول جديدة في تحدي النظام الحالي مع بيانات محدودة المسمى. يجب أن يكون النظام ذكي بما يكفي للتعرف على الطبقات ال
جديدة القادمة مع بعض الأمثلة. في هذا العمل، نحدد مهمة جديدة في مجال NLP، تصنيف النص قليل الطوابق الإضافي، حيث يتعامل النظام تدريجيا جولات متعددة من الفصول الجديدة. لكل جولة، هناك مجموعة من الطبقات الجديدة مع بعض الأمثلة المسمى لكل فصل. يوجد تحديان رئيسيان في هذه المهمة الجديدة: (1) لعملية التعلم، يجب أن يتعلم النظام تدريجيا على جولة فصول جديدة جولة من الجولة دون إعادة التدريب على الأمثلة على الطبقات السابقة؛ (2) بالنسبة للأداء، يجب أن يؤدي النظام بشكل جيد على فئات جديدة دون فقدان الكثير في الفصول السابقة. بالإضافة إلى صياغة المهمة الجديدة، نقوم أيضا بإصدار مجموعة بيانات قياسية في الإعداد القليل من الرصاص الإضافي: تصنيف النوايا وتصنيف العلاقات. علاوة على ذلك، نقترح اثنين مناهج استقصاء وتتبعها والجاذبية، والتي تظهر الوعد بحل هذه المشكلة الرواية.
حققت نماذج اللغة المدربة مسبقا نجاحا كبيرا على مجموعة واسعة من مهام NLP. ومع ذلك، فإن التمثيلات السياقية من النماذج المدربة مسبقا تحتوي على معلومات دلالية ومتنامية متشابكة، وبالتالي لا يمكن استخدامها مباشرة لاستخلاص مدينات جملة دلالية مفيدة لبعض المه
ام. تقدم أزواج إعادة صياغة طريقة فعالة لتعلم التمييز بين الدلالات وبناء الجملة، حيث أنهم يشاركون بشكل طبيعي دلالات وغالبا ما يختلف في بناء جملة. في هذا العمل، نقدم Parabart، وهي جملة دلالية تضمين نموذج يتعلم تكديح دلالات ودليل بناء الجملة في مذكرات الجملة التي تم الحصول عليها بواسطة نماذج اللغة المدربة مسبقا. يتم تدريب PARABART على إجراء إعادة صياغة موجهة إلى بناء الجملة، استنادا إلى جملة مصدر تشترك في الدلالات مع إعادة صياغة الهدف، وشجرة تحليل تحدد بناء الجملة المستهدف. وبهذه الطريقة، يتعلم بارابارت تعليم التمثيل الدلالي والمنظمات النحوية من مدخلاتها مع تشفير منفصلة. تبين التجارب باللغة الإنجليزية أن بارابارت تتفوق على الأحكام التي تضم نماذج تضمينها على مهام التشابه الدلالي غير المعدل. بالإضافة إلى ذلك، نظير على أن نهجنا يمكن أن يؤدي إلى إزالة المعلومات النحوية بشكل فعال من تضمين الجملة الدلالية، مما يؤدي إلى متانة أفضل ضد الاختلاف النحوي على المهام الدلالية المصب.
