تحديد ما إذا كان هناك مستندان مؤلفان من المؤلف نفسه، المعروف أيضا باسم التحقق من التأليف، تم تناوله تقليديا باستخدام الأساليب الإحصائية. في الآونة الأخيرة، تم العثور على تمثيلات التأليف المستفادة باستخدام الشبكات العصبية لتفوق البدائل، لا سيما في الإ
عدادات الكبيرة التي تنطوي على مئات الآلاف من المؤلفين. ولكن هل تعلمت هذه التمثيلات في نقل مجال معين إلى مجالات أخرى؟ أو هل هذه تمثيلات متشابكة بطبيعتها مع ميزات خاصة بالمجال؟ لدراسة هذه الأسئلة، نقوم بإجراء أول دراسة واسعة النطاق لنقل المجال المتبادل للتحقق من التأليف بالنظر إلى التحويلات الصفرية التي تنطوي على ثلاثة مجالات متباينة: مراجعات الأمازون وقصص قصيرة الصوفية والتعليقات Reddit. نجد أنه على الرغم من أن درجة التنقل مفاجأة ممكنة بين مجالات معينة، إلا أنها ليست ناجحة بين الآخرين. نحن ندرس خصائص هذه المجالات التي تؤثر على التعميم واقتراح أساليب بسيطة ولكنها فعالة لتحسين النقل.
تحتوي نماذج الترجمة الآلية على مفردات منفصلة واستخدام تقنيات تجزئة الكلمات الفرعية لتحقيق المفردات المفتوحة.يعتمد هذا النهج على تسلسل Unicode متسق وصحيح، ويجعل النماذج عرضة للتدهور من الأنواع المشتركة من الضوضاء والاختلاف.بدافع من متانة معالجة اللغات
البشرية، نقترح استخدام تمثيلات نصية بصرية، والذي يتم الاستغناء عن مجموعة محدودة من Adgeddings النصية لصالح المفردات المستمرة التي تم إنشاؤها عن طريق معالجة النص المنصوص عليه بصريا مع Windows Sliding Windows.نظهر أن النماذج باستخدام نهج تمثيلات النص المرئي أو مطابقة أداء النماذج النصية التقليدية على مجموعات البيانات الصغيرة والأكبر.الأهم من ذلك، الأهم من ذلك، توضح النماذج ذات المدينات البصرية متانة كبيرة لأنواع الضوضاء المتنوعة، وتحقيق على سبيل المثال، 25.9 بلو على شخصية مسموعة باللغة الألمانية - المهمة الإنجليزية حيث تتحلل نماذج الكلمات الفرعية إلى 1.9.
تمثيل المعنى التجريدي (AMR) هو لغة تمثيل معنى رسومي مصممة لتمثيل معلومات الاقتراح حول هيكل الوسيطة. ومع ذلك، فإنه غير قادر في الوقت الحاضر على تمثيل السياقات غير التابعة غير التابعة بشكل مرضي، وغالبا ما ترخيص الاستدلالات غير اللائقة. في هذه الورقة، ن
ظهر كيفية حل مشكلة عدم اليريدية دون جاذبية الرسوم البيانية الطبقات من خلال رسم خرائط من AMRS في حساب التفاضل والتكامل Lambda المكتوبة ببساطة (STLC). على الأقل بالنسبة لبعض الحالات، يتطلب ذلك إدخال دور جديد: المحتوى الذي يعمل كمشغل متباين. الترجمة المقترحة مستوحاة من أدب اللغويات الرسمية في دلالات الأحداث في تقارير الموقف. بعد ذلك، نتعلم تفاعل نطاق الكمي والمشغلين المتهمين في غمائم دي / دي ديكتو المزعومة. نعتمد عقدة النطاق من الأدب وتوفير دلالات صريحة متعددة الأبعاد تستخدم تخزين كوبر يتيح لنا أن تستمد قراءات DE RE و De De Di Dicto بالإضافة إلى قراءات نطاق الوسيط والتي تثبت صعوبة في الحسابات دون عقدة نطاق.
نقترح بشكل مسبق، مرحلة تعليمية واسعة النطاق على نطاق واسع بين نموذج اللغة قبل التدريب والضبط بشكل جيد.ما قبل التأثيرات المسبقة للتعلم متعدد المهام على نطاق واسع (حوالي 50 مجموعة من مجموعات البيانات، أكثر من 4.8 مليون أمثلة كاملة المسمى)، وهي مصممة لت
شجيع تعلم التمثيلات التي تعمم بشكل أفضل للعديد من المهام المختلفة.نظظ أننا نتحسن باستمرار بشكل ثابت على تحسين الأداء من أجل التمييز المسبق (مثل روبرتا) ونماذج الجيل (مثل بارت) على مجموعة واسعة من المهام (تنبؤ الحكم، ومنطق العمولة، وما إلى ذلك)، مع تحسين كفاءة العينة بشكل كبير بشكل كبير أثناء غرامة-ضبط.نظهر أيضا أن المهام المتعدد واسع النطاق أمر بالغ الأهمية؛يمكن أن تؤذي ما قبل الاستخدام مسبقا الأداء عند استخدام عدد قليل من المهام حتى نقطة حرجة (عادة أعلى من 15) بعد أن يحسن الأداء خطيا في عدد المهام.
إن الافتقار إلى وصف رمز برنامج معين بمثابة عقبة كبيرة لتلك المطورين الجديدة في قاعدة التعليمات البرمجية لفهمها. أبلغت معالجة هذه المشكلة، العمل السابق في تلخيص التعليمات البرمجية، مهمة إنشاء وصف التعليمات البرمجية تلقائيا نظرا لأن نموذج التعلم الإضاف
ي الذي تم تدريبه على إنتاج واجهة برمجة API (واجهة برمجة التطبيقات) أظهرت نتائج واعدة عند تطبيقها على ملخص كود نموذج. ومع ذلك، فإن رموز مختلفة لها ملخصات مختلفة يمكن أن يكون لها نفس مجموعة تسلسل API. إذا قمنا بتدريب نموذج لتوليد ملخصات بالنظر إلى تسلسل API، فلن يكون النموذج قادرا على التعلم بفعالية. ومع ذلك، نلاحظ أن تسلسل API لا يزال من الممكن أن يكون مفيدا ولم يتم استخدامه بنشاط. يقترح هذا العمل نهجا جديدا للمهاميات الجديدة التي تدرب في وقت واحد اثنين من المهام المماثلة: 1) تلخيص شفرة معينة (رمز إلى ملخص)، و 2) تلخيص تسلسل API معين (تسلسل API إلى ملخص). نقترح تشفير رواية على مستوى التعليمات البرمجية بناء على بيرت قادرة على التعبير عن دلالات التعليمات البرمجية، والحصول على تمثيلات لكل سطر التعليمات البرمجية. عملنا هو أول عمل تلخيص التعليمات البرمجية يستخدم نموذج اللغة المدربين تدريبا مسبقا باللغة والسياق الطبيعي في تشفيره. نقيم نهجنا باستخدام مجموعات بيانات شائعة (Java and Python) التي تم استخدامها على نطاق واسع في الدراسات السابقة. تظهر نتائجنا التجريبية أن نهجنا متعدد المهام لدينا يحسن على خطوط الأساس ويحقق الحالة الجديدة من بين الفن.
عادة ما يتم تدريب نماذج اللغات الحالية على استخدام مخطط للإشراف على الذات، حيث يركز التركيز الرئيسي على التعلم في كلمة البرنامج أو مستوى الجملة.ومع ذلك، كان هناك تقدم محدود في توليد تمثيلات مفيدة على مستوى الخطاب.في هذا العمل، نقترح استخدام الأفكار م
ن نظرية الترميز التنبؤية لزيادة نماذج اللغة ذات طراز بيرت مع آلية تسمح لهم بتعلم تمثيلات مناسبة على مستوى الخطاب.نتيجة لذلك، يكون نهجنا المقترح قادرا على التنبؤ بالأحكام المستقبلية باستخدام اتصالات واضحة من أعلى إلى أسفل تعمل في الطبقات المتوسطة للشبكة.من خلال تجربة معايير مصممة لتقييم المعرفة المتعلقة بالحبال باستخدام تمثيلات الجملة المدربة مسبقا، نوضح أن نهجنا يحسن الأداء في 6 من أصل 11 مهام من خلال التميز في كشف علاقة الخطاب.
في السؤال المرئي الرد على (VQA)، تركز الأساليب الطيفة الموجودة على التفاعل بين الصور والأسئلة. نتيجة لذلك، يتم تقسيم الإجابات إلى الأسئلة أو المستخدمة كملصقات فقط للتصنيف. من ناحية أخرى، تستخدم نماذج Trilinear مثل نموذج CTI بكفاءة معلومات فيما بين ال
اعتراضات بين الإجابات والأسئلة والصور، مع تجاهل معلومات المشرفة داخل العملية. مستوحاة من هذه الملاحظة، نقترح إطارا جديدا للتفاعل Trilinear يسمى Mirtt (تعلم تشكيل التفاعل المتعدد الوسائط من محولات Trilinear)، مما يشتمل على آليات الاهتمام لالتقاط علاقات الوسائط المشتركة بين الوسائط والتعديل. علاوة على ذلك، نقوم بتصميم سير عمل من مرحلتين حيث يقلل نموذج Silinear النموذج الحر، مشكلة VQA مفتوحة العضوية في مشكلة VQA متعددة الخيارات. علاوة على ذلك، للحصول على تمثيلات دقيقة وجميلة متعددة الاستخدامات، فإننا قرب ما قبل تدريب Mirtt مع التنبؤ اللغوي الملثمين. تقوم طريقةنا بتحقيق الأداء الحديث في مهمة Visual7W Task و VQA-1.0 متعددة الخيارات ومفتوحة خطوط الأساس Silinear على مجموعات بيانات VQA-2.0 و TDIUC و GQA.
نحن نتطلع إلى تحيز أخذ العينات والقضايا الخارجية في عدد قليل من التعلم عن اكتشاف الحدث، وهو متعقب فرعي لاستخراج المعلومات.نقترح نموذج العلاقات بين المهام التدريبية في التعلم القليل من الرصاص البارز من خلال إدخال نماذج النماذج عبر المهام.ونحن نقترح كذ
لك فرض اتساق التنبؤ بين المصنفين عبر المهام لجعل النموذج أكثر قوة على القيم المتطرفة.تظهر تجربتنا الواسعة تحسنا ثابتا على ثلاث مجموعات من مجموعات بيانات التعلم قليلة.تشير النتائج إلى أن نموذجنا هو أكثر قوة عند وصف بيانات المسمى لأنواع الأحداث الرواية محدودة.يتوفر شفرة المصدر على http://github.com/laiviet/fsl-proact.
تقدم هذه الورقة نهجا جديدا للتعلم بزيادة المعنى بصريا تمثيل الكلمات باعتبارها تضمين عقدة منخفضة الأبعاد في التسلسل الهرمي في الرسم البياني الأساسي.المستوى الأدنى من عروض الكلمات التسلسل الهرمية الخاصة بالكلمة، مشروط إلى طريقة أخرى، من خلال الرسوم الب
يانية المخصصة ولكن التواصل، في حين أن المستوى الأعلى يضع هذه التمثيلات معا على رسم بياني واحد لمعرفة التمثيل بالاشتراك من كل من الطرائق.طوبولوجيا كل طرازات الرسم البياني علاقات التشابه بين الكلمات، ويقدر بالاشتراك مع تضمين الرسم البياني.الافتراض الأساسي هذا النموذج هو أن الكلمات تقاسم معنى مماثل تتوافق مع المجتمعات في الرسم البياني الأساسي في مساحة منخفضة الأبعاد.لقد سمحنا على هذا النموذج التسلسل الهرمي تشابه الرسم البياني متعدد الوسائط (HM-SGE).تحقق النتائج التجريبية من صحة قدرة HM-SGE لمحاكاة أحكام التشابه البشري وتصنيف المفهوم، مما يتفوق على حالة الفن.
لقد جاء الكثير من التقدم المحرز في NLP المعاصر من تمثيلات التعلم، مثل Embeddings Manked Language Model (MLM)، يتحول إلى مشاكل تحديا في مهام التصنيف البسيطة. ولكن كيف يمكننا تحديد وتفسير هذا التأثير؟ نحن نتكيف مع أدوات عامة من نظرية التعلم الحاسوبية ل
تناسب الخصائص المحددة لمجموعات البيانات النصية وتقديم طريقة لتقييم التوافق بين التمثيلات والمهام. على الرغم من أن العديد من المهام يمكن حلها بسهولة مع تمثيلات بسيطة من الكلمات (القوس)، فإن القوس لا ضعيف على مهام الاستدلال باللغة الطبيعية الثابت. لأحد هذه المهمة، نجد أن القوس لا يستطيع التمييز بين اللقطات الحقيقية والعشوائية، في حين تظهر تمثيلات الامتيازات المدربة مسبقا تمييزا أكبر بنسبة 72x بين وضع علامات حقيقية وعشوائية من القوس. توفر هذه الطريقة مقياسا معايرة وكمية لصعوبة مهمة NLP القائمة على التصنيف، مما يتيح المقارنات بين التمثيلات دون الحاجة إلى تقييمات تجريبية قد تكون حساسة للتهيئة والفظايات. توفر الطريقة منظورا جديدا على الأنماط الموجودة في مجموعة بيانات ومحاذاة تلك الأنماط مع ملصقات محددة.
