تكييف ترتيب الكلمات من لغة واحدة إلى أخرى هو مشكلة رئيسية في التنبؤ المنظم عبر اللغات.تشفير الجملة الحالية (على سبيل المثال، RNN، محول مع تضيير الموقف) هي عادة ترتيب الكلمة الحساسة.حتى مع وجود تمثيلات نموذج موحدة (MUSE، MBERT)، قد تؤذي تناقضات ترتيب
الكلمات التكيف مع النماذج.في هذه الورقة، نبني نماذج التنبؤ الهيكلية بمدخلات كيس من الكلمات، وإدخال وحدة إعادة ترتيب جديدة لتنظيم الكلمات بعد ترتيب لغة المصدر، والذي يتعلم استراتيجيات إعادة ترتيب محددة المهام من نموذج تنبئ النظام للأغراض العامة.تظهر التجارب على تحليل التبعية المتبادلة الصفرية وعلامات نقاط البيع، والعلامات المورفولوجية أن طرازنا يمكن أن يحسن بشكل كبير من أداء اللغات المستهدفة، وخاصة لغات بعيدة عن اللغة المصدر.
أدت نماذج اللغة مثل GPT-2 بشكل جيد على إنشاء جمل سليمة نصنية لمهام إكمال تلقائي للنصوص.ومع ذلك، غالبا ما تتطلب هذه النماذج جهدا تدريبيا كبيرا للتكيف مع مجالات الكتابة المحددة (على سبيل المثال، الطبية).في هذه الورقة، نقترح استراتيجية تدريبية متوسطة لت
عزيز أداء نماذج اللغة المدربة مسبقا في مهمة إكمال تلقائي النص وتكييفها بشكل مستقل إلى مجالات محددة.تضم استراتيجيتنا هدفا جديدا للتدريب على الإشراف على الذات يسمى التنبؤ بالعبارة التالية (NPP)، والذي يشجع نموذج اللغة لإكمال الاستعلام الجزئي مع العبارات المخصبة وتحسين أداء الانتهاء التلقائي للنموذج في النهاية.أظهرت التجارب الأولية أن نهجنا قادر على تفوق خطوط الأساس في الإنجاز التلقائي للنطاقات البريدية والكتابة الأكاديمية.
تم تلخيص الاستخراج هو الدعامة الرئيسية للتلخيص التلقائي لعدة عقود. على الرغم من كل التقدم المحرز، ما زالت الملخصات الاستخراجية تعاني من أوجه القصور بما في ذلك مشاكل Aquerence الناشئة عن استخراج الجمل بعيدا عن سياقها الأصلي في المستند المصدر. هذا يؤثر
على تماسك وكمية ملخصات الاستخراجية. في هذا العمل، نقترح خطوة خفيفة الوزن لتحرير الوزن للملخصات الاستخراجية التي تقوم بمراكز حول قرار لغز واحد: استئناف عبارات الاسم. نقوم بإجراء دراسات التقييم البشرية التي تظهر أن قضاة الخبراء البشري يفضلون بشكل كبير إنتاج نظامنا المقترح على الملخصات الأصلية. علاوة على ذلك، بناء على دراسة تقييم تلقائي، نقدم دليلا على قدرة نظامنا على توليد القرارات اللغوية التي تؤدي إلى تحسين ملخصات الاستخراجية. نرسم أيضا رؤى حول كيفية استغلال النظام الأوتوماتيكي بعض الإشارات المحلية المتعلقة بأسلوب كتابة نصوص المقال الرئيسية أو النصوص الموجزة لجعل القرارات، بدلا من التفكير حول السياقات بشكل عملي.
يحتوي الرسم البياني المعرفي المفتوح المجال (KG) على كيانات كعقد، وعلاقات اللغة الطبيعية كحواف، ويتم بناؤها عن طريق الاستخراج (الموضوع، العلاقة، كائن) ثلاث مرات من النص. مهمة التنبؤ ارتباط المجال المفتوح هو أن يستنتج العلاقات المفقودة في كجم. استخدم ا
لعمل السابق التنبؤ بالصلة القياسية للمهمة. نظرا لأن ثلاثة أضعاف استخراج من النص، فيمكننا أن ننظر إليها في السياق النصي الأكبر الذي تم العثور عليه أصلا. ومع ذلك، فإن أساليب التنبؤ بالصلة القياسية تعتمد فقط على هيكل KG وتجاهل السياق النصي الذي تم استخراج كل ثلاث مرات منه. في هذه الورقة، نقدم المهمة الجديدة لتنبؤ ارتباط السياق المفتوح الذي يمكنه الوصول إلى كل من السياق النصي وبنية كجم لإجراء تنبؤ الارتباط. نحن نبني مجموعة بيانات للمهمة واقتراح نموذج لذلك. تظهر تجاربنا أن السياق أمر حاسم في التنبؤ بالعلاقات المفقودة. كما نوضح فائدة التنبؤ بالوصلة السياقية في اكتشاف الاستراتيجية المستقلة للسياق بين العلاقات، في شكل رسوم بيانية استقامة (على سبيل المثال)، والتي تكون فيها العقد العلاقات. تعقد العكس أيضا: المساعدات المستقلة للسياق EGS في التنبؤ بالعلاقات في السياق.
هدف التنبؤ بالحقائق في الحدث (EFP) هو تحديد درجة الواقعية لذكر الحدث، مما يمثل مدى احتمال ذكر الحدث في النص.أظهرت نماذج التعلم العميق الحالية أهمية الهياكل النحوية واللاللالية للجمل لتحديد كلمات السياق الهامة ل EFP.ومع ذلك، فإن المشكلة الرئيسية في نم
اذج EFP هذه هي أنها تشفص مسارات القفزة الواحدة فقط بين الكلمات (I.E.، والاتصالات المباشرة) لتشكيل هياكل الجملة.في هذا العمل، نظهر أن مسارات القفزات متعددة القفزة بين الكلمات ضرورية أيضا لحساب هياكل الجملة ل EFP.تحقيقا لهذه الغاية، نقدم نموذجا للتعليم العميق الجديد ل EFP الذي يعتبر صراحة مسارات القفزات متعددة القفزات مع كل من الحواف القائمة على بناء الجملة والدلية بين الكلمات للحصول على هياكل الجملة للتعلم في EFP.نوضح فعالية النموذج المقترح عبر التجارب الواسعة في هذا العمل.
في التحقق الآلي المطالبة، نسترجع الأدلة من قاعدة المعرفة لتحديد صحة المطالبة.بشكل حدسي، يلعب استرجاع الأدلة الصحيحة دورا حاسما في هذه العملية.في كثير من الأحيان، يتم تناول اختيار الأدلة بمثابة مهمة تصنيف جملة الزوجية، أي نحن ندرب نموذجا للتنبؤ بكل جم
لة على حدة ما إذا كان دليلا على المطالبة.في هذا العمل، نحن نغلق محولات مستوى المستندات لاستخراج جميع الأدلة من وثيقة ويكيبيديا في وقت واحد.نظل أن هذا النهج ينفذ أفضل من الأحكام المصنفة للنموذج القابل للمقارنة بشكل فردي على جميع مقاييس اختيار الأدلة ذات الصلة في الحمى.ينتج بناء خط أنابيبنا الكامل على إجراء اختيار الأدلة هذا نتيجة جديدة للحمى، وهو معيار التحقق من المطالبات الشعبية.
يتم تعريف Sememes على أنها الوحدات الذرية لوصف المعنى الدلالي للمفاهيم.نظرا لصعوبة التعليق يدويا في التسجيل يدويا واستنادا إلى التعليق بين الخبراء، فقد تم اقتراح مهمة تنبؤات النظرة المعجمية.ومع ذلك، فإن الأساليب السابقة تعتمد بشدة على Word أو Artters
dings، وتجاهل المعلومات المحبوسة الدقيقة.في هذه الورقة، نقترح طريقة رواية ما قبل التدريب والتي تم تصميمها لتحسين دمج المعلومات الداخلية للشخصية الصينية.يتم استخدام تمثيل الأحرف الصيني المحسنة Glyph (دول مجلس التعاون الخليجي) لمساعدة تنبؤة النظر.نقوم بتجربة وتقييم النموذج لدينا على HOWNET، وهو قاعدة المعرفة الشمالية الشهيرة.تظهر النتائج التجريبية أن أسلوبنا تتفوق على نماذج المعلومات غير الخارجية الموجودة.
تنبؤ نوع نقطة الفائدة (POI) هو مهمة استنتاج نوع المكان الذي تم فيه مشاركة مشاركة وسائل التواصل الاجتماعي. إن الاستنتاج من نوع POI مفيد للدراسات في العلوم الاجتماعية الحاسوبية بما في ذلك الاجتماع الاجتماعي، والجيولوجيوسيوس، والجغرافيا الثقافية، ولديه
تطبيقات في تكنولوجيات الشبكات الجيولوجية مثل أنظمة التوصية والتصور. الجهود السابقة في التنبؤ بنوع POI التركيز فقط على النص، دون أخذ معلومات مرئية في الاعتبار. ولكن في الواقع، مجموعة متنوعة من الطرائق، فضلا عن علاقاتهم شبهية مع بعضها البعض، شكل التواصل والتفاعلات في وسائل التواصل الاجتماعي. تقدم هذه الورقة دراسة حول التنبؤ بنوع POI باستخدام معلومات متعددة الوسائط من النص والصور المتوفرة في وقت النشر. لهذا الغرض، فإننا نشعر بإثراء البيانات المتاحة حاليا لتنبؤ بنوع POI مع الصور التي ترافق الرسائل النصية. يتم استخراج الأسلوب المقترح لدينا المعلومات ذات الصلة من كل طريقة لالتقاط التفاعلات الفعالة بين النصوص والصورة تحقيق ماكرو F1 من 47.21 من 4 فئات تتفوق بشكل كبير على الطريقة التي من بين الفني للتنبؤ بنوع POI بناء على طرق النص فقط. أخيرا، نقدم تحليلا مفصلا لإلقاء الضوء على التفاعلات عبر الوسائط والقيود المتمثلة في أفضل نموذج أداء لدينا.
في السنوات الأخيرة، الأعمال التجارية العالمية في المناقشات عبر الإنترنت وتقاسم الرأي حول وسائل التواصل الاجتماعي مزدهرة. وبالتالي، يقترح ذلك مهمة التنبؤ بإعادة الدخول لمساعدة الناس على تتبع المناقشات التي يرغبون في الاستمرار فيها. ومع ذلك، فإن الأعما
ل الحالية تركز فقط على استغلال سجلات الدردشة ومعلومات السياق، وتجاهل إشارات التعلم المفيدة المحتملة بيانات المحادثة الأساسية، مثل أنماط موضوع المحادثة والمشاركة المتكررة للمستخدمين المستهدفين، والتي تساعد على فهم سلوك المستخدمين المستهدفين بشكل أفضل في المحادثات. في هذه الورقة، نقترح ثلاثة مهام مساعدة مثيرة للاهتمام وأسس بشكل جيد، وهي نمط انتشار، المستخدم المستهدف المتكرر، وتحويل التأتجل، كإشارات الإشراف ذاتيا لإعادة التنبؤ بالدخول. يتم تدريب هذه المهام الإضافية مع المهمة الرئيسية بطريقة متعددة المهام. تظهر النتائج التجريبية على مجموعة بيانات يتم جمعها حديثا من Twitter و Reddit أن أسلوبنا تتفوق على الحالة السابقة من الفنون السابقة مع عدد أقل من المعلمات والتقارب الأسرع. تظهر تجارب وتحليل مستفيضة فعالية نماذجنا المقترحة وأشير أيضا إلى بعض الأفكار الرئيسية في تصميم المهام ذات الإشراف على الذات.
المحادثات غالبا ما تكون في المختبرات والشركات.ملخص أمر حيوي لفهم محتوى مناقشة للأشخاص الذين لم يحضروا المناقشة.إذا تم توضيح الملخص كهيكل وسيطة، فمن المفيد فهم أساسيات المناقشة على الفور.هدفنا في هذه الورقة هو التنبؤ بهيكل رابط بين العقد التي تتكون من
الكلام في محادثة: تصنيف كل زوج عقدة إلى مرتبط "أو غير مرتبط." نهج واحد للتنبؤ به الهيكل هو استخدام نماذج تعلم الآلات.ومع ذلك، فإن النتيجة تميل إلى الإفراط في توليد روابط العقد.لحل هذه المشكلة، نقدم طريقة من خطوتين لمهمة التنبؤ الهيكل.نحن نستخدم نهج تعتمد على الجهاز كخطوة الأولى: مهمة تنبؤ الرابط.بعد ذلك، نطبق نهجا يستند إلى النتيجة كخطوة ثانية: مهمة اختيار الارتباط.تحسنت أساليبنا من خطوتين بشكل كبير الدقة مقارنة بطرق خطوة واحدة تستند إلى SVM و BERT.
