تعظيم البيانات غير المزعجة (UDA) هي تقنية شبه بيئية تنطبق على فقدان الاتساق لمعاقبة الاختلافات بين تنبؤات النماذج على (أ) أمثلة ملحوظة (غير مسفحة)؛ و (ب) الأمثلة الواضحة المقابلة التي تم إنتاجها عبر تكبير البيانات. في حين أن UDA اكتسبت شعبية لتصنيف ا
لنصوص، فإن الأسئلة المفتوحة باقية من قرارات التصميم ضرورية وكيفية تمديد الطريقة لتسلسل مهام وضع العلامات. في هذه الورقة، نعيد فحص UDA وإظهار فعاليتها في العديد من المهام المتسلسلة. مساهمتنا الرئيسية هي دراسة تجريبية ل UDA لتأسيس مكونات الخوارزمية التي تمنح استحقاقات NLP. وخاصة، على الرغم من أن العمل السابق قد أكد على استخدام تقنيات تكبير ذكية بما في ذلك الترجمة ذات الترجمة المرجانية، نجد أن التناسق بين التنبؤات المخصصة للكلمات الملحوظة والمستبدلة غالبا ما تسفر عن فوائد قابلة للمقارنة (أو أكبر) مقارنة بنماذج الاضطرابات الأكثر تعقيدا. علاوة على ذلك، نجد أن تطبيق فقدان اتساق UDA يوفر مكاسب ذات مغزى دون أي بيانات غير قابلة للتحقيق على الإطلاق، أي في إعداد قياسي إشرافي. باختصار، لا تحتاج UDA إلى عدم إدراكها لتحقيق الكثير من فوائدها المذكورة، ولا تتطلب تكبير بيانات معقدة لتكون فعالة.
تستند نماذج نقل النمط غير المزروعة بشكل رئيسي إلى نهج التعلم الاستقرائي، والذي يمثل النمط كمعلمات أو معلمات فك الترميز، أو معلمات تمييزية، وتطبق مباشرة هذه القواعد العامة لحالات الاختبار. ومع ذلك، فإن عدم وجود Corpus الموازي يعيق قدرة طرق التعلم الاس
تقرائي هذه في هذه المهمة. نتيجة لذلك، من المحتمل أن تسبب التعبيرات النمطية غير المتناسقة الشديدة، مثل السلطة غير مهذب ". لمعالجة هذه المشكلة، نقترح نهجا تعليميا عبر جديد في هذه الورقة، بناء على تمثيل نمط السياق على علم الاسترجاع. على وجه التحديد، يتم استخدام وحدة فك ترميز تشفير الاهتمام مع إطار المسترد. أنه ينطوي على الجمل ذات الصلة أعلى K في النمط المستهدف في عملية النقل. وبهذه الطريقة، يمكننا أن نتعلم تضمين أسلوب مدرك السياق لتخفيف مشكلة عدم التناقض أعلاه. في هذه الورقة، يتم استخدام كل من وظائف استرجاع شديد (BM25) ووظائف استرجاع كثيفة (MIPS)، وتم تصميم وظيفتان موضوعيتان لتسهيل التعلم المشترك. تظهر النتائج التجريبية أن أسلوبنا تتفوق على العديد من خطوط الأساس القوية. نهج التعلم المتنقل المقترح عام وفعال لمهمة نقل النمط غير المنسق، وسوف نطبقه على الطريقة الوظيفتين الأخرى في المستقبل.
في هذه الورقة، ندرس إمكانية إجابة سؤاليات متعددة الخيارات غير المدعومة (MCQA).من المعرفة الأساسية للغاية، يعرف نموذج MCQA أن بعض الخيارات لديها احتمالات أعلى من كونها صحيحة من غيرها.المعلومات، على الرغم من صاخبة جدا، يرشد تدريب نموذج MCQA.يتم عرض الط
ريقة المقترحة تفوقت على النهج الأساسية في السباق وهي قابلة للمقارنة مع بعض مناهج التعلم الخاضعة للإشراف على MC500.
تحتاج العديد من مهام NLP إلى إصدارات فعالة من الوثائق النصية.Arora et al.، 2017 توضح أن الشيخوخة المرجحة المرجحة بسيطة لنماذج Word بشكل متكرر في كثير من الأحيان نماذج. SCDV (MEKALA et al.، 2017) يمتد هذا من الجمل إلى DoCu-Mets عن طريق توظيف مجموعة نا
عمة ومتخرفة على مجلات الكلمات المحسوبة مسبقا. كيف على الإطلاق، كلتا التقنيتين تتجاهل الشخصية السياقية Polysemyand للكلمات. في هذا القبيل، نتعامل مع هذه المشكلة عن طريق اقتراح CTXDV + Bert (CTXD)، وهو تمثيل بسيط وفعال للأمم المتحدة الذي يشتمل على مزين بالقدمين النصي (ديفلين وآخرون)، 2019 . WEShow أن تضميننا تضميننا أوريجيز نال SCDV، برت قبل قطار، وعدة أخرى على العديد من مجموعات بيانات التصنيف. Wealso إظهار تضميننا فعالا - نيس على مهام أخرى، مثل مفهوم مباراة جي ومشاكل تشابه. في الإضافة، نعرض أن Bertv + Bertperformsfine-Tune-Tune Bert و AP-PROACHES المختلفة AP-PROACHES في السيناريوهات ذات البيانات المحدودة أمثلة لقطات.
تهدف محاذاة الكيان المتبادل (EA) إلى إيجاد الكيانات المكافئة بين Crosslingual KGS (الرسوم البيانية المعرفة)، وهي خطوة حاسمة لإدماج KGS.في الآونة الأخيرة، يتم اقتراح العديد من طرق EA القائمة على GNN وإظهار تحسينات الأداء اللائق على العديد من مجموعات ا
لبيانات العامة.ومع ذلك، فإن طرق EA القائمة القائمة على GNN ترثت حتما بشكل حتمة الترجمة الشفوية والكفاءة المنخفضة من الشبكات العصبية.تحفزه افتراض ISOMORPHIC من الأساليب القائمة على GNN، ونحن نجح في تحويل مشكلة EA عبر اللغات في مشكلة مهمة.بناء على هذا التعريف، نقترح طريقة محاذاة كيان بسيطة ولكنها فعالة بشكل محبط (SEU) دون شبكات عصبية.أجريت تجارب واسعة لإظهار أن نهجنا المقترح غير المقترح حتى يدق طرق متقدمة تحت إشراف على جميع مجموعات البيانات العامة مع ارتفاع الكفاءة والتفسيرية والاستقرار.
مجاملات واهتمامات في المراجعات هي قيمة لفهم اهتمامات التسوق للمستخدمين وآرائهم فيما يتعلق بجوانب محددة من العناصر المعينة.تفضل التوصيات الموجودة القائمة على المراجعة المراجعة ترميز اللغة الكبيرة والمعقدة التي يمكن أن تتعلم فقط تمثيلات نص كامنة وغير ق
ابلة للتوجيه.إنهم يفتقرون إلى نماذج انتباه المستخدم والسلع الصريحة، والتي يمكن أن توفر معلومات قيمة تتجاوز القدرة على التوصية بالعناصر.لذلك، نقترح نهجا بإحكام مقرونة من مرحلتين، بما في ذلك مستخرج زوج من جانب جوانب (ASPE) ومقدر تصنيف إيلائي - إدراك العقار (ARE).الأزواج من الألغام من الألغام من الألغام من جانب الجوانب (AS-Pairs) وتنبؤ التصنيفات باستخدام أزواج كأدلة على مستوى الجانب ملموسة.تجارب واسعة على سبعة مجموعات بيانات مراجعة الأمازون العالمية في الواقعية تثبت أن ASPE يمكن أن تستخرج بفعالية من أزواج الشركات التي تمكن ARE لتسليم دقة فائقة عبر الأساس الرائدة.
تستخدم الأساليب القائمة على نطاق واسع على نطاق واسع لمهام استخراج مفاتيح المفاتيح غير المنشأة (UKE). بشكل عام، تقوم هذه الأساليب ببساطة بحساب أوجه التشابه بين Aregeddings و Award Action، وهو غير كاف لالتقاط سياق مختلف لنموذج UKE أكثر فعالية. في هذه ا
لورقة، نقترح طريقة جديدة ل UKE، حيث يتم تصميم السياقات المحلية والعالمية بشكل مشترك. من وجهة نظر عالمية، نقوم بحساب التشابه بين عبارة معينة والوثيقة بأكملها في مساحة المتجهة كما نماذج تضمينها الانتقالية. من حيث الرأي المحلي، نقوم أولا ببناء هيكل رسم بياني يستند إلى المستند حيث تعتبر العبارات كأعلى رؤوس والحواف هي أوجه التشابه بين القمم. بعد ذلك، اقترحنا طريقة حساب مركزية جديدة لالتقاط المعلومات البارزة المحلية بناء على هيكل الرسم البياني. أخيرا، نكتف على نمذجة السياق العالمي والمحلي للتصنيف. نقوم بتقييم نماذجنا على ثلاثة معايير عامة (Inspec، DUC 2001، Semeval 2010) ومقارنتها مع النماذج الموجودة في أحدث النماذج. تظهر النتائج أن نموذجنا يفوق معظم النماذج أثناء التعميم بشكل أفضل على مستندات المدخلات ذات النطاقات والطول المختلفة. تظهر دراسة الاجتثاث الإضافية أن كل من المعلومات المحلية والعالمية أمر بالغ الأهمية لمهام استخراج المفاتيح غير المنشورة.
محادثة Deventangle تهدف إلى فصل الرسائل المتداخلة إلى جلسات منفصلة، وهي مهمة أساسية في فهم المحادثات متعددة الأحزاب. يعتمد العمل الحالي في محادثة DEVENTANGLEMELE بشكل كبير على مجموعات البيانات المشروح البشرية، وهي مكلفة للحصول عليها في الممارسة الع
ملية. في هذا العمل، نستكشف تدريب نموذج محادثة محادثة دون الرجوع إلى أي شروح بشرية. تم بناء طريقتنا على خوارزمية التدريب العميق، والتي تتكون من شبكات اثنين من الشبكات العصبية: مصنف رسالة للزوج وفيديو الجلسة. السابق هو المسؤول عن استرجاع العلاقات المحلية بين رسالتين بينما يقتصر الأخير رسالة إلى جلسة من خلال التقاط معلومات السياق. يتم تهيئة كلتا الشبكتين على التوالي مع بيانات زائفة مبنية من Corpus غير المخلفات. خلال عملية التدريب التعويضي العميق، نستخدم مصنف الجلسة كمكون تعليمي للتعزيز لتعلم جلسة تعيين سياسة من خلال تعظيم المكافآت المحلية التي قدمها مصنف زوج الرسائل. بالنسبة إلى مصنف زوج الرسائل، فإننا نشعر بإثراء بيانات التدريب الخاصة بها عن طريق استرداد أزواج الرسائل بثقة عالية من جلسات DESTANGLED المتوقعة من قبل مصنف الجلسة. النتائج التجريبية على مجموعة بيانات حوار السينما الكبيرة تثبت أن نهجنا المقترح يحقق أداء تنافسي مقارنة بالأساليب الخاضعة للإشراف السابقة. تشير المزيد من التجارب إلى أن محادثات الإعصابات المتوقعة يمكن أن تعزز الأداء على المهمة المصب لمختيار استجابة متعددة الأحزاب.
يتطلب تصحيح الأخطاء النحوية (GEC) مجموعة من أزواج الجملة الجملة / النحوية المسمى للتدريب، ولكن الحصول على مثل هذه التوضيحية يمكن أن تكون باهظة الثمن. في الآونة الأخيرة، أظهر إطار عمل استراحة IT-IT (BIFI) نتائج قوية على تعلم إصلاح برنامج مكسور دون أي
أمثلة معدنية، ولكن هذا يعتمد على ناقد مثالي (على سبيل المثال، مترجم) يعيد ما إذا كان المثال صحيحا أم لا، والتي غير موجودة لمهمة GEC. في هذا العمل، نظهر كيفية الاستفادة من نموذج اللغة المسبق (LM) في تحديد LM-RIDIC، الذي يحكم جملة على النحو الحكم إذا قام LM بتعيينه احتمال أعلى من اضطراباتها المحلية. نحن نطبق هذا LM-CRERTIC و BIFI جنبا إلى جنب مع مجموعة كبيرة من الجمل غير المسبقة إلى Bootstrap أزواج حقيقية غير رسمية / نحوية لتدريب مصحح. نقيم نهجنا على مجموعات بيانات GEC على مجالات متعددة (CONLL-2014، BEA-2019، GMEG-WIKI و GMEG-Yahoo) وإظهار أنه يتفوق على الأساليب الموجودة في كل من الإعداد غير المقترح (+7.7 F0.5) والإعداد الإشرافي (+0.5 F0.5).
في الآونة الأخيرة، أظهرت KNN-MT (Khandelwal et al.، 2020) القدرة الواعدة لإدماجها مباشرة نموذج الترجمة الآلية العصبية المدربة مسبقا (NMT) مع استرجاع المجلة K-Levely-Levely-Level (KNN) ذات المستوى الأعلى للمجال تكيف المجال دون إعادة التدريب. على الرغم
من كونها جذابة من الناحية النظرية، فإنه يعتمد بشدة على كورسا موازية عالية الجودة داخل المجال، مما يحد من قدرته على التكيف عن المجال غير المزعوم، حيث توجد شركة موازية داخل المجال نادرة أو غير موجودة. في هذه الورقة، نقترح إطارا جديدا يستخدم بشكل مباشر جمل أحادية المجال في اللغة المستهدفة لبناء اسم بيانات فعالة لاسترجاع جار ك. تحقيقا لهذه الغاية، نقدم أولا مهمة AutoNCoder بناء على اللغة المستهدفة، ثم قم بإدراج محولات خفيفة الوزن في نموذج NMT الأصلي لتعيين تمثيل مستوى الرمز المميز لهذه المهمة إلى التمثيل المثالي لمهمة الترجمة المثالية. توضح التجارب في مجموعات البيانات متعددة المجالات أن نهجنا المقترح يحسن بشكل كبير من دقة الترجمة مع بيانات أحادية الجانب المستهدف، مع تحقيق أداء مماثل مع الترجمة الخلفي. تنفيذنا مفتوح مصادر في HTTPS: // github. com / zhengxxn / uda-knn.
