تعلم نموذج الترجمة متعددة اللغات ومتعدد اللغات يمثل تحديا لأن البيانات غير المتجانسة والمخطورة تجعل النموذج تتلاقص بشكل غير متسق على مختلف كوربورا في العالم الحقيقي. تتمثل هذه الممارسة الشائعة في ضبط حصة كل جثة في التدريب، بحيث يمكن أن تستفيد عملية ا
لتعلم الحالات المتوازنة والموارد المنخفضة من الموارد العالية. ومع ذلك، عادة ما تعتمد أساليب موازنة التلقائي عادة على الخصائص داخل ومشتركة بين البيانات، والتي عادة ما تكون غير مرغقة أو تتطلب من الشاورات البشرية. في هذا العمل، نقترح نهجا، مواد متعددة، أن ضبط استخدام بيانات التدريب بشكل حيوي استنادا إلى عدم اليقين في النموذج على مجموعة صغيرة من البيانات النظيفة الموثوقة للترجمة متعددة الكائنات. نحن تجارب مع فئتين من تدابير عدم اليقين في تعدد اللغات (16 لغة مع 4 إعدادات) وإعدادات متعددة النجانات (4 للمجال في المجال و 2 للخارج على الترجمة الإنجليزية-الألمانية) وإظهار نهجنا متعدد الاستخدامات بشكل كبير خطوط الأساس، بما في ذلك الاستراتيجيات الثابتة والديناميكية. نقوم بتحليل النقل عبر المجال وإظهار نقص الأساليب القائمة على الاستقرار والمشاكل.
يحتوي الرسم البياني المعرفي المفتوح المجال (KG) على كيانات كعقد، وعلاقات اللغة الطبيعية كحواف، ويتم بناؤها عن طريق الاستخراج (الموضوع، العلاقة، كائن) ثلاث مرات من النص. مهمة التنبؤ ارتباط المجال المفتوح هو أن يستنتج العلاقات المفقودة في كجم. استخدم ا
لعمل السابق التنبؤ بالصلة القياسية للمهمة. نظرا لأن ثلاثة أضعاف استخراج من النص، فيمكننا أن ننظر إليها في السياق النصي الأكبر الذي تم العثور عليه أصلا. ومع ذلك، فإن أساليب التنبؤ بالصلة القياسية تعتمد فقط على هيكل KG وتجاهل السياق النصي الذي تم استخراج كل ثلاث مرات منه. في هذه الورقة، نقدم المهمة الجديدة لتنبؤ ارتباط السياق المفتوح الذي يمكنه الوصول إلى كل من السياق النصي وبنية كجم لإجراء تنبؤ الارتباط. نحن نبني مجموعة بيانات للمهمة واقتراح نموذج لذلك. تظهر تجاربنا أن السياق أمر حاسم في التنبؤ بالعلاقات المفقودة. كما نوضح فائدة التنبؤ بالوصلة السياقية في اكتشاف الاستراتيجية المستقلة للسياق بين العلاقات، في شكل رسوم بيانية استقامة (على سبيل المثال)، والتي تكون فيها العقد العلاقات. تعقد العكس أيضا: المساعدات المستقلة للسياق EGS في التنبؤ بالعلاقات في السياق.
لقد أثبت العمل الحديث في وكلاء المحادثة المفتوحة على أن التحسينات الكبيرة في الإنسانية وتفضيل المستخدم يمكن تحقيقها عبر التحجيم الضخم في كل من بيانات التدريب المسبق وحجم النموذج (Adiwardana et al.، 2020؛ الأسطوانة وآخرون، 2020). ومع ذلك، إذا كنا نريد
بناء عملاء مع قدرات تشبه الإنسان، يجب علينا توسيع نطاق التعامل مع النص فقط. موضوع مهم للغاية هو القدرة على رؤية الصور والتواصل حول ما ينظر إليه. بهدف الحصول على البشر للانخراط في حوار متعدد الوسائط، نحقق في مجمع المكونات من وكلاء حوار الوكالة المفتوحة للحكومة من بين الفنون من نماذج الرؤية الحديثة. نحن ندرس دمج مخططات مختلفة من صور الصور واستراتيجيات التدريب المسبق على نطاق واسع على المجال وضبط النطاق، وتظهر أن طرازنا الأفضل الناتج يفوق النماذج الحالية القوية في حوار متعدد الوسائط أثناء التنفيذ في وقت واحد وكذلك سلفها (النص فقط) (الأسطوانة وآخرون، 2020) في محادثة قائمة على النص. إننا كذلك تحقيق وإدماج مكونات السلامة في نموذجنا النهائي، وإظهار أن هذه الجهود لا تقلل من الأداء النموذجي فيما يتعلق بتفضيل الإنسان.
في الآونة الأخيرة، أظهرت KNN-MT (Khandelwal et al.، 2020) القدرة الواعدة لإدماجها مباشرة نموذج الترجمة الآلية العصبية المدربة مسبقا (NMT) مع استرجاع المجلة K-Levely-Levely-Level (KNN) ذات المستوى الأعلى للمجال تكيف المجال دون إعادة التدريب. على الرغم
من كونها جذابة من الناحية النظرية، فإنه يعتمد بشدة على كورسا موازية عالية الجودة داخل المجال، مما يحد من قدرته على التكيف عن المجال غير المزعوم، حيث توجد شركة موازية داخل المجال نادرة أو غير موجودة. في هذه الورقة، نقترح إطارا جديدا يستخدم بشكل مباشر جمل أحادية المجال في اللغة المستهدفة لبناء اسم بيانات فعالة لاسترجاع جار ك. تحقيقا لهذه الغاية، نقدم أولا مهمة AutoNCoder بناء على اللغة المستهدفة، ثم قم بإدراج محولات خفيفة الوزن في نموذج NMT الأصلي لتعيين تمثيل مستوى الرمز المميز لهذه المهمة إلى التمثيل المثالي لمهمة الترجمة المثالية. توضح التجارب في مجموعات البيانات متعددة المجالات أن نهجنا المقترح يحسن بشكل كبير من دقة الترجمة مع بيانات أحادية الجانب المستهدف، مع تحقيق أداء مماثل مع الترجمة الخلفي. تنفيذنا مفتوح مصادر في HTTPS: // github. com / zhengxxn / uda-knn.
طبقات محول خفيفة الوزن، وحدات يمكن إدراجها بين طبقات المحولات. يستكشف العمل الأخير باستخدام مثل هذه الطبقات للترجمة الآلية العصبية (NMT)، لتكييف النماذج المدربة مسبقا إلى مجالات جديدة أو أزواج لغة، والتدريب فقط مجموعة صغيرة من المعلمات لكل إعداد جديد
(زوج لغة أو مجال). في هذا العمل، ندرس تكوين محولات اللغة والمجال في سياق الترجمة الآلية. نحن نهدف إلى الدراسة، 1) التكيف الفعال مع المعلمة إلى مجالات متعددة ولغات في وقت واحد (سيناريو الموارد الكاملة) و 2) نقل عبر اللغات في المجالات حيث تكون البيانات الموازية غير متوفرة لأزواج لغة معينة (سيناريو الموارد الجزئية). نجد أنه في سيناريو الموارد الجزئي مزيجا ساذجا من محولات محولات خاصة بالمجال وغالبا ما ينتج عن النسيان الكارثي باللغات المفقودة. ندرس طرق أخرى للجمع بين المحولات لتخفيف هذه المشكلة وتعظيم التحويل عبر اللغات. من خلال أفضل مجموعات محول لدينا، نحصل على تحسينات من 3-4 بلو في المتوسط لغات المصدر التي لا تملك بيانات داخل المجال. بالنسبة للغات المستهدفة دون بيانات داخل المجال، نحقق تحسن مماثل عن طريق الجمع بين المحولات بالترجمة الخلفي. تتوفر مواد تكميلية في https://tinyurl.com/r66stbxj.
ينقل التعرف على الكيان المسمى عبر المجال (NER) المعرفة NER من مجالات الموارد العالية إلى المجال المستهدف منخفض الموارد. نظرا للموارد المحدودة المسمى وانعكاف المجال، تعد Nor Cross-Domain مهمة صعبة. لمعالجة هذه التحديات، نقترح نهج تقطير المعرفة في مجال
التكيف في مجال التدريجي - PDALN. أنه يحقق إمكانية التكيف المجال المتفوق من خلال توظيف ثلاثة مكونات: (1) تقنيات تكبير البيانات التكيفية، والتي تخفف فجوة عبر المجال وتسمية مضيفية في وقت واحد؛ (2) ميزات ثابتة نطاق المجال متعدد المستويات، مشتقة من نهج MMD متعدد الحبيبات (الحد الأقصى للتناقض المتوسط)، لتمكين نقل المعرفة عبر المجالات؛ (3) مخطط KD المتقدمة، والذي يتيح تدريجيا نماذج اللغة المدربة مسبقا مسبقا لأداء تكيف المجال. تشير تجارب واسعة على أربعة معايير إلى أن PDALN يمكن أن تتكيف بشكل فعال مجالات الموارد العالية إلى المجالات المستهدفة من الموارد المنخفضة، حتى لو كانت متنوعة من حيث الأنماط والكتابة. تشير المقارنة مع خطوط الأساس الأخرى إلى أداء الدولة الواحد لدليلن.
على الرغم من الأداء الرائع للنماذج التوليدية واسعة النطاق في محادثة مفتوحة، من المعروف أنها أقل عملية لبناء أنظمة محادثة في الوقت الفعلي بسبب ارتفاع الكمون. من ناحية أخرى، يمكن أن تعيد نماذج استرجاع الردود بأشياء أقل بكثير ولكنها تظهر أداء أدنى للنما
ذج الإدارية على نطاق واسع لأن جودة المحادثة تحدها مجموعة استجابة محددة مسبقا. للاستفادة من كلتا النهجين، نقترح طريقة تدريب جديدة تسمى G2R (التقطير الاسترجلي من الاسترجاع) التي تحافظ على كفاءة نموذج استرجاع مع الاستفادة من القدرة على التحدث نموذجا إيديا واسع النطاق عن طريق غرس المعرفة بالتوليد نموذج في نموذج الاسترجاع. تتكون G2R من تقنيتين متميزتين من التقطير: يعزز G2R على مستوى البيانات مجموعة بيانات الحوار مع ردود إضافية النموذج المولد النطاق، وينقل G2R على مستوى النموذج درجة جودة الاستجابة التي تم تقييمها بواسطة نموذج التوليد إلى درجة نموذج الاسترجاع عن طريق فقدان المعرفة في التقطير. من خلال تجارب واسعة بما في ذلك التقييم البشري، نوضح أن نظام المحادثة المستندة إلى استرجاعنا المدربين مع G2R يدل على أداء محسن بشكل كبير مقارنة بنموذج استرجاع الأساس أثناء إظهار زمن الاستدلال الأساسي بشكل كبير من النماذج الإدارية على نطاق واسع.
لا يزال التقييم التلقائي للحوارات المفتوحة للحوالات تحديا ملحوظا إلى حد كبير.على الرغم من وفرة العمل المنجز في هذا المجال، يتعين على القضاة البشري تقييم جودة الحوارات.نتيجة لذلك، يؤدي أداء هذه التقييمات على نطاق واسع مكلفة.يحقق هذا العمل في استخدام ن
موذج تعليمي عميق مدرب على التقييم التقييم في اللغة العامة (الغراء) بمثابة إشارة عالية الجودة للحوارات المفتوحة للنطاق.الهدف من ذلك هو استخدام مهام الغراء المختلفة كوجهات نظر مختلفة بشأن الحكم على جودة المحادثة، وبالتالي تقليل الحاجة إلى بيانات تدريبية إضافية أو ردود تعمل بمثابة مراجع جودة.نظرا لهذه الطبيعة، يمكن للطريقة استنتاج مختلف مقاييس الجودة ويمكن أن تستمد النتيجة الإجمالية القائمة على المكونات.نحن نحقق معاملات الارتباط ذات دلالة إحصائية تصل إلى 0.7.
تمكين أنظمة حوار المجال المفتوح لطرح أسئلة توضيحية عند الاقتضاء هو اتجاه مهم لتحسين جودة استجابة النظام.وهي، بالنسبة للحالات عندما يكون طلب المستخدم غير محددا لنظام محادثة لتوفير إجابة على الفور، فمن المستحسن طرح سؤال توضيحي لزيادة فرص استرداد إجابة
مرضية.لمعالجة مشكلة توضيح الأسئلة في الحوارات المفتوحة في الحوارات ": (1) نجمع وتحرير مجموعة بيانات جديدة تركز على المحادثات المفتوحة ومتعددة الدورات، (2) نحن معيارا عدة حالاتخطوط الأساس العصبية الفن، و (3) نقترح خط أنابيب يتكون من خطوات غير متصلة بالإنترنت وعلى الإنترنت لتقييم جودة توضيح الأسئلة في حوارات مختلفة.هذه المساهمات مناسبة كمؤسسة لمزيد من البحث.
أنظمة الترجمة الآلية عرضة لمواطيات المجال، خاصة في سيناريو منخفض الموارد.غالبا ما تكون ترجمات خارج النطاق ذات جودة رديئة وعرضة للهلوسة، بسبب تحيز التعرض والكشف بمثابة نموذج لغة.نعتمد نهجين لتخفيف هذه المشكلة: القائمة المختصرة المعجمية مقيدة بمحاذاة إ
يماء IBM، وفرض الفرضية القائمة على التشابه.الأساليب هي رخيصة حسابية وتظهر النجاح على مجموعات اختبار الموارد المنخفضة من الموارد.ومع ذلك، فإن الطرق تفقد ميزة عند وجود بيانات كافية أو عدم تطابق مجال كبير جدا.يرجع ذلك إلى كل من نموذج IBM يفقد ميزته على المحاذاة العصبية المستفادة ضمنيا، وقضايا تجزئة الكلمات الفرعية للكلمات غير المرئية.
