Biocopy: آلية نسخ SPAN المكونة والتشغيل في نماذج SEQ2SEQ


الملخص بالعربية

تحصل آليات النسخ بشكل صريح على الرموز دون تغيير من تسلسل المصدر (الإدخال) لإنشاء تسلسل الهدف (الإخراج) ضمن إطار SEQ2SEQ العصبي.ومع ذلك، فإن معظم آليات النسخ الحالية تفكر فقط في نسخ كلمة واحدة من الجمل المصدر، مما يؤدي إلى فقدان الرموز الأساسية أثناء نسخ يمتد لفترة طويلة.في هذا العمل، نقترح هندسة التوصيل والتشغيل، وهي Biocopy، لتخفيف المشكلة المذكورة أعلاه.على وجه التحديد، في مرحلة التدريب، نقوم ببناء علامة حيوية لكل رمزية وتدريب النموذج الأصلي مع علامات الحيوية بشكل مشترك.في مرحلة الاستدلال، سيتوقع النموذج أولا العلامة الحيوية في كل خطوة زمنية، ثم إجراء استراتيجيات قناع مختلفة استنادا إلى الملصق الحيوي المتوقع لتقليل نطاق توزيعات الاحتمالات على قائمة المفردات.النتائج التجريبية على اثنين من المهام الإدارية المنفصلة تظهر أنهم يتفوقون جميعا على النماذج الأساسية عن طريق إضافة البوغايت لدينا إلى هيكل النموذج الأصلي.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث