أسئلة البحث الحديثة أهمية الاهتمام الذاتي لمنتج المنتج في نماذج المحولات ويظهر أن معظم رؤساء الاهتمام تعلم أنماطا موضعية بسيطة. في هذه الورقة، ندفع أبعد من ذلك في خط البحث هذا واقتراح آلية بديلة جديدة عن النفس: الاهتمام المتكرر (ران). تتعلم RAN بشكل
مباشر أوزان الاهتمام دون أي تفاعل رمزي إلى رمز ويحسن قدرتها على تفاعل الطبقة إلى الطبقة. عبر مجموعة واسعة من التجارب في 10 مهام ترجمة آلية، نجد أن نماذج RAN تنافسية وتفوق نظيرها المحول في بعض السيناريوهات، مع عدد أقل من المعلمات ووقت الاستدلال. خاصة، عند تطبيق ركض إلى فك ترميز المحولات، يجلب التحسينات المتسقة عن طريق حوالي +0.5 بلو في 6 مهام الترجمة و +1.0 Bleu على مهمة الترجمة التركية الإنجليزية. بالإضافة إلى ذلك، نجرينا تحليلا مكثفا بشأن أوزان الاهتمام في ركض لتأكيد المعقولية. ران لدينا هو بديل واعد لبناء نماذج NMT أكثر فعالية وكفاءة.
في الآونة الأخيرة، جادل بأن نماذج تشفير التشفير يمكن أن تكون أكثر تفسيرا عن طريق استبدال وظيفة SoftMax بالاهتمام بمتغيراتها المتناقضة. في هذا العمل، نقدم رواية، وسيلة بسيطة لتحقيق Sparsity في الانتباه: استبدلنا تنشيط SoftMax مع Relu، وإظهار أن Sparsi
ty يخرج بشكل طبيعي من مثل هذه الصياغة. يتم تحقيق استقرار التدريب بطبقة تطبيع إما إما بتهفية متخصصة أو وظيفة Gating إضافية. إن نموذجنا، الذي نسميه الاهتمام الخطي المعتمد (RELA)، سهل التنفيذ وأكثر كفاءة من آليات الاهتمام المتناقش سابقا سابقا. نحن نطبق RELLA إلى المحولات وإجراء تجارب على خمس مهام ترجمة آلية. recra تحقق أداء الترجمة مماثل للعديد من خطوط الأساس القوية، مع سرعة التدريب وتشكيل سرعة مماثلة للاهتمام الفانيليا. يوضح تحليلنا أن RELLA تقدم معدل مرتفع للغاية وتنوع الرأس، والاهتمام الصافي الناجم عن تحقيق دقة أفضل فيما يتعلق بمحاذاة الكلمة المستهدفة المصدر من النماذج القائمة على Softmax مؤخرا. تتعلم رؤساء RELA بشكل فعال أيضا حضور أي شيء (I.E. أطفئ ") لبعض الاستفسارات، وهو أمر غير ممكن مع بدائل Softmax Sparsified.
تضع الكشف عن الشائعات على وسائل التواصل الاجتماعي نماذج لغة مدربة مسبقا (LMS)، مثل Bert، والميزات المساعدة، مثل التعليقات، قيد الاستخدام. ومع ذلك، من ناحية، فإن مجموعات بيانات الكشف عن الشائعات في الشركات الصينية مع تعليقات نادرة؛ من ناحية أخرى، فإن
التفاعل المكثف من الاهتمام على النماذج القائمة على المحولات مثل بيرت قد يعيق تحسين الأداء. لتخفيف هذه المشاكل، نبني مجموعة بيانات جديدة من المدونات الصغيرة الصينية تسمى Weibo20 من خلال جمع الوظائف والتعليقات المرتبطة بها من سينا ويبو واقترح فرقة جديدة تسمى Stanker (Bracking Network بناء على الانتباه ملثمين). تتبنى Stanker نماذج برت ملثمين من اهتمامات اثنين من المحبوسين على مستوى تشفير قاعدة. على عكس الخطابة الأصلية، يتخذ نموذج LGAM-Bert الجديد الخاص بنا تعليقات كملفات مساعدة مهمة ويعتد على الانتباه بين الوظائف والتعليقات على الطبقات المنخفضة. أظهرت التجارب على Weibo20 وثلاث مجموعات بيانات وسائل التواصل الاجتماعي الحالية أن الستائر تفوقت على جميع النماذج المقارنة، وخاصة ضرب الدولة القديمة في مجموعة بيانات Weibo.
يجذب اهتمام الذات متعدد الرأس مؤخرا اهتماما هائلا بسبب وظائفه المتخصصة، والحساب المتوازي الهامة، والقابلية للتمويل المرن. ومع ذلك، تظهر الدراسات التجريبية الحديثة للغاية أن بعض رؤساء الانتباه الذاتي يكسبون مساهمة ضئيلة ويمكن تقليم رؤوس زائدة عن الحاج
ة. يأخذ هذا العمل منظورا جديدا لتحديد رؤساء الرؤوس الزائدة ثم الاكتتاب. نقترحنا طريقة توسيع الرأس الحيلية (RHE) لتحديد الرؤوس الزائدة، ثم تكمن إمكاناتها من خلال تعلم العلاقات النحوية والمعرفة السابقة في النص دون التضحية بأدوار رؤساء هامة. آليات اهتمام بناء على بناء الجملة رواية (البحر) الجديد: يتم تقديم تحيز قناع التبعية وتحيز من وضع الجمل المحلي النسبي، لمراجعة توزيعات الانتباه الذاتي لتحسين النحوي في الترجمة الآلية. يتم تقييم أهمية الرؤساء الفردية ديناميكيا أثناء تحديد الرؤوس الزائدة، حيث نطبقنا البحر على تنقل رؤوسا زائدة عن الحاجة مع الحفاظ على قوة الرؤوس المهمة. النتائج التجريبية على تبنيها على نطاق واسع WMT14 و WMT16 الإنجليزية إلى الألمانية والإنجليزية إلى اللغة التشيكية ترجمة آلة اللغة التشيكية تحقق من فعالية RHE.
ترميز ICD-9 هي مهمة الفواتير السريرية ذات الصلة، حيث يتم تفاحص النصوص غير المنظمة مع معلومات حول تشخيص وعلاجات المريض مع رموز ICD-9 متعددة.الترميز الآلي ICD-9 هو حقل بحث نشط، حيث تمثل الهندسة النموذجية القائم على CNN و RNN النهج الحديثة من بين الفن.ف
ي هذا العمل، نقترح تصنيف اهتمام الملصقات القائمة على الوصف لتحسين الشريحة النموذجية عند التعامل مع النصوص الصاخبة مثل الملاحظات السريرية.
أصبحت نماذج لغة كبيرة من الصعب تدريبا على نحو متزايد بسبب وقت الحسبان المتزايد والتكلفة.في هذا العمل، نقدم SRU ++، وهي عبارة عن بنية عالية الكفاءة تجمع بين تكرار سريع واهتمام لنمذجة التسلسل.SRU ++ يعرض قدرة النمذجة القوية وكفاءة التدريب.فيما يتعلق بم
هام نمذجة اللغة القياسية مثل مجموعات بيانات ENWIK8 و Wiki-103 و Mount Word Word، يحصل نموذجنا على أجزاء أفضل لكل حرف وحيرة أثناء استخدام تكلفة التدريب الأقل بنسبة 3x-10x مقارنة بنماذج المحولات ذات الأداء الأعلى.على سبيل المثال، يحقق نموذجنا نتيجة حديثة لمجموعة بيانات Enwik8 باستخدام 1.6 أيام من التدريب على آلة 8 GPU.نوضح كذلك أن SRU ++ يتطلب الحد الأدنى من الاهتمام بالقرب من الأداء القريب من الحديث.تشير نتائجنا إلى الاستفادة بشكل مشترك تكرار سريع مع القليل من الاهتمام باعتباره اتجاها واعدا لتسريع التدريب النموذجي والاستدلال.
تركز أنظمة الكشف عن الساركاز الموجودة على استغلال العلامات اللغوية أو السياق أو البثور على مستوى المستخدم.ومع ذلك، تشير الدراسات الاجتماعية إلى أن العلاقة بين المؤلف والجمهور يمكن أن تكون ذات صلة بنفس القدر لاستخدام السخرية وتفسيرها.في هذا العمل، نقت
رح إطارا بالاستفادة المشتركة (1) سياق مستخدم من تغريداتهم التاريخية مع (2) المعلومات الاجتماعية من الحي المحادثة للمستخدم في رسم بياني تفاعل، إلى السياق تفسير المنشور.نحن نستخدم شبكات انتباه الرسوم البيانية (GAT) عبر المستخدمين والتويت في مؤشر ترابط محادثة، جنبا إلى جنب مع تمثيلات سجل المستخدم الكثيفة.بصرف النظر عن تحقيق نتائج حديثة على مجموعة البيانات التي تم نشرها مؤخرا من مستخدمي Twitter الذي تم نشره مؤخرا مع تغريدات تسمية 30 ألفا، قم بإضافة تغريدات 10M Unabeled كسياق، تشير نتائجنا إلى أن النموذج يساهم في تفسير النوايا الساخرة للمؤلف أكثر منالتنبؤ بتصور السخرية من قبل الآخرين.
تكسب المكالمات هي من بين الموارد المهمة للمستثمرين والمحللين لتحديث أهداف الأسعار الخاصة بهم. الشركات عادة ما تنشر النصوص المقابلة قريبا بعد أحداث الأرباح. ومع ذلك، فإن النصوص الخام هي في كثير من الأحيان طويلة جدا وتفوت الهيكل المتماسك. لتعزيز الوضوح
، يكتب المحللون تقارير منظما جيدا لبعض أحداث استدعاء الأرباح الهامة من خلال تحليلها، تتطلب الوقت والجهد. في هذه الورقة، نقترح تاتسوم (نموذج الاهتمام بإنفاذ القالب للتلخيص)، ونهج تلخيص عصبي معمم لتوليد التقرير المنظم، وتقييم أدائه في مجال مكالمات الأرباح. نحن نبني كوربا كبيرا مع الآلاف من النصوص والتقارير باستخدام أحداث الأرباح التاريخية. نقوم أولا بتوليد مجموعة مرشحة من التقارير من Corpus كقوالب ناعمة محتملة لا تفرض قواعد فعلية على الإخراج. بعد ذلك، نوظف نموذج تشفير مع فقدان الهامش المرتبة لتحديد مجموعة المرشح وحدد أفضل قالب الجودة. أخيرا، يتم استخدام النص والقالب الناعم المحدد كإدخال في إطار SEQ2SEQ لتوليد التقرير. النتائج التجريبية على مجموعة بيانات المكالمات الأرباح تظهر أن نموذجنا يتفوق بشكل كبير على النماذج الحديثة من حيث المعلومات والهيكل.
يمكن أن تكون مشاكل تصنيف المستندات متعددة الملصقات (MLDC) تحديا، خاصة بالنسبة للمستندات الطويلة ذات مجموعة علامات كبيرة وتوزيع ذيل طويل على الملصقات. في هذه الورقة، نقدم شبكة اهتمام نفعية فعالة لمشكلة MLDC مع التركيز على تنبؤ الكود الطبي من الوثائق ا
لسريرية. ابتكاراتنا هي ثلاثة أضعاف: (1) نستخدم تشفير عميق يستند إلى الارتفاع مع شبكات الضغط والإثارة والشبكات المتبقية لتجميع المعلومات عبر الوثيقة وتعلم تمثيلات وثيقة ذات مغزى تغطي نطاقات مختلفة من النصوص؛ (2) نستكشف الانتباه متعدد الطبقات ومجموعة إيلاء الاهتمام لاستخراج الميزات الأكثر تفاعيمية من هذه التمثيلات متعددة النطاق؛ (3) نجمع بين خسارة انتروبيا الصليب الثنائية وفقدان البؤري لتحسين الأداء للعلامات النادرة. نحن نركز دراسة تقييمنا على MIMIC-III، مجموعة بيانات واستخدامها على نطاق واسع في المجال الطبي. تتفوق نماذجنا على العمل السابق على الترميز الطبي وتحقيق نتائج جديدة من الفنون الجديدة على مقاييس متعددة. كما نوضح أيضا الطبيعة المستقلة للغة لنهجنا من خلال تطبيقها على مجموعة بيانات غير الإنجليزية. يتفوق النموذج الخاص بنا على أفضل نموذج مسبق ونموذج محول متعدد اللغات من هامش جوهري.
نماذج الموضوعات العصبية (NTMS) تطبيق الشبكات العصبية العميقة إلى نمذجة الموضوعات. على الرغم من نجاحها، تجاهل NTMS عموما جائبا مهمين: (1) فقط يتم استخدام معلومات عدد الكلمات على مستوى المستند للتدريب، في حين يتم تجاهل المزيد من المعلومات ذات المستوى ا
لجميل على مستوى الجملة، و (2) المعرفة الدلالية الخارجية فيما يتعلق بالوثائق، الجمل والكلمات لم يتم استغلالها للتدريب. لمعالجة هذه المشكلات، نقترح نموذج NTM (VAE) AutoNCoder (VAE) بشكل مشترك إعادة بناء الجملة وكلمة الوثيقة التي تهمها مجموعات من المبيعات الموضعية في كيس الكلمات (القوس) و EMBEDDINGS الدلالي المدرب مسبقا. يتم تحويل المدينات المدربة مسبقا لأول مرة إلى مساحة موضة كامنة مشتركة لمواءمة دلالاتها مع تضمين القوس. يتميز نموذجنا أيضا باختلاف KL هرمي للاستفادة من تضمينات كل وثيقة لتوسيع نطاق جملهم، مما يدفع المزيد من الاهتمام للجمل ذات الصلة الدولى. أظهرت كل من التجارب الكمية والنوعية فعالية نموذجنا في 1) خفض أخطاء إعادة الإعمار على كل من المستويات الجملة والوثائق، و 2) اكتشاف موضوعات أكثر تماسكا من مجموعات بيانات العالم الحقيقي.
