ترغب بنشر مسار تعليمي؟ اضغط هنا

نموذج الاهتمام بإدراكه

Template-aware Attention Model for Earnings Call Report Generation

274   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تكسب المكالمات هي من بين الموارد المهمة للمستثمرين والمحللين لتحديث أهداف الأسعار الخاصة بهم. الشركات عادة ما تنشر النصوص المقابلة قريبا بعد أحداث الأرباح. ومع ذلك، فإن النصوص الخام هي في كثير من الأحيان طويلة جدا وتفوت الهيكل المتماسك. لتعزيز الوضوح، يكتب المحللون تقارير منظما جيدا لبعض أحداث استدعاء الأرباح الهامة من خلال تحليلها، تتطلب الوقت والجهد. في هذه الورقة، نقترح تاتسوم (نموذج الاهتمام بإنفاذ القالب للتلخيص)، ونهج تلخيص عصبي معمم لتوليد التقرير المنظم، وتقييم أدائه في مجال مكالمات الأرباح. نحن نبني كوربا كبيرا مع الآلاف من النصوص والتقارير باستخدام أحداث الأرباح التاريخية. نقوم أولا بتوليد مجموعة مرشحة من التقارير من Corpus كقوالب ناعمة محتملة لا تفرض قواعد فعلية على الإخراج. بعد ذلك، نوظف نموذج تشفير مع فقدان الهامش المرتبة لتحديد مجموعة المرشح وحدد أفضل قالب الجودة. أخيرا، يتم استخدام النص والقالب الناعم المحدد كإدخال في إطار SEQ2SEQ لتوليد التقرير. النتائج التجريبية على مجموعة بيانات المكالمات الأرباح تظهر أن نموذجنا يتفوق بشكل كبير على النماذج الحديثة من حيث المعلومات والهيكل.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نماذج الموضوعات العصبية (NTMS) تطبيق الشبكات العصبية العميقة إلى نمذجة الموضوعات. على الرغم من نجاحها، تجاهل NTMS عموما جائبا مهمين: (1) فقط يتم استخدام معلومات عدد الكلمات على مستوى المستند للتدريب، في حين يتم تجاهل المزيد من المعلومات ذات المستوى ا لجميل على مستوى الجملة، و (2) المعرفة الدلالية الخارجية فيما يتعلق بالوثائق، الجمل والكلمات لم يتم استغلالها للتدريب. لمعالجة هذه المشكلات، نقترح نموذج NTM (VAE) AutoNCoder (VAE) بشكل مشترك إعادة بناء الجملة وكلمة الوثيقة التي تهمها مجموعات من المبيعات الموضعية في كيس الكلمات (القوس) و EMBEDDINGS الدلالي المدرب مسبقا. يتم تحويل المدينات المدربة مسبقا لأول مرة إلى مساحة موضة كامنة مشتركة لمواءمة دلالاتها مع تضمين القوس. يتميز نموذجنا أيضا باختلاف KL هرمي للاستفادة من تضمينات كل وثيقة لتوسيع نطاق جملهم، مما يدفع المزيد من الاهتمام للجمل ذات الصلة الدولى. أظهرت كل من التجارب الكمية والنوعية فعالية نموذجنا في 1) خفض أخطاء إعادة الإعمار على كل من المستويات الجملة والوثائق، و 2) اكتشاف موضوعات أكثر تماسكا من مجموعات بيانات العالم الحقيقي.
يعد الانتباه عبر الانتباه عنصرا هاما للترجمة الآلية العصبية (NMT)، والتي تتحقق دائما عن طريق انتباه DOT-Product في الأساليب السابقة.ومع ذلك، فإن اهتمام DOT-Product يعتبر فقط الارتباط بين الكلمات بين الكلمات، مما أدى إلى تشتت عند التعامل مع جمل طويلة وإهمال العلاقات المجاورة للمصدر.مستوحاة من اللغويات، فإن القضايا المذكورة أعلاه ناجمة عن تجاهل نوع من الاهتمام، الذي يطلق عليه الانتباه المركزي، الذي يركز على عدة كلمات مركزية ثم ينتشر حولها.في هذا العمل، نطبق نموذج خليط غاوسي (GMM) لنموذج الاهتمام المركزي بالاهتمام الشامل.تبين التجارب والتحليلات التي أجريناها على ثلاث مجموعات من مجموعات البيانات أن الطريقة المقترحة تتفوق على خط الأساس ولديها تحسن كبير في جودة المحاذاة ودقة N-Gram والترجمة الحكم الطويلة.
نظرا لتطوير تكنولوجيا الكمبيوتر الحديثة والزيادة في عدد مستخدمي الوسائط عبر الإنترنت، يمكننا رؤية جميع أنواع المشاركات والتعليقات في كل مكان على الإنترنت.الكلام الأمل لا يمكن أن تلهم فقط المبدعين ولكن أيضا جعل المشاهدين الآخرين ممتعة.من الضروري أن يك تشف خطاب الأمل بشكل فعال وتلقي تلقائيا.تصف هذه الورقة نهج فريقنا في مهمة الكشف عن الكلام الأمل.نحن نستخدم آلية الاهتمام لضبط وزن جميع طبقات الإخراج من XLM-Roberta للاستفادة الكاملة من المعلومات المستخرجة من كل طبقة، واستخدام المبلغ المرجح لجميع طبقات الإخراج لإكمال مهمة التصنيف.ونحن نستخدم طريقة طية K الطبقية لتعزيز مجموعة بيانات التدريب.نحقق متوسط درجة F1 مرجح من 0.59 و 0.84 و 0.92 من أجل التاميل والمالايالام واللغة الإنجليزية، المرتبة الثالثة والثانية والثانية.
في هذه الورقة، نقترح نموذجا مقرا له عناية سياقية مع تدريبات دقيقة على مرحلتين باستخدام روبرتا.أولا، نقوم بإجراء النغمة الجميلة في المرحلة الأولى على Corpus مع روبرتا، بحيث يمكن للنموذج أن يتعلم بعض المعرفة المسبقة المجال.ثم نحصل على التضمين السياقي ب كلمات السياق بناء على التضمين على مستوى الرمز المميز مع النموذج الدقيق.ونحن نستخدم KFOFT التحقق من الصحة للحصول على نماذج K وفرقة لهم للحصول على النتيجة النهائية.أخيرا، نحن نحصل على المركز الثاني في مرحلة التقييم النهائي من المهمة الفرعية 2 مع ارتباط بيرسون ب 0.8575.
باللغة العربية، يتم استخدام علامات التشكيل لتحديد المعاني وكذلك النطق.ومع ذلك، غالبا ما يتم حذف الدروع من النصوص المكتوبة، مما يزيد من عدد المعاني والنطوقتين المحتملة.هذا يؤدي إلى نص غامض ويجعل العملية الحسابية على النص غير المسموح به أكثر صعوبة.في ه ذه الورقة، نقترح نموذج إعماري لغوي للترشف عن النص العربي (لاماد).في لاماد، يتم تقديم تمثيل ميزة لغوية جديدة، والذي يستخدم كل من ملامح الكلمة والأحرف السياقية.بعد ذلك، يقترح آلية الاهتمام اللغوي التقاط الميزات اللغوية المهمة.بالإضافة إلى ذلك، نستكشف تأثير الميزات اللغوية المستخرجة من النص على درج النص العربي (ATD) عن طريق إدخالها لآلية الاهتمام اللغوي.توضح النتائج التجريبية الواسعة على ثلاث مجموعات بيانات بأحجام مختلفة أن لاماد تتفوق على النماذج الحالية للحالة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا