أظهرت نماذج اللغة الموجودة مسبقا مسبقا (PLMS) فعالية التعلم الإشراف على الذات لمجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، فإن معظمهم لا يدركون بشكل صريح المعرفة الخاصة بالمجال، وهو أمر ضروري لمهام المصب في العديد من المجالات، مثل المه
ام في سيناريوهات التجارة الإلكترونية. في هذه الورقة، نقترح K- المكونات، نموذج لغة محقوم المعرفة مسبقا بناء على محول تشفير التشفير التي يمكن تحويلها إلى كل من فهم اللغة الطبيعية ومهام الجيل. على وجه التحديد، نقترح خمسة أهداف مسبقة الإشراف على علم المعرفة على المعرفة في تصميم تعلم المعرفة الخاصة بالمجال، بما في ذلك قواعد المعرفة الخاصة بالمجال التجاري، وجوانب كيانات المنتج، وفئات من كيانات المنتجات، ومقترحات البيع الفريدة من كيانات المنتج. نتحقق من طريقتنا في مجموعة متنوعة من سيناريوهات التجارة الإلكترونية التي تتطلب معرفة خاصة بالمجال، بما في ذلك إكمال قاعدة معارف المنتج، وخصم منتج مبيعات، والحوار متعدد الدوران. تتفوق K- التوصيل بشكل كبير على خطوط الأساس في جميع المجالات، والتي توضح أن الطريقة المقترحة تتعلم بفعالية مجموعة متنوعة متنوعة من المعرفة الخاصة بالمجال لكل من مهام الفم والجيل اللغوي. رمز لدينا متاح.
في الآونة الأخيرة، تقدم DEVENTANGLEMEMEMENEM بناء على شبكة خدرية توليدية أو AutoNCoder التباين بشكل كبير أداء التطبيقات المتنوعة في مجالات السيرة الذاتية و NLP.ومع ذلك، لا تزال هذه النماذج تعمل على مستويات خشنة في تحسين الخصائص ذات الصلة ارتباطا وثيق
ا، مثل بناء الجملة والدلالات باللغات البشرية.تقدم هذه الورقة نموذجا متحللا عميقا يستند إلى بناء جملة VAE ل DisentAnge و DeMantics باستخدام عقوبات الارتباط الكلية على اختلافات KL.والجدير بالذكر أننا نتحلل مدة الاختلاف KL من VAE الأصلي بحيث يمكن فصل المتغيرات الكامنة التي تم إنشاؤها بطريقة أكثر وضوحا وتفسيرا.تبين التجارب على مجموعات البيانات القياسية أن نموذجنا المقترح يمكن أن يحسن بشكل كبير من جودة الإعانات بين التمثيلات النحوية والدلية لمهام التشابه الدلالي ومهام التشابه النحوية.
باللغة العربية، يتم استخدام علامات التشكيل لتحديد المعاني وكذلك النطق.ومع ذلك، غالبا ما يتم حذف الدروع من النصوص المكتوبة، مما يزيد من عدد المعاني والنطوقتين المحتملة.هذا يؤدي إلى نص غامض ويجعل العملية الحسابية على النص غير المسموح به أكثر صعوبة.في ه
ذه الورقة، نقترح نموذج إعماري لغوي للترشف عن النص العربي (لاماد).في لاماد، يتم تقديم تمثيل ميزة لغوية جديدة، والذي يستخدم كل من ملامح الكلمة والأحرف السياقية.بعد ذلك، يقترح آلية الاهتمام اللغوي التقاط الميزات اللغوية المهمة.بالإضافة إلى ذلك، نستكشف تأثير الميزات اللغوية المستخرجة من النص على درج النص العربي (ATD) عن طريق إدخالها لآلية الاهتمام اللغوي.توضح النتائج التجريبية الواسعة على ثلاث مجموعات بيانات بأحجام مختلفة أن لاماد تتفوق على النماذج الحالية للحالة.
يوفر تقطير المعرفة (KD) وسيلة طبيعية لتقليل الكمون واستخدام الذاكرة / الطاقة للنماذج المسبقة للأعياد الضخمة التي تأتي للسيطرة على معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. في حين أن العديد من المتغيرات المتطورة في خوارزميات KD قد اقترحت لتطبيقا
ت NLP، فإن العوامل الرئيسية التي تدعم أداء التقطير الأمثل غالبا ما تكون مرتبكة وتبقى غير واضحة. نحن نهدف إلى تحديد مدى تأثير مكونات مختلفة في خط أنابيب KD على الأداء الناتج ومقدار خط أنابيب KD الأمثل يختلف عبر مجموعات البيانات / المهام المختلفة، مثل سياسة تكبير البيانات، وظيفة الخسارة، والتمثيل الوسيط لنقل المعرفة بين المعلم وطالب. لتتأكد من أن آثارها، نقترح تقطير، إطار التقطير، يجمع بشكل منهجي بين مجموعة واسعة من التقنيات عبر مراحل مختلفة من خط أنابيب KD، مما يتيح لنا تحديد مساهمة كل مكون. ضمن تقطير، ونحن نقوم بتحديد الأهداف الشائعة الاستخدام لتقطير التمثيلات الوسيطة بموجب هدف معلومات متبادلة عالمية (MI) واقتراح فئة من الوظائف الموضوعية MI مع التحيز / تباين التباين أفضل لتقدير ميل بين المعلم والطالب. في مجموعة متنوعة من مجموعات بيانات NLP، يتم تحديد أفضل تكوينات تقطير عبر تحسين المعلمة على نطاق واسع. تجاربنا تكشف عن ما يلي: 1) النهج المستخدم لتقطير التمثيل الوسيط هو أهم عامل في أداء الدكتوراط، 2) بين أهداف مختلفة للتقطير الوسيط، MI-تنفذ أفضل، و 3) يوفر تكبير البيانات دفعة كبيرة ل مجموعات البيانات التدريب الصغيرة أو شبكات الطلاب الصغيرة. علاوة على ذلك، نجد أن مجموعات البيانات / المهام المختلفة تفضل خوارزميات KD المختلفة، وبالتالي اقترح خوارزمية بسيطة ل Autodistiller التي يمكن أن توصي بخط أنابيب KD جيدة لمجموعة بيانات جديدة.
غالبا ما يتم استخدام مخصصات Dirichlet الكامنة (LDA)، وهو نموذج موضوع يستخدم على نطاق واسع كأداة أساسية لتحليل النص في التطبيقات المختلفة. ومع ذلك، فإن عملية التدريب لنموذج LDA عادة ما تتطلب بيانات كوربوس نصية ضخمة. من ناحية، قد تعرض هذه البيانات الضخ
مة معلومات خاصة في بيانات التدريب، وبالتالي تكبد شواغل الخصوصية الهامة. من ناحية أخرى، قد تتأثر كفاءة التدريب لنموذج LDA، لأن تدريب LDA يحتاج غالبا إلى التعامل مع بيانات كوربوس النص الضخمة. لمعالجة مشكلات الخصوصية في التدريب النموذجي LDA، جمعت بعض الأعمال الحديثة خوارزميات تدريب LDA التي تستند إلى أخذ عينات Gibbs المنهارة (CGS) مع خصوصية تفاضلية. ومع ذلك، فإن هذه الأعمال عادة ما يكون لها ميزانية خصوصية تراكمية عالية بسبب التكرارات الشاسعة في CGS. علاوة على ذلك، فإن هذه الأعمال لديها دائما كفاءة منخفضة بسبب التعامل مع بيانات Corpus النص الضخمة. لتحسين ضمان الخصوصية والكفاءة، نجمع بين طريقة فرعية مع CGS واقتراح خوارزمية تدريب LDA الجديدة مع خصوصية تفاضلية، فرعية LDA. نجد أن التعيين في CGS يحسن بشكل طبيعي الكفاءة أثناء تضخيم الخصوصية. نقترح أداة متري جديدة، وكفاءة - وظيفة الخصوصية، لتقييم تحسينات ضمان الخصوصية والكفاءة. استنادا إلى طريقة فرعية تقليدية، نقترح طريقة عمل قضائية على التكيف لتحسين فائدة النموذج التي تنتجها فرعية LDA عندما تكون النسبة الفرعية صغيرة. نحن نقدم تحليلا شاملا ل Sub-LDA، وتقييم نتائج التجربة تحسيناتها وضمان خصوصيتها.
تم دراسة ضغط الجملة (SC)، التي تهدف إلى تقصير الأحكام مع الاحتفاظ بكلمات مهمة تعبر عن المعاني الأساسية، لسنوات عديدة في العديد من اللغات، خاصة باللغة الإنجليزية. ومع ذلك، فإن التحسينات في مهمة SC الصينية لا تزال قليلة جدا بسبب العديد من الصعوبات: ناد
رة من كوربورا الموازية، وتحبيب تجزئة مختلفة من الجمل الصينية، والأداء غير الكامل للتحليلات النحوية. علاوة على ذلك، تم التحقيق في نماذج SC الصينية بأكملها حتى الآن. في هذا العمل، نبني مجموعة بيانات SC من الجمل العامية الصينية من نظام الإجابة على مدى واقعية في مجال الاتصالات السلكية واللاسلكية، ثم نقترح نموذج صيني عصبي SC معزز مع خريطة تنظيم ذاتية (SOM-NCSCM)، إلى احصل على رؤية قيمة من البيانات وتحسين أداء نموذج SC الصيني العصبي بأكمله بطريقة صالحة. تظهر النتائج التجريبية أننا يمكن أن تستفيد بشكل كبير من التحقيق العميق في التشابه بين البيانات، وتحقيق درجة F1 واعدة قدرها 89.655 وفرز Bleu4 البالغة 70.116، والتي توفر أيضا خط أساس لمزيد من الأبحاث حول مهمة SC الصينية.
في هذه الدراسة، نقترح طريقة تعلم الإشراف على الذات التي تطبق تمثيلات معنى الكلمات في السياق من نموذج لغة ملثم مسبقا مسبقا. تعد تمثيلات الكلمات هي الأساس للدلالات المعجمية في السياق وتقديرات التشابه المنصوصية الدلالية غير المرفوعة (STS). تقوم الدراسة
السابقة بتحويل التمثيلات السياقية التي تستخدم تضمين كلمة ثابتة لإضعاف الآثار المفرطة لمعلومات السياقية. على النقيض من ذلك، تستمد الأسلوب المقترح على تمثيلات كلمة معنى في السياق مع الحفاظ على معلومات السياق المفيدة سليمة. على وجه التحديد، تتعلم طريقةنا الجمع بين مخرجات الطبقات المخفية المختلفة التي تستخدم الانتباه عن الذات من خلال التعلم الذاتي الخاضع للإشراف مع كائن تدريب تلقائيا تلقائيا. لتقييم أداء النهج المقترح، أجرينا تجارب مقارنة باستخدام مجموعة من المهام القياسية. تؤكد النتائج أن تمثيلاتنا أظهرت أداء تنافسي مقارنة بسلطة حديثة من الأسلوب لتحويل التمثيلات السياقية للمهام الدلالية المعجمية السياقة وتفوقها على تقدير STS.
نقطة حرجة في تلخيص المستندات المتعددة (MDS) هي معرفة العلاقات بين مختلف الوثائق. في هذه الورقة، نقترح نموذجا جديدا للمغادرات الرواية، حيث نمثل مستندات متعددة كشركة بيانية غير متجانسة، حيث أخذت العقد الدلالية من التحبيبات المختلفة في الاعتبار، ثم قم ب
تطبيق إطار رسم بياني للتسلسل لتوليد ملخصات. علاوة على ذلك، فإننا نوظف نموذج موضوع عصبي لاستكشاف المواضيع الكامنة المشتركة التي يمكن أن تكون بمثابة وحدات دلالية عبر الوثيقة لتسجيل مستندات مختلفة وتوفير معلومات عالمية لتوجيه الجيل الموجز. نظرا لأن استخراج الموضوع يمكن أن ينظر إليه كنوع خاص من التلخيص الذي يلخص النصوص "نصوص" في شكل مجردة أكثر، أي توزيع موضوعي، نعتمد استراتيجية تعليمية متعددة المهام لتدريب المظهر والتلخيص المشترك، مما يسمح للترقية بعضهم البعض. توضح النتائج التجريبية على مجموعة بيانات الأخبار المتعددة أن نموذجنا يتفوق على نماذج MDS السابقة في كل من درجات Rouge والتقييم البشري، وفي الوقت نفسه يتعلم موضوعات عالية الجودة.
عندما يبرز تقنية إسناد نموذجية جزءا خاصا من المدخلات، قد يفهم المستخدم هذا الضوء على أنه بيان حول Worklactuals (Miller، 2019): إذا كان هذا الجزء من الإدخال هو التغيير، فقد يتغير تنبؤ النموذج أيضا. تحقق هذه الورقة في مدى توافق تقنيات الإسناد المختلفة
مع هذا الافتراض على مواجهة بشكل واقعي في حالة قراءة الفهم (RC). RC هي حالة اختبار صعبة بشكل خاص، كأداة مستوية على مستوى الرمز المميز الذي تم دراسته على نطاق واسع في مهام NLP الأخرى مثل تحليل المعرفات أقل مناسبا لتمثيل التفكير الذي تؤدي نماذج RC. نقوم بإنشاء مجموعات مضادة لثلاث إعدادات RC مختلفة، ومن خلال الاستدلال التي يمكنها توصيل نواتج أساليب الإسناد إلى سلوك نموذج رفيع المستوى، يمكننا تقييم مدى فائدة أساليب الإسناد المختلفة وحتى التنسيقات المختلفة لفهم الوسائل المتعددة. نجد أن نسبة الزوجية أكثر ملاءمة بشكل أفضل ل RC من سمات المستوى الرمز المميز عبر هذه الإعدادات المختلفة RC، مع أفضل أدائنا القادم من التعديل الذي نقترحه لطريقة إسناد الزوجية الحالية.
الرسوم البيانية المعرفة ضرورية للعديد من تطبيقات معالجة اللغة الطبيعية المصب، ولكنها غير مكتملة عادة مع العديد من الحقائق المفقودة. ينتج عن هذا الجهود البحثية في مهمة التفكير المتعدد القفزات، والتي يمكن صياغة كعملية بحث ونماذج حالية تؤدي عادة منطق بع
يد المنال. ومع ذلك، فإن السبب البعيد الطويل أمر حيوي أيضا بالقدرة على توصيل الكيانات غير المرتبطة بسطحية. بأفضل من علمنا، يفتقر إلى وجود إطار عام يقترب من التفكير المتعدد القفز في سيناريوهات التفكير المسؤولة لفترة طويلة مختلطة. نقول أن هناك مشكلتان رئيسيتان لنموذج التفكير المتعدد القفز العام: ط) أين تذهب، والثاني) عند التوقف. لذلك، نقترح نموذج عام يحدد المشكلات ذات ثلاث وحدات: 1) وحدة المعرفة المحلية المحلية لتقدير المسارات المحتملة، 2) وحدة التسرب الإجراءات المختلفة لاستكشاف مجموعة متنوعة من المسارات، و 3) التوقف التكيفي وحدة البحث لتجنب البحث عنها. توضح النتائج الشاملة على ثلاث مجموعات بيانات تفوق نموذجنا مع تحسينات كبيرة ضد خطوط الأساس في سيناريوهات التفكير المسافة القصيرة والطويلة.
