تجزئة خطاب وقطع الخطاب على مستوى الجملة تلعب أدوارا مهمة لمختلف مهام NLP للنظر في التماسك النصي.على الرغم من الإنجازات الأخيرة في كلا المهام، لا يزال هناك مجال للتحسين بسبب ندرة البيانات المسمى.لحل المشكلة، نقترح مصنف إنتاج نموذجي في اللغة (LMGC) لاس
تخدام مزيد من المعلومات من الملصقات عن طريق معالجة الملصقات كمدخلات أثناء تعزيز تمثيلات التسمية من خلال تضمين أوصاف لكل ملصق.علاوة على ذلك، نظرا لأن هذا يتيح LMGC من إعداد تمثيلات الملصقات، غير المرئي في خطوة ما قبل التدريب، يمكننا استخدام نموذج لغة مدرب مسبقا في LMGC.تظهر النتائج التجريبية على DTSET RST-DT أن LMGC حققت النتيجة F1 من أصل 96.72 في تجزئة الخطاب.وقد حقق المزيد من درجات الولاية F1 عشرات من 84.69 مع حدود الذهب EDU و 81.18 مع حدود مجزأة تلقائيا، على التوالي، في تحليل خطاب على مستوى الجملة.
يعتمد نموذج الترجمة المحول على آلية الاهتمام المتعدد الرأس، والتي يمكن توازتها بسهولة.تقوم شبكة الاهتمام المتعددة بالاهتمام بأداء وظيفة اهتمام المنتج DOT-Product المعزز بالتوازي، مما تمكن من تمكين النموذج من خلال حضور المعلومات المشتركة إلى معلومات م
ن مختلف الفئات الفرعية التمثيلية في مواقف مختلفة.في هذه الورقة، نقدم نهجا لتعلم اهتمام استرجاع صعب حيث يحضر رأس الاهتمام فقط إلى رمز واحد في الجملة بدلا من جميع الرموز.وبالتالي، يمكن استبدال مضاعفة المصفوفة بين احتمالات الاهتمام وتسلسل القيمة في إيلاء اهتمام منتجات DOT-Product القياسية القياسية بعملية استرجاع بسيطة وفعالة.نظظ أن آلية اهتمام استرجاعها الثابت لدينا هي 1.43 مرة أسرع في فك التشفير، مع الحفاظ على جودة الترجمة على مجموعة واسعة من مهام الترجمة الآلية عند استخدامها في شبكات فك تشفير الذات والانتباه.
تكسب المكالمات هي من بين الموارد المهمة للمستثمرين والمحللين لتحديث أهداف الأسعار الخاصة بهم. الشركات عادة ما تنشر النصوص المقابلة قريبا بعد أحداث الأرباح. ومع ذلك، فإن النصوص الخام هي في كثير من الأحيان طويلة جدا وتفوت الهيكل المتماسك. لتعزيز الوضوح
، يكتب المحللون تقارير منظما جيدا لبعض أحداث استدعاء الأرباح الهامة من خلال تحليلها، تتطلب الوقت والجهد. في هذه الورقة، نقترح تاتسوم (نموذج الاهتمام بإنفاذ القالب للتلخيص)، ونهج تلخيص عصبي معمم لتوليد التقرير المنظم، وتقييم أدائه في مجال مكالمات الأرباح. نحن نبني كوربا كبيرا مع الآلاف من النصوص والتقارير باستخدام أحداث الأرباح التاريخية. نقوم أولا بتوليد مجموعة مرشحة من التقارير من Corpus كقوالب ناعمة محتملة لا تفرض قواعد فعلية على الإخراج. بعد ذلك، نوظف نموذج تشفير مع فقدان الهامش المرتبة لتحديد مجموعة المرشح وحدد أفضل قالب الجودة. أخيرا، يتم استخدام النص والقالب الناعم المحدد كإدخال في إطار SEQ2SEQ لتوليد التقرير. النتائج التجريبية على مجموعة بيانات المكالمات الأرباح تظهر أن نموذجنا يتفوق بشكل كبير على النماذج الحديثة من حيث المعلومات والهيكل.
نماذج اللغة التوليدية المدربة على كبيرة، يمكن لشركة Corga الإجابة على الأسئلة حول مرور عن طريق توليد استمرار المرجح للمقطع الذي يتبعه زوج سؤال / إجابة.ومع ذلك، تختلف معدلات الدقة اعتمادا على نوع السؤال المطروح.في هذه الورقة، نحتفظ بالمرور الثابت، واخ
تبار مجموعة واسعة من أنواع الأسئلة، واستكشاف نقاط القوة والضعف في نموذج لغة GPT-3.نحن نقدم أسئلة المرور واختبارها كتحدي محدد لنماذج لغات أخرى.
عادة ما يتم تدريب النماذج العصبية الأكاديمية لدقة COMERASE (COREF) على مجموعة بيانات واحدة، ويتم قياس التحسينات النموذجية في نفس مجموعة البيانات.ومع ذلك، تعتمد تطبيقات COREF العالمية في العالم الحقيقي على المبادئ التوجيهية التوضيحي ومجال مجموعة البيا
نات المستهدفة، والتي تختلف غالبا عن تلك الموجودة في أونتونو.نحن نهدف إلى تحديد قابلية تحويل نماذج COREF بناء على عدد المستندات المشروح المتوفرة في مجموعة البيانات المستهدفة.نحن ندرس أحد عشر مجموعة بيانات مستهدفة ونتطلع إلى أن التدريب المستمر فعال باستمرار وفائدة بشكل خاص عندما تكون هناك عدد قليل من المستندات المستهدفة.نحن نؤسس معايير جديدة في العديد من مجموعات البيانات، بما في ذلك النتائج الحديثة على Preco.
تم دراسة ضغط الجملة (SC)، التي تهدف إلى تقصير الأحكام مع الاحتفاظ بكلمات مهمة تعبر عن المعاني الأساسية، لسنوات عديدة في العديد من اللغات، خاصة باللغة الإنجليزية. ومع ذلك، فإن التحسينات في مهمة SC الصينية لا تزال قليلة جدا بسبب العديد من الصعوبات: ناد
رة من كوربورا الموازية، وتحبيب تجزئة مختلفة من الجمل الصينية، والأداء غير الكامل للتحليلات النحوية. علاوة على ذلك، تم التحقيق في نماذج SC الصينية بأكملها حتى الآن. في هذا العمل، نبني مجموعة بيانات SC من الجمل العامية الصينية من نظام الإجابة على مدى واقعية في مجال الاتصالات السلكية واللاسلكية، ثم نقترح نموذج صيني عصبي SC معزز مع خريطة تنظيم ذاتية (SOM-NCSCM)، إلى احصل على رؤية قيمة من البيانات وتحسين أداء نموذج SC الصيني العصبي بأكمله بطريقة صالحة. تظهر النتائج التجريبية أننا يمكن أن تستفيد بشكل كبير من التحقيق العميق في التشابه بين البيانات، وتحقيق درجة F1 واعدة قدرها 89.655 وفرز Bleu4 البالغة 70.116، والتي توفر أيضا خط أساس لمزيد من الأبحاث حول مهمة SC الصينية.
يوفر تقطير المعرفة (KD) وسيلة طبيعية لتقليل الكمون واستخدام الذاكرة / الطاقة للنماذج المسبقة للأعياد الضخمة التي تأتي للسيطرة على معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. في حين أن العديد من المتغيرات المتطورة في خوارزميات KD قد اقترحت لتطبيقا
ت NLP، فإن العوامل الرئيسية التي تدعم أداء التقطير الأمثل غالبا ما تكون مرتبكة وتبقى غير واضحة. نحن نهدف إلى تحديد مدى تأثير مكونات مختلفة في خط أنابيب KD على الأداء الناتج ومقدار خط أنابيب KD الأمثل يختلف عبر مجموعات البيانات / المهام المختلفة، مثل سياسة تكبير البيانات، وظيفة الخسارة، والتمثيل الوسيط لنقل المعرفة بين المعلم وطالب. لتتأكد من أن آثارها، نقترح تقطير، إطار التقطير، يجمع بشكل منهجي بين مجموعة واسعة من التقنيات عبر مراحل مختلفة من خط أنابيب KD، مما يتيح لنا تحديد مساهمة كل مكون. ضمن تقطير، ونحن نقوم بتحديد الأهداف الشائعة الاستخدام لتقطير التمثيلات الوسيطة بموجب هدف معلومات متبادلة عالمية (MI) واقتراح فئة من الوظائف الموضوعية MI مع التحيز / تباين التباين أفضل لتقدير ميل بين المعلم والطالب. في مجموعة متنوعة من مجموعات بيانات NLP، يتم تحديد أفضل تكوينات تقطير عبر تحسين المعلمة على نطاق واسع. تجاربنا تكشف عن ما يلي: 1) النهج المستخدم لتقطير التمثيل الوسيط هو أهم عامل في أداء الدكتوراط، 2) بين أهداف مختلفة للتقطير الوسيط، MI-تنفذ أفضل، و 3) يوفر تكبير البيانات دفعة كبيرة ل مجموعات البيانات التدريب الصغيرة أو شبكات الطلاب الصغيرة. علاوة على ذلك، نجد أن مجموعات البيانات / المهام المختلفة تفضل خوارزميات KD المختلفة، وبالتالي اقترح خوارزمية بسيطة ل Autodistiller التي يمكن أن توصي بخط أنابيب KD جيدة لمجموعة بيانات جديدة.
مستوحاة من اختيار ميزة المعلومات المتبادلة (MI) في الانحدار اللوجستي، في هذه الورقة، نقترح تشذيب الطبقة المستندة إلى MI: لكل طبقة من الشبكة العصبية متعددة الطبقات، الخلايا العصبية ذات القيم العالية في MI فيما يتعلق يتم الحفاظ على الخلايا العصبية المح
فوظة في الطبقة العليا. بدءا من أعلى طبقة SoftMax، تتقلص الطبقة الحكيمة في الأزياء من أعلى إلى أسفل حتى تصل إلى طبقة تضمين الكلمة السفلي. تقدم استراتيجية التذكير المقترحة مزايا تقنيات تشذيب الوزن: (1) يتجنب الوصول إلى الذاكرة غير النظامية لأن التمثيلات والمصفوفات يمكن الضغط عليها في نظرائها الأصغر ولكن الكثيف، مما يؤدي إلى زيادة السرعة؛ (2) بطريقة تشذيب من أعلى إلى أسفل، تعمل الطريقة المقترحة من منظور عالمي أكثر استنادا إلى إشارات تدريبية في الطبقة العليا، والحكومة كل طبقة من خلال نشر تأثير الإشارات العالمية من خلال الطبقات، مما يؤدي إلى أداء أفضل في نفس مستوى Sparsity. تظهر تجارب واسعة أنه على مستوى Sparsity نفسه، فإن الاستراتيجية المقترحة تقدم كل من التطورات العالية والأداء أعلى من طرق تشذيب الوزن (على سبيل المثال، تشذيب الحجم، تقليم الحركة).
في هذه الدراسة، نقترح طريقة تعلم الإشراف على الذات التي تطبق تمثيلات معنى الكلمات في السياق من نموذج لغة ملثم مسبقا مسبقا. تعد تمثيلات الكلمات هي الأساس للدلالات المعجمية في السياق وتقديرات التشابه المنصوصية الدلالية غير المرفوعة (STS). تقوم الدراسة
السابقة بتحويل التمثيلات السياقية التي تستخدم تضمين كلمة ثابتة لإضعاف الآثار المفرطة لمعلومات السياقية. على النقيض من ذلك، تستمد الأسلوب المقترح على تمثيلات كلمة معنى في السياق مع الحفاظ على معلومات السياق المفيدة سليمة. على وجه التحديد، تتعلم طريقةنا الجمع بين مخرجات الطبقات المخفية المختلفة التي تستخدم الانتباه عن الذات من خلال التعلم الذاتي الخاضع للإشراف مع كائن تدريب تلقائيا تلقائيا. لتقييم أداء النهج المقترح، أجرينا تجارب مقارنة باستخدام مجموعة من المهام القياسية. تؤكد النتائج أن تمثيلاتنا أظهرت أداء تنافسي مقارنة بسلطة حديثة من الأسلوب لتحويل التمثيلات السياقية للمهام الدلالية المعجمية السياقة وتفوقها على تقدير STS.
الرسوم البيانية المعرفة ضرورية للعديد من تطبيقات معالجة اللغة الطبيعية المصب، ولكنها غير مكتملة عادة مع العديد من الحقائق المفقودة. ينتج عن هذا الجهود البحثية في مهمة التفكير المتعدد القفزات، والتي يمكن صياغة كعملية بحث ونماذج حالية تؤدي عادة منطق بع
يد المنال. ومع ذلك، فإن السبب البعيد الطويل أمر حيوي أيضا بالقدرة على توصيل الكيانات غير المرتبطة بسطحية. بأفضل من علمنا، يفتقر إلى وجود إطار عام يقترب من التفكير المتعدد القفز في سيناريوهات التفكير المسؤولة لفترة طويلة مختلطة. نقول أن هناك مشكلتان رئيسيتان لنموذج التفكير المتعدد القفز العام: ط) أين تذهب، والثاني) عند التوقف. لذلك، نقترح نموذج عام يحدد المشكلات ذات ثلاث وحدات: 1) وحدة المعرفة المحلية المحلية لتقدير المسارات المحتملة، 2) وحدة التسرب الإجراءات المختلفة لاستكشاف مجموعة متنوعة من المسارات، و 3) التوقف التكيفي وحدة البحث لتجنب البحث عنها. توضح النتائج الشاملة على ثلاث مجموعات بيانات تفوق نموذجنا مع تحسينات كبيرة ضد خطوط الأساس في سيناريوهات التفكير المسافة القصيرة والطويلة.
