تعتبر Adgedding Word ضرورية لنماذج الشبكة العصبية لمختلف مهام معالجة اللغة الطبيعية. نظرا لأن كلمة تضمينها عادة ما يكون لها حجم كبير، من أجل نشر نموذج شبكة عصبي وجوده على أجهزة Edge، يجب ضغطه بشكل فعال. كانت هناك دراسة لاقتراح طريقة تقريبية منخفضة رت
بة بلوك من أجل تضمين كلمة، تسمى GroupReduce. حتى لو كان هيكلهم فعالا، فإن الخصائص وراء مفهوم برنامج تضمين الكلمة الحكيمة غير الحكيمة لم يتم استكشافه بما فيه الكفاية. بدافع من هذا، نحن نحسن Grouppreduce من حيث ترجيح الكلمة والهيت. بالنسبة للتوزيع النصي، نقترح طريقة بسيطة ولكنها فعالة مستوحاة من مصطلح طريقة تردد المستندات العكسية في التردد وطريقة تامة بناء عليهم، نبني كلمة تمييزية تضمين خوارزمية ضغط. في التجارب، نوضح أن الخوارزمية المقترحة تجد بشكل أكثر فعالية أوزان الكلمات أكثر من المنافسين في معظم الحالات. بالإضافة إلى ذلك، نوضح أن الخوارزمية المقترحة يمكن أن تتصرف مثل إطار من خلال التعاون الناجح مع الكمي.
بايت زوج ترميز (BPE) هي خوارزمية في كل مكان في عملية تكييف الكلمات الفرعية لنماذج اللغة لأنها توفر فوائد متعددة. ومع ذلك، فإن هذه العملية تستند فقط إلى إحصاءات بيانات ما قبل التدريب، مما يجعل من الصعب على الممتلزمية أن تتعامل مع هجاء نادرة. من ناحية
أخرى، على الرغم من أن طراز أخطاء إملائي، إلا أن نماذج على مستوى الطابع النقي غالبا ما تؤدي إلى تسلسل طويل غير معقول وجعل الأمر أكثر صعوبة في تعلم النموذج كلمات ذات معنى. لتخفيف هذه التحديات، نقترح وحدة الكلمات الفرعية القائمة على الطابع (Char2Subword) التي تتعلم جدول تضمين الكلمات الفرعية في النماذج المدربة مسبقا مثل Bert. تقوم وحدة char2subword الخاصة بنا بإنشاء تمثيلات من الشخصيات من المفردات الفرعية، ويمكن استخدامها كإستبدال قطرة من جدول تضمين الكلمات الفرعية. الوحدة النمطية قوية لتعديلات مستوى الأحرف مثل أخطاء إملائي، انعطاف Word، غلاف، علامات الترقيم. نحن ندمجها أكثر مع بيرت من خلال التدريب المسبق مع الحفاظ على معلمات محول بيرت الثابتة - وبالتالي توفير طريقة عملية. أخيرا، نوضح أن دمج الوحدة النمطية الخاصة بنا إلى mbert يحسن بشكل كبير الأداء في معيار التقرير اللغوي لوسائل الإعلام الاجتماعية (LINCE).
أصبح التحليل السردي أمرا مهما بشكل متزايد لعدد من المهام اللغوية بما في ذلك تلخيص واستخراج المعرفة والتسجيل.نقدم نهج رواية لتمثيل الحدث السردي باستخدام الانتباه إلى إعادة السياق الأحداث عبر القصة بأكملها.مقارنة بالتحليل السابق، نجد مرفقا غير متوقع من
دلالات الأحداث إلى الرموز المسندية في نموذج محول شعبية.نحن نختبر فائدة نهجنا بشأن التنبؤ بإكمال السرد، وتحقيق حالة الأداء الفني على زر قردي متعدد الخيارات والتسجيل بشكل تنافسي في مهمة Cloze Cloze.
يتم الآن استخدام تمثيل مؤلفين التعلم من إنتاجاتهم النصية على نطاق واسع لحل المهام متعددة المصب، مثل التصنيف أو ربط الارتباط أو توصية المستخدم. غالبا ما يتم بناء طرق تضمين المؤلف أعلى إما Doc2vec (Mikolov et al. 2014) أو بنية المحولات (ديفلين وآخرون 2
019). تقييم جودة هذه المدينات وما الذي يتقاضونه مهمة صعبة. تستخدم معظم المقالات إما دقة التصنيف أو إسناد التأليف، والتي لا تقيس بوضوح جودة مساحة التمثيل، إذا كنت تلتقط بالفعل ما تم بناؤه ل. في هذه الورقة، نقترح إطارا للتقييم الجديد لأساليب تضمين المؤلف بناء على أسلوب الكتابة. يسمح لتقدير تحديد مساحة التضمين بفعالية مجموعة من الميزات الأسلوبية، المختارة لتكون أفضل وكيل لأسلوب كتابة المؤلف. هذا النهج يعطي أهمية أقل للموضوعات التي تنقلها المستندات. اتضح أن النماذج الحديثة مدفوعة في الغالب من قبل الدلالية الداخلية لإنتاج المؤلفين. إنهم متفوقون من قبل خطوط أساسية بسيطة، استنادا إلى نماذج تضمين الأحكام المسبقة للحكومة، على العديد من المحاور اللغوية. يمكن لهذه الأساس فهم الظواهر اللغوية المعقدة وأسلوب الكتابة بكفاءة أكبر، مما يمهد الطريق لتصميم نماذج تضمين مؤلف جديدة مدفوعة بالأناقة.
يتم تدريب نماذج استرجاع الحالية على نطاق واسع على نطاق واسع مع 0-1 تسمية صعبة تشير إلى ما إذا كان الاستعلام مناسب بمستند، وتجاهل المعلومات الغنية من درجة الأهمية.تقترح هذه الورقة تحسين الاسترجاع القائم على التضمين من منظور توصيف أفضل شهادة استفسار ال
وثيقة عن طريق إدخال تحسين التسمية (LE) لأول مرة.لتوليد توزيع الملصقات في سيناريو استرجاع، نقوم بتصميم طريقة رواية وفعالة تم إشرافها التي تتضمن المعرفة السابقة من أساليب الترجيح الديناميكي إلى تضمينات سياقية.تتفوقت طريقتنا بشكل كبير أربع نماذج استرجاع قابلة للتنافسية ونظرائها المجهزة بتقنيتين بديلين من نماذج التدريب مع توزيع الملصقات التي تم إنشاؤها كمعلومات الإشراف المساعدة.يمكن ملاحظة التفوق بسهولة على مهام استرجاع اللغة الإنجليزية والصينية على نطاق واسع تحت إعدادات بدء التشغيل القياسية والباردة.
قياس درجة التشابه بين زوج من الجمل بلغات مختلفة هو المطلوبة الأساسية لأساليب تضمين الجملة متعددة اللغات. يتكون التنبؤ بدرجة التشابه من مهمتين فرعيتين، وهو تقييم التغلب غير المباشر واسترجاع الجملة متعددة اللغات. ومع ذلك، فإن الأساليب التقليدية قد تناو
لت أساسا واحدة فقط من المهام الفرعية، وبالتالي أظهرت عروضا متحيزا. في هذه الورقة، نقترح طريقة جديدة وطريقة قوية لتضمين الجملة متعددة اللغات، مما يدل على تحسين الأداء على كلا المهام الفرعية، وبالتالي مما يؤدي إلى تنبؤات قوية لدرجات التشابه متعددة اللغات. تتكون الطريقة المقترحة من جزأين: لتعلم التشابه الدلالي من الجمل في اللغة المحورية، ثم تمديد الهيكل الدلالي المستفاد لغات مختلفة. لمحاذاة الهياكل الدلالية عبر لغات مختلفة، نقدم شبكة مدرس وطالب. تقطير شبكة المعلم معرفة اللغة المحورية لغات مختلفة من شبكة الطلاب. أثناء التقطير، يتم تحديث معلمات شبكة المعلم مع المتوسط البطيء المتحرك. جنبا إلى جنب مع التقطير وتحديث المعلمة، يمكن محاذاة الهيكل الدلالي لشبكة الطالب مباشرة عبر لغات مختلفة مع الحفاظ على القدرة على قياس التشابه الدلالي. وبالتالي، فإن طريقة التدريب متعددة اللغات تدفع تحسين الأداء في تقييم التشابه متعدد اللغات. يحقق النموذج المقترح أداء الحديث في تقييم التشابه متعدد اللغات لعام 2017 بالإضافة إلى مهام فرعية، التي تمتد التقييم المتشابهات لأول مرة 2017 و Tatoeba متعددة اللغات متعددة اللغات في 14 لغة.
يتم قبولها على نطاق واسع أن نماذج اللغة المدربة مسبقا بشكل كبير توفر عادة تحسينات الأداء في مهام المصب. ومع ذلك، هناك دراسات محدودة حول الأسباب الكامنة وراء هذه الفعالية، لا سيما من وجهة نظر التغييرات الهيكلية في مساحة التضمين. في محاولة لملء هذه الف
جوة، في هذه الورقة، نقوم بتحليل المدى الذي يتغير فيه iSotropy من مساحة التضمين بعد ضبط الدقيقة. نوضح ذلك، على الرغم من أن ISOTROPY هي خاصية هندسية مرغوبة، لا يؤدي الضبط بشكل جيد بالضرورة إلى تحسينات ISOTROPY. علاوة على ذلك، تخضع الهياكل المحلية في تمثيلات الكلمات السياقية المدربة مسبقا (CWRS)، مثل تلك الأنواع أو التردد المميز للترميز، من تغيير هائل أثناء الضبط الجمني. تظهر تجاربنا نموا دراماتيكيا في عدد الاتجاهات الممدودة في مساحة التضمين، والتي، على النقيض من CWRS المدربة مسبقا، تحمل المعرفة اللغوية الأساسية في مساحة التضمين الدقيقة، مما يجعل أساليب تعزيز ISOTROPY الحالية غير فعالة.
تمثيل الموقف أمر حاسم لبناء الممثلين على علم الموضع في المحولات.تعاني تمثيلات الموقف الموجودة من عدم وجود تعميم لاختبار البيانات بأطوال غير مرئية أو تكلفة حسابية عالية.نحقق التحقيق في تضمين الموقف المطلق (الشكل) لمعالجة كلا المشكلين.الفكرة الأساسية ل
لشكل هي تحقيق التحول الثابتة، وهي ملكية رئيسية لتمثيلات الموقف الناجحة الأخيرة، من خلال تحويل المواقع المطلقة بشكل عشوائي أثناء التدريب.نوضح هذا الشكل مقارنة تجريبيا نظيره أثناء وجوده أبسط وأسرع.
تهدف تقدير الجودة (QE) من الترجمة الآلية (MT) إلى تقييم جودة الجمل التي ترجمتها الجهاز دون مراجع وهي مهمة في التطبيقات العملية ل MT.تتطلب Training Models QE بيانات موازية ضخمة بأشرفة توضيحية ذات جودة يدوية، وهي تستغرق وقتا طويلا ومكثفة العمالة للحصول
عليها.لمعالجة مسألة عدم وجود بيانات تدريب مشروح، تحاول الدراسات السابقة تطوير أساليب QE غير المدعومة.ومع ذلك، يمكن تطبيق عدد قليل جدا منهم على مهام QE على مستوى الجملة والطريق، وقد تعاني من الضوضاء في البيانات الاصطناعية.لتقليل الآثار السلبية للضوضاء، نقترح طريقة للإشراف ذاتي لكل من QE من كل من QE على مستوى الكلمة والطريق، والتي تنفذ تقدير الجودة من خلال استعادة الكلمات المستهدفة الملثمين.تظهر النتائج التجريبية أن أسلوبنا تتفوق على الطرق السابقة غير الخاضعة للرقابة في العديد من مهام QE في أزواج ومجال بلغات مختلفة.
في هذا العمل، نقوم بتحليل أداء وخصائص نماذج تضمين الكلمة المتبقية التي تم إنشاؤها بواسطة أساليب المحاذاة المستندة إلى تعيين الخرائط.نحن نستخدم العديد من التدابير الخاصة بالجور وضمان التشابه للتنبؤ بعشرات BLI من تعيينات تضمين التضمين عبر اللغات على ثل
اثة أنواع من كوربورا وثلاث أساليب تضمين و 55 زوجا للغة.تؤكد نتائجنا التجريبية على أنها بدلا من مجرد حجم، فإن مقدار المحتوى المشترك في Training Corpora ضروري.تتجلى هذه الظاهرة في ذلك) على الرغم من أحجام كوربوس الأصغر، باستخدام الأجزاء المقارنة فقط من ويكيبيديا لتدريب مساحات تضمين الأحادية المهتملة غالبا ما تكون أكثر فعالية من الاعتماد على جميع محتويات ويكيبيديا، 2) أصغر، في المقابلتعمل Wikipedia الأقل متنوعة في ويكيبيديا دائما أفضل بكثير كدولة تدريبية لتعيينات ثنائية اللغة من ويكيبيديا الإنجليزية المستخدمة في كل مكان.
