في هذه الورقة، نقدم طلبنا إلى مهمة المقاييس المشتركة: Robleurt (تحسين تدريب Bleurt).بعد التحقيق في التطورات الأخيرة المتمثلة في المقاييس التدريبية التدريبية، نستنتج عدة جوانب ذات أهمية حيوية للحصول على نموذج متري أداء جيدا من قبل: 1) الاستفادة المشتر
كة مزايا النموذج المشترك بين المصدر والنموذج المرجعي فقط، 2) ما قبل التدريب المستمرنموذج مع أزواج البيانات الاصطناعية الضخمة، و 3) ضبط النموذج مع استراتيجية تنظيف البيانات.تظهر النتائج التجريبية أن نموذجنا يصل إلى ارتباطات حديثة مع التعليقات البشرية البشرية WMT2020 عند 8 من أزواج لغة 10 إلى الإنجليزية.
أصبح تحسين كفاءة المحولات جذابة بشكل متزايد مؤخرا.تم اقتراح مجموعة واسعة من الطرق، على سبيل المثال، التشذيب، الكمي، البنيات الجديدة وغيرها. ولكن هذه الأساليب إما متطورة في التنفيذ أو التعتمد على الأجهزة.في هذه الورقة، نظير على أنه يمكن تحسين كفاءة ال
محولات من خلال الجمع بين بعض الطرق البسيطة والأجهزة غير المرجعية، بما في ذلك ضبط المعلمات فرط، وخيارات تصميم أفضل واستراتيجيات التدريب.في مهام الترجمة الأخبار WMT، نحسن كفاءة الاستدلال لنظام محول قوي بنسبة 3.80x على وحدة المعالجة المركزية و 2.52X على GPU.
نقدم تحسين الحالة المخفية (HSO)، وهي طريقة قائمة على التدرج لتحسين أداء نماذج لغة المحولات في وقت الاستدلال.على غرار التقييم الديناميكي (Krause et al.، 2018)، يقوم HSO بتحسين التدرج على احتمال تسجيل الدخول يعين نموذج اللغة لنص التقييم، ولكنه يستخدمه
لتحديث الدول المخففة المخزنة مؤقتا بدلا من المعلمات النموذجية.نقوم باختبار HSO مع نماذج لغة محول XL و GPT-2، وإيجاد تحسن على مجموعات بيانات Wikitext-103 و PG-19 من حيث الحيرة، خاصة عند تقييم نموذج خارج توزيع التدريب الخاص به.نحن نوضح أيضا إمكانية تطبيق المصب من خلال إظهار المكاسب في إعداد تقييم القليل من القليل من القليل من القليل من الطوابق المتقدما مؤخرا، مرة أخرى دون أي معلمات إضافية أو بيانات تدريبية.
تحدد محاذاة Word المراسلات المتعلقة بالمراسلات بين الكلمات في زوج جملة متوازية وتستخدم ومثالا وتدريب الترجمة ذات الجهاز الإحصائي وتعلم قواميس ثنائية اللغة أو لأداء تقدير الجودة.أصبح Totkenization في الكلمات الفرعية خطوة مسبقة مسبق لمعاييرها لعدد كبير
من التطبيقات وخاصة أنظمة الترجمة الآلية المفتوحة لمفردات الأحدث.في هذه الورقة، ندرس تماما كيف تتفاعل هذه الخطوة المعالجة مسبقا مع مهمة محاذاة الكلمة واقتراح عدة استراتيجيات التكوين للحصول على كورسا موازية مجزأة جيدا.باستخدام هذه التقنيات الجديدة وتمكنا من تحسين نماذج المحاذاة القائمة على الكلمات الأساسية لستة أزواج لغوية.
في أنظمة الحوار، يقوم مكون فهم اللغة الطبيعي (NLU) عادة بقرار التفسير (بما في ذلك المجال، النية والفتحات) عن كلام قبل حل الكيانات المذكورة.قد ينتج عن هذا أخطاء تصنيف النوايا وعلامات الفتحة.في هذا العمل، نقترح نفايات ميزات دقة الكيان (ER) في NLU Reran
king وإدخال مصطلح خسائر رواية بناء على إشارات إيه لتحسين تعلم الأوزان النموذجية في إطار إعادة النشر.بالإضافة إلى ذلك، للحصول على سيناريو حوار متعدد المجالات، نقترح طريقة مطابقة توزيع النتيجة لضمان درجات الناتجة عن نماذج Reranking NLU من النطاقات المختلفة معايرة بشكل صحيح.في التجارب دون اتصال بالإنترنت، نوضح نهجنا المقترح تفوق بشكل كبير على نموذج خط الأساس على كل من تقييمات المجال الواحدة والعبر.
التعميمات الصوتية مجردة هي حالة محدودة.في حين أن النظرية المثيرة للتطبيقات هي إطار شائع لأمراض النمذجة، من المعروف أنها توليد تعيينات ولغات غير محدودة.توضح هذه الورقة أن النظرية المثيلة قادرة على توليد لغات خالية من السياق، والمساهمة في توصيف قدرتها
الإندنية.يتحقق هذا مع الحد الأدنى من التعديل للنظرية حيث يتم استخدامه بشكل يكلف.
تمت دراسة إمكانية تحمل سلالة بكتيريا البروبيوتيك Lactobacillus casei للنمو في
عصير التفاح كخطوة أولية لإنتاج عصير وظيفي، و أمثلة شروط نمو بكتيريا البروبيوتيك
Lactobacillus casei في العصير من تركيز و درجة حرارة و نسبة التلقيح، و ذلك
لمعرفة الشروط
المثلى للنمو و دراسة مؤشرات العصير الكيميائية بتطبيق التصميم الإحصائي
(Response Surface Methodology(RSM.
