كان التقييم البشري مكلفا دائما بينما يكافح الباحثون من أجل الثقة في المقاييس التلقائية. لمعالجة هذا، نقترح تخصيص المقاييس التقليدية من خلال أخذ مزايا نماذج اللغة المدربة مسبقا (PLMS) وعشرات المحدودة المسمى الإنسان المسمى. نقدم أولا عوامل HLEPOR متري،
تليها نسخة بيثون التي طورناها (استدارها) التي حققت الضبط التلقائي لمعلمات الترجيح في هلكور متري. ثم نقدم HLEPOR (Cushlepor) المخصص الذي يستخدم إطار عمل تحسين المعلمات Optuna إلى معلمات HLEOR Tune-Tune Tune نحو اتفاق أفضل لاتفاق أفضل على نماذج اللغة المدربة مسبقا (باستخدام LAST) فيما يتعلق بأزواج لغة MT الدقيقة التي يتم نشرها. نحن أيضا تحسين cushlepor تجاه بيانات التقييم البشرية المهنية بناء على إطار إدارة الموارد البشرية و PSQM على أزواج اللغة الإنجليزية والألمانية والإنجليزية. تظهر التحقيقات التجريبية Cushlepor يعزز عروض هيلور بورز نحو اتفاقات أفضل للمتمرنات مثل LAST مع تكلفة أقل بكثير، واتفاقيات أفضل للتقييمات البشرية بما في ذلك درجات MQM و PSQM، وتوجز أداء أفضل بكثير من بلو. تظهر النتائج الرسمية أن عروضنا تفوز بثلاث أزواج لغوية بما في ذلك اللغة الإنجليزية والألمانية والصينية الإنجليزية على نطاق الأخبار عبر Cushlepor (LM) والإنجليزية-الروسية على نطاق TED عبر HLEPOR. (البيانات المتاحة في https://github.com/poethan/cushlepor)
أظهرت نماذج اللغة الموجودة مسبقا مسبقا (PLMS) فعالية التعلم الإشراف على الذات لمجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، فإن معظمهم لا يدركون بشكل صريح المعرفة الخاصة بالمجال، وهو أمر ضروري لمهام المصب في العديد من المجالات، مثل المه
ام في سيناريوهات التجارة الإلكترونية. في هذه الورقة، نقترح K- المكونات، نموذج لغة محقوم المعرفة مسبقا بناء على محول تشفير التشفير التي يمكن تحويلها إلى كل من فهم اللغة الطبيعية ومهام الجيل. على وجه التحديد، نقترح خمسة أهداف مسبقة الإشراف على علم المعرفة على المعرفة في تصميم تعلم المعرفة الخاصة بالمجال، بما في ذلك قواعد المعرفة الخاصة بالمجال التجاري، وجوانب كيانات المنتج، وفئات من كيانات المنتجات، ومقترحات البيع الفريدة من كيانات المنتج. نتحقق من طريقتنا في مجموعة متنوعة من سيناريوهات التجارة الإلكترونية التي تتطلب معرفة خاصة بالمجال، بما في ذلك إكمال قاعدة معارف المنتج، وخصم منتج مبيعات، والحوار متعدد الدوران. تتفوق K- التوصيل بشكل كبير على خطوط الأساس في جميع المجالات، والتي توضح أن الطريقة المقترحة تتعلم بفعالية مجموعة متنوعة متنوعة من المعرفة الخاصة بالمجال لكل من مهام الفم والجيل اللغوي. رمز لدينا متاح.
نماذج اللغة المحددة مسبقا (PTLMS) تسفر عن الأداء الحديث في العديد من مهام معالجة اللغة الطبيعية، بما في ذلك بناء الجملة والدلالات والعموم.في هذه الورقة، نركز على التعرف على أي مدى تلتقط PTLMS السمات الدلالية وقيمها، على سبيل المثال، الارتباط بين القي
مة الغنية والعالية الصافية.نستخدم ptlms للتنبؤ الرموز الملثمين باستخدام أنماط وقوائم العناصر من Wikidata من أجل التحقق من مدى احتمال ترميز PTLMS السمات الدلالية جنبا إلى جنب مع قيمها.مثل هذه الاستنتاجات القائمة على دلالات بديهية للبشر كجزء من فهم لغتنا.نظرا لأن PTLMS يتم تدريبها على كمية كبيرة من بيانات ويكيبيديا، فسوف نفترض أنها يمكن أن تولد تنبؤات مماثلة، ومع ذلك تكشف نتائجنا أن PTLMS لا تزال أسوأ بكثير من البشر في هذه المهمة.نوضح الأدلة والتحليل في شرح كيفية استغلال منهجيةنا لدمج سياق ودواني أفضل في PTLMS باستخدام قواعد المعرفة.
حققت نماذج اللغة المدربة مسبقا (PLMS) مثل بيرت تقدما كبيرا في NLP. عادة ما تحتوي المقالات الإخبارية على معلومات نصية غنية، ويحتوي plms على إمكانات تعزيز نمذجة نص الأخبار لمختلف تطبيقات الأخبار الذكية مثل التوصية الإخبارية واسترجاعها. ومع ذلك، فإن معظ
م plms الموجودة كبيرة الحجم مع مئات الملايين من المعلمات. تحتاج العديد من تطبيقات الأخبار عبر الإنترنت إلى خدمة ملايين المستخدمين الذين يعانون من تسامح الكمون المنخفض، مما يطرح تحديات كبيرة لإدماج PLMS في هذه السيناريوهات. يمكن تقنيات تقطير المعرفة ضغط plm كبيرة في واحدة أصغر بكثير، وفي الوقت نفسه يبقي الأداء الجيد. ومع ذلك، فإن نماذج اللغة الحالية مدربة مسبقا وتقليدها على Corpus العامة مثل Wikipedia، والتي تحتوي على ثغرات مع مجال الأخبار وقد تكون فرعية نفسية بالنسبة للذكاء الأخبار. في هذه الورقة، نقترح Newsbert، والتي يمكن أن تقطير plms لذكاء الأخبار الفعال والفعال. في نهجنا، نقوم بتصميم إطار التعلم المشترك والتقطير المشترك للمعلم لتعليم كل من نماذج المعلم والطلاب، حيث يمكن أن يتعلم نموذج الطالب من تجربة التعلم لنموذج المعلم. بالإضافة إلى ذلك، نقترح طريقة تقطير الزخم من خلال دمج تدرجات نموذج المعلم في تحديث نموذج الطلاب لتحسين المعرفة التي تعلمتها نموذج المعلم. تجارب شاملة على رقمين في العالم الحقيقي مع ثلاث مهام تظهر أن Newsbert يمكن أن تمكن العديد من تطبيقات الأخبار الذكية مع نماذج أصغر بكثير.
أصبح نص قصير في الوقت الحاضر أشكالا أكثر عصرية من البيانات النصية، على سبيل المثال، منشورات Twitter، عناوين الأخبار ومراجعات المنتجات. يلعب استخراج الموضوعات الدلالية من النصوص القصيرة دورا مهما في مجموعة واسعة من تطبيقات NLP، ومصمم الموضوع العصبي ال
آن أداة رئيسية لتحقيقها. بدافع من تعلم موضوعات أكثر متماسكا ودلاليا، في هذه الورقة نطور نموذج موضوع عصبي رواية يدعى طراز موضوع الرسم البياني المزدوج Word (DWGTM)، والذي يستخرج الموضوعات من الرسوم البيانية المرتبطة بالكلمة المتزامنة وترابط العلاقة الدلالية. لتكون محددة، نتعلم ميزات كلمة من الرسم البياني العالمي للكلمة المشتركة، وذلك لاستيعاب معلومات حدوث كلمة غنية؛ ثم نقوم بإنشاء ميزات نصية مع ميزات Word، وإطعامها في شبكة تشفير للحصول على نسب موضوعية لكل نص؛ أخيرا، نعيد إعادة بناء الرسوم البيانية الرسمية والكلمات الرسم البياني مع التوزيعات الموضعية وميزات Word، على التوالي. بالإضافة إلى ذلك، لالتقاط دلالات الكلمات، نقوم أيضا بتطبيق ميزات Word لإعادة بناء الرسم البياني للعلاقة الدلالية كلمة محسوبة بواسطة Adgeddings المدربة للكلمة المدربة مسبقا. بناء على هذه الأفكار، نقوم بصياغة DWGTM في نموذج الترميز التلقائي وتدريبه بكفاءة مع روح الاستدلال التباين العصبي. تتحقق النتائج التجريبية التي يمكنها توليد DWGTM موضوعات أكثر متماسكة من النماذج الأساسية من طرازات موضوع الأساس.
هل يمكن لصق Bert مدربة مسبقا بلغة واحدة و GPT لآخر لترجمة النصوص؟يؤدي التدريب للإشراف على الذات باستخدام بيانات أحادية الأونلينغ فقط إلى نجاح نماذج اللغة المدربة مسبقا (ملثمين) في العديد من مهام NLP.ومع ذلك، فإن ربط بيرت مباشرة كتشفير و GPT حيث أن وح
دة فك ترميز يمكن أن يكون تحديا في الترجمة الآلية، وفصول النماذج التي تشبه gpt إلى مكون متقاطع مكون مطلوب في فك تشفير SEQ2SEQ.في هذه الورقة، نقترح Graformer إلى الكسب غير المشروع نماذج اللغة المدربة مسبقا (ملثمين) للترجمة الآلية.مع بيانات أحادية الأبعاد لبيانات التدريب المسبق والتوازي لتدريب تطعيم، نستفيد إلى حد ما من استخدام كلا النوعين من البيانات.تظهر التجارب في 60 اتجاهات أن طريقتنا تحقق متوسط التحسينات من 5.8 بلو في X2EN و 2.9 بلو في اتجاهات EN2X مقارنة مع المحول متعدد اللغات من نفس الحجم.
في هذه الورقة، نصف إنشادنا إلى المهمة المشتركة بمقاييس WMT 2021.نستخدم الأسئلة والأجوبة التي تم إنشاؤها تلقائيا لتقييم جودة أنظمة الترجمة الآلية (MT).إن تقديمنا يبني على إطار MTEQA المقترح مؤخرا.تظهر التجارب على مجموعات بيانات تقييم WMT20 أنه على مست
وى النظام، يحقق Mteqa Metric أداء قابلا للمقارنة مع حلول حديثة أخرى، مع مراعاة كمية معينة فقط من الترجمة بأكملها.
نحن نصف مشاركتنا في جميع المهام المشتركة بين Germeval 2021 بشأن تحديد تعليقات سمية ومشاركة وتحقيق الحقائق.نظامنا هو مجموعة من النماذج المدربة مسبقا من أحدث المعلومات المصنوعة من الميزات المصنعة بعناية.نظهر أن ميزة الهندسة وتكبير البيانات يمكن أن تكون
مفيدة عندما تكون البيانات التدريبية متناثرة.نحن نحقق درجة F1 من 66.87 و 68.93 و 73.91 في التعليق السام والمشاركة في التعليق في التعليق التعليق.
في هذا العمل، نقدم نهجنا على مهمة تصنيف التعليقات السامة (الفرعية 1) من المهمة المشتركة لجيرفال 2021.لهذه المهمة الثنائية، نقترح ثلاث نماذج: نموذج محول بيرت ألماني؛Perceptron متعدد الطبقات، التي تم تدريبها لأول مرة بالتوازي على الإدخال النصي و 14 ميز
ات لغوية إضافية ثم تم تسليمها في طبقة إضافية؛ومثيرة الطبقات متعدد الطبقات مع كل من أنواع الميزات كمدخلات.عززنا النموذج المحول المدرب مسبقا من خلال إعادة تدريبه مع أكثر من مليون تغريدة وصقله على مجموعة بيانات ألمانية إضافية من مهام مماثلة.تم اتخاذ أنظمة بيرت الألمانية النهائية التي تم ضبطها بشكل نهائي كميزات مدخلات نصية لشبكاتنا العصبية.كانت أفضل النماذج الخاصة بنا في بيانات التحقق من الصحة كانت شبكات عصبية، لكن بيرت الألمانية المعززة المكتسبة مع درجة F1 = 0.5895 تنبؤ أعلى في بيانات الاختبار.
السمية منتشرة في وسائل التواصل الاجتماعي وتشكل تهديدا كبيرا لصحة المجتمعات عبر الإنترنت.أدت مقدمة أحدث نماذج اللغة المدربة مسبقا، والتي حققت نتائج أحدث من المهام في العديد من المهام NLP، الطريقة التي نقترب بها معالجة اللغة الطبيعية.ومع ذلك، فإن الطبي
عة الكامنة للتدريب المسبق تعني أنها من غير المرجح أن تلتقط المعلومات الإحصائية الخاصة بمهام المهام أو تعلم المعرفة الخاصة بالمجال.بالإضافة إلى ذلك، لا تستخدم معظم تطبيقات هذه النماذج الحقول العشوائية الشرطية، وهي طريقة لتصنيف الرمز المميز في وقت واحد.نظظ أن هذه التعديلات يمكن أن تحسن الأداء النموذجي على مهمة الكشف عن المسافة السامة في Semeval-2021 لتحقيق درجة في غضون 4 نقاط مئوية من أعلى فريق الأداء.
