في السنوات القليلة الماضية، تم اقتراح العديد من الطرق لبناء تضمين التوطين.كان الهدف العام هو الحصول على تمثيلات جديدة تدمج المعرفة التكميلية من مختلف المدينات المدربة مسبقا مما يؤدي إلى تحسين الجودة الشاملة.ومع ذلك، تم تقييم Enterpaintings Meta-embed
dings السابق باستخدام مجموعة متنوعة من الأساليب ومجموعات البيانات، مما يجعل من الصعب استخلاص استنتاجات ذات مغزى بشأن مزايا كل منهج.في هذه الورقة نقترح إطارا مشتركا موحدا، بما في ذلك المهام الجوهرية والخارجية، من أجل تقييم عادل وموضوعي لتقييم التوطين.علاوة على ذلك، نقدم طريقة جديدة لتوليد تضمين التوطين، مما يفوقن العمل السابق على عدد كبير من معايير التقييم الجوهرية.كما يتيح لنا إطار التقييم أن نستنتج أن التقييمات الخارجية السابقة للمضفة المتمثلة في المبالغة في تقديرها.
تعتبر تضمين الجملة من الحوارات من الحوارات اهتماما متزايدا بسبب انخفاض تكلفة التصفيف والقدرة على التكيف. تستخدم الأساليب التقليدية شبكة سيامي على هذه المهمة، والتي تحصل على تضيير الجملة من خلال نمذجة الأهمية الدلالية للاستجابة للسياق من خلال تطبيق شب
كة تغذية إلى الأمام أعلى من تشفير الجملة. ومع ذلك، نظرا لأن التشابه الدلالي النصي يقاس عادة من خلال مقاييس المسافات عن بعد عناصر (E.G. Cosping و L2 المسافة)، فإن هذه العمارة هذه تعطي فجوة كبيرة بين التدريب والتقييم. في هذه الورقة، نقترح DialoGuecse، نهج التعلم المتعرج النقي من الحوار معالج هذه المشكلة. يقدم Dialoguecse أولا آلية تضمين (MGE) الموجهة إلى مطابقة جديدة (MGE)، والتي تولد تضمين مدرك للسياق لكل تضمين استجابة مرشحة (أي التضمين الخالي من السياق) وفقا لتوجيه مصفوفات مطابقة السياق متعددة الدورات. ثم أزوج كل تضمين كل مدرسي في السياق مع تضمينها الخالي من السياق المقابل وأخيرا يقلل من الخسارة المتعاقبة عبر جميع أزواج. نحن نقيم نموذجنا على ثلاث مجموعات بيانات حوار متعددة الدوران: Microsoft Diroge Corpus، The Jing Dong Corpus، وجهاز حوار التجارة الإلكترونية Corpus. تظهر نتائج التقييم أن نهجنا تتفوق بشكل كبير على خطوط البيانات الثلاثة في جميع مجموعات البيانات الثلاثة من حيث الخريطة وتدابير الارتباط الرأي، مما يدل على فعاليته. تشير المزيد من التجارب الكمي إلى أن نهجنا يحقق أداء أفضل عند الاستفادة من سياق الحوار أكثر ويظل قويا عند توفير بيانات تدريب أقل.
نقترح إجراء تقييم جودة خاص بالرجوع إلى مرجعية، مع التركيز على الإخلاص.يعتمد الإجراء على إيجاد وعد جميع التناقضات المحتملة المحتملة في الملخص فيما يتعلق بالوثيقة المصدر.يرتبط مؤشر الإستيم المقترح ومقدر عدم تناسق الملخص من خلال المدينات غير المعطاة بدر
جات الخبراء في مجموعة بيانات STOMEVAL للمستوى الملخص أقوى من تدابير التقييم المشتركة الأخرى ليس فقط في الاتساق ولكن أيضا في الطلاقة.نقدم أيضا طريقة لتوليد أخطاء واقعية خفية في ملخصات بشرية.نظهر أن ESTIME أكثر حساسية للأخطاء الدقيقة من تدابير التقييم المشتركة الأخرى.
أظهرت نماذج لغة كبيرة مدربة مسبقا قدرةها مرارا وتكرارا على إنتاج نص يجيد. ومع ذلك حتى عند البدء من موجه، يمكن أن يستمر الجيل في العديد من الاتجاهات المعقولة. طرق فك التشفير الحالية بهدف التحكم في الجيل، على سبيل المثال، لضمان إدراج كلمات محددة، إما أ
ن تتطلب نماذج إضافية أو ضبط جيد، أو العمل بشكل سيء عندما تكون المهمة في متناول اليد، على سبيل المثال، جيل القصة. في هذا العمل، نقدم طريقة فك تشفير التوصيل والتشغيل للتوليد اللغوي السيطرة البسيطة وبديهية، ويمكن وصفها في جملة واحدة: إعطاء موضوع أو كلمة رئيسية، ونضيف التحول إلى توزيع الاحتمالات على المفردات نحو كلمات مماثلة دلالة. نظهر كيف يمكن استخدام صلب هذا التوزيع لفرض قيود صلبة على توليد اللغة، وهو أمر لا تتمكن أي طريقة غيرها من الوسم والتشغيل حاليا مع مولدات لغة SOTA. على الرغم من بساطة هذا النهج، نرى أنه يعمل بشكل جيد بشكل لا يصدق في الممارسة: فك التشفير من GPT-2 يؤدي إلى جمل متنوعة وطلاقة مع ضمان ظهور كلمات دليل معين. نحن نؤدي دراستي المستخدمين، وكشف أن طريقة (1) تتفوقت أساليبنا على الطرق المتنافسة في التقييمات البشرية؛ و (2) إجبار الكلمات الدليلية على الظهور في النص الذي تم إنشاؤه ليس له تأثير على الطلاقة للنص الذي تم إنشاؤه.
أظهرت نماذج Graph Graph الحديثة (KGE) على أساس الهندسة الزئوية إمكانات كبيرة في مساحة تضمين منخفضة الأبعاد. ومع ذلك، لا تزال ضرورة الفضاء القطعي في كوريا العليا مشكوك فيها، لأن الحساب الذي يعتمد على الهندسة الزئوية أكثر تعقيدا بكثير من عمليات Euclide
an. في هذه الورقة، استنادا إلى مجموعة من طراز Hyperbolic Typerbolic، نطور اثنين من النماذج المستندة إلى Euclidean خفيفة الوزن، تسمى Rotl و Rot2L. يسبق نموذج ROTL العمليات القطعي مع الحفاظ على تأثير التطبيع المرن. الاستفادة من تحول مكدسة طبقة رواية واستنادا إلى ROTL، يحصل نموذج Rot2L على إمكانية تحسين تمثيل، ومع ذلك يكلف عددا أقل من المعلمات والحسابات من روث. تظهر التجارب على تنبؤ الارتباط أن ROT2L يحصل على الأداء الحديثة على مجموعة من مجموعات البيانات المستخدمة على نطاق واسع في مدمج الرسم البياني المعرفي منخفض الأبعاد. علاوة على ذلك، يحقق Rotl أداء مماثل ك Roth ولكن يتطلب فقط نصف وقت التدريب.
في هذه الورقة، نقوم بتحليل المدى الذي يتطلع إليه المعنى السياقي، أي شعور بمعنى تم حسابه على أساس مدمج الكلمات السياقية، قابلة للتحويل عبر اللغات. في هذه الغاية، جمعنا معيارا موحدا عبر اللغات ل Disambiguation Sense.بعد ذلك نقترح استراتيجيتين بسيطة لنق
ل المعرفة الخاصة بالمعنى بالمعنى بين اللغات واختبرها على النتائج المعدية-portform unolingual تمثيلات mernessnfrom البيانات الخاصة باللغة الحالية.
نماذج توزيع عالية الجودة يمكن التقاط العلاقات المعجمية والدلالية بين الكلمات.وبالتالي، يقوم الباحثون بتصميم مختلف المهام الجوهرية لاختبار ما إذا كانت هذه العلاقات يتم القبض عليها.ومع ذلك، فإن معظم المهام الجوهرية مصممة للغات الحديثة، وهناك نقص في طرق
التقييم للنماذج التوزيعية للشرج التاريخي.في هذه الورقة، أجرينا BAHP: معيارا لتقييم Adgeddings Word باللغة البرتغالية التاريخية، والذي يحتوي على أربعة أنواع من الاختبارات: التشابه، التشابه، والكشف التفويض، والتماسك.درسنا نماذج Word2Vec الناتجة عن اثنين من البرتغالية التاريخية في مجموعات الاختبار الأربعة هذه.توضح النتائج أن مجموعات الاختبار الخاصة بنا قادرة على قياس جودة نماذج مساحة المتجهات ويمكن أن توفر وجهة نظر شاملة لقدرة النموذج على التقاط معلومات النحوية والدلامة.علاوة على ذلك، يمكن بسهولة امتدت منهجية إنشاء مجموعات الاختبار الخاصة بنا إلى لغات تاريخية أخرى.
تم إلقاء اللوم على الاستقطاب المتزايد لوسائل الإعلام الإخبارية بسبب عدم الخلاف والجدل وحتى العنف. وبالتالي فإن التعرف المبكر للمواضيع المستقطبة هو مسألة عاجلة يمكن أن تساعد في تخفيف الصراع. ومع ذلك، لا يزال القياس الدقيق للاستقطاب الحكيم في الموضوع ت
حديا للبحث المفتوح. لمعالجة هذه الفجوة، نقترح Eptisanship-Aware السياقي الموضوع (PACTE)، وهي طريقة للكشف تلقائيا عن الموضوعات المستقطبة من مصادر الأخبار الحزبية. على وجه التحديد، باستخدام نموذج لغة تم تصنيعه حول التعرف على حزب المقالات الإخبارية، نمثل أيديولوجية لجنة أخبار حول موضوع من خلال تضمين موضوع Corpus-contentralized وقياس الاستقطاب باستخدام مسافة جيبوز. نحن نطبق طريقنا إلى مجموعة بيانات من المقالات الإخبارية حول جائحة CovID-19. تظهر تجارب واسعة على مصادر وأخبار مختلفة ومواضيع فعالية طريقتنا لالتقاط الاستقطاب الموضعي، كما هو موضح بفعاليتها لاسترجاع أكثر الموضوعات المستقطبة.
تصف هذه الورقة نموذجا مدمجا وفعالا لاسترجاع مرور الكمون المنخفض في البحث عن المحادثة بناء على تمثيلات كثيفة علمية. قبل عملنا، يستخدم النهج الواحد من بين الفنون خط أنابيب متعدد المراحل يشتمل على وحدات إعادة صياغة استعلام محادثة واسترجاع المعلومات. على
الرغم من فعاليته، غالبا ما يتضمن هذا الخط الأنابيب نماذج عصبية متعددة تتطلب أوقات الاستدلال الطويلة. بالإضافة إلى ذلك، تحسين كل وحدة بشكل مستقل يتجاهل التبعيات بينهم. لمعالجة هذه العيوب، نقترح دمج إعادة صياغة استعلام المحادثة مباشرة في نموذج استرجاع كثيف. للمساعدة في هذا الهدف، نقوم بإنشاء مجموعة بيانات مع ملصقات ذات صلة زائفة للبحث عن المحادثة للتغلب على عدم وجود بيانات تدريب واستكشاف استراتيجيات تدريب مختلفة. نوضح أن نموذجنا يعيد كتابة استعلامات المحادثة بشكل فعال كتمثيلات كثيفة في البحث عن المحادثة والفتح عن نطاق البيانات. أخيرا، بعد مراعاة أن طرازنا يتعلم ضبط نموذج L2 من Arquer Token Ageddings، فإننا نستفيد من هذه الخاصية لاسترجاع الهجين ودعم تحليل الأخطاء.
اقترحت الدراسات الحديثة طرق مختلفة لتحسين تمثيلات الكلمات متعددة اللغات في الإعدادات السياقية بما في ذلك التقنيات التي تتماشى بين المساحات المصدر والهدف المستهدف.بالنسبة للمشروعات السياقية، تصبح المحاذاة أكثر تعقيدا كما نستفيد إلى السياق بالإضافة إلى
ذلك.في هذا العمل، نقترح استخدام النقل الأمثل (OT) كهدف محاذاة أثناء ضبط الدقيقة لزيادة تحسين تمثيلات محاكية متعددة اللغات للتحويل المتبادل عبر اللغات.لا يتطلب هذا النهج أزواج محاذاة Word قبل ضبط الرصيف الذي قد يؤدي إلى مطابقة فرعية مثالية ويتعلم بدلا من محاذاة الكلمة في السياق بطريقة غير منشأة.كما يسمح أيضا بأنواع مختلفة من التعيينات بسبب مطابقة ناعمة بين الجمل المستهدفة.نقوم بتقييم طريقةنا المقترحة على مهمتين (XNLI و Xquad) وتحقيق تحسينات على أساس الأساسيات وكذلك نتائج تنافسية مقارنة بأعمال مؤخرا مماثلة.
