في هذه الورقة، نقترح نموذجا بسيطا للتكيف عن نطاق القليل من الرصاص لفهم القراءة. نحدد أولا هيكل الشبكة الفرعية اليانصيب ضمن نموذج مجال المصدر المستندة إلى المحولات عبر تشذيب درجة تدريجية. ثم، نحن فقط نغتنم الشبكة الفرعية اليانصيب، جزء صغير من المعلمات
بأكملها، على بيانات المجال المستهدحة المشروح للتكيف. للحصول على المزيد من البرامج الفرعية القابلة للتكيف، نقدم إسناد ذوي الاهتمام الذاتي لوزن المعلمات، بما يتجاوز ببساطة تقليم أصغر معلمات الحجم، والذي يمكن أن ينظر إليه على أنه يجمع بين تشذيب الهيكل المنظم وتشذيم درجة غذائية بهدوء. تظهر النتائج التجريبية أن أسلوبنا تتفوق على التكيف النموذج الكامل للتوحيد على أربعة مجالات من خمسة مجالات عندما يكون فقط كمية صغيرة من البيانات المشروحة المتاحة للتكيف. علاوة على ذلك، فإن إدخال إيلاء الإهمال الذاتي الاحتياطيات معلمات أكثر لرؤوس الانتباه مهم في الشبكة الفرعية اليانصيب ويحسن أداء نموذج المجال الهدف. تكشف التحليلات الإضافية الخاصة بنا أنه، إلى جانب استغلال عدد أقل من المعلمات، فإن اختيار الشبكة الفرعية أمر بالغ الأهمية للفعالية.
في هذه الورقة، نقدم مجموعة بيانات مفهوم التحقق من قراءة جديدة تسمى vgaokao من اختبارات اللغة الصينية في Gaokao.تختلف عن الجهود الحالية، تم تصميم مجموعة البيانات الجديدة في الأصل لتقييم المتحدثين الأصليين، وبالتالي تتطلب مهارات تفاهم لغة أكثر تقدما.لم
عالجة التحديات في Vgaokao، نقترح نهجا جديدا متناكج للمتخصص، الذي يختار تكرارا دليلا تكميليا مع وجود آلية تحديث استعلام رواية وأدلة تدعم تكاليف، تليها مسابقة زوجية لدفع النماذج لتعلم الفرق الدقيق بين ما شابه ذلكقطع النص.تبين التجارب أن أساليبنا تتفوق على مختلف خطوط الأساس على Vgaokao مع أدلة تكميلية مستردة، مع وجود مزايا الكفاءة والشرطية.يتم إصدار DataSet و Code لدينا لمزيد من البحث.
تهدف القراءة المستوية (LR) إلى تصنيف النصوص عن طريق المستويات المعرفية للقراء، وهي أساسية في توفير مواد قراءة مناسبة بشأن قدرات القراءة المختلفة. ومع ذلك، تعتمد معظم أساليب LR الحديثة على توافر موارد تفوق وفيرة، مما يمنع تكيفها مع لغات الموارد المنخف
ضة مثل الصينية. في عملنا، لمعالجة LR في الصينية، نستكشف كيف تؤدي أساليب نقل اللغة المختلفة على LR الإنجليزية الصينية. على وجه التحديد، نركز على التدريب الخصم وطريقة التدريب المسبق عبر اللغات لنقل المعرفة LR المستفادة من البيانات المشروحة في اللغة الإنجليزية الغنية بالموارد إلى الصينية. للتقييم، نقدم أولا المعيار القائم على العمر لمحاذاة البيانات مع معايير التسوية المختلفة. ثم نوضح تجارب في كل من إعدادات صفرية وإعدادات قليلة. تبين مقارنة هاتين الطريقتين، والتقييمات الكمية والنوعية أن طريقة التدريب المسبق عبر اللغات التي تلتقط بشكل فعال ميزات اللغة الثابتة بين اللغة الإنجليزية والصينية. نجري تحليلا لاقتراح مزيد من التحسن في LR عبر اللغات.
تتطلب قراءة آلات المحادثة (CMR) آلات تواصل مع البشر من خلال التفاعلات متعددة الدورات بين دولتي الحوار البارز في عمليات صنع القرار وعمليات توليد الأسئلة.في إعدادات CMR المفتوحة، كسيناريو أكثر واقعية، ستكون المعرفة الخلفية المستردة صاخبة، مما يؤدي إلى
تحديات شديدة في نقل المعلومات.الدراسات الموجودة تدرب عادة أنظمة مستقلة أو خطوط الأنابيب للمشاركة.ومع ذلك، فإن هذه الطرق تافهة باستخدام قرارات تسمية ثابتة لتنشيط جيل السؤال، مما يعيق أداء النموذج في النهاية.في هذا العمل، نقترح استراتيجية فعالة للجزر من خلال تعويض دول الحوار في وحدة فك ترميز واحدة فقط وصنع قرار الجسر وتوليد الأسئلة لتوفير إشارة لولاية حوار أكثر ثراء.تظهر التجارب على DataSet أو Sharc فعالية طريقتنا، والتي تحقق نتائج جديدة من أحدث النتائج.
إن الفهم القراءة الآلي (MRC) هو مهمة NLP الصعبة التي يتطلبها التعامل بعناية مع جميع الحبيبات اللغوية من Word، الجملة إلى المرور.بالنسبة إلى MRC الاستخراجية، تم عرض فترة الإجابة في الغالب عن طريق الأدلة الرئيسية الوحدات اللغوية، حيث إنها جملة في معظم
الحالات.ومع ذلك، اكتشفنا مؤخرا أن الجمل قد لا تكون محددة بوضوح في العديد من اللغات إلى النطاقات المختلفة، بحيث يؤدي ذلك إلى ما يسمى بمشكلة غموض وحدة الموقع ونتيجة لذلك، مما يجعل من الصعب على النموذج لتحديد الجملة التي تحتوي على تمديد الإجابة بالضبط عندماالجملة نفسها لم يتم تعريفها بوضوح على الإطلاق.مع أخذ اللغة الصينية كدراسة حالة، فإننا نوضح وتحليل هذه الظاهرة اللغوية واقترح قارئ مقابلة مع التنافق الصريح بالإجمال لتخفيف مثل هذه المشكلة.يساعد قارئنا المقترح في النهاية في تحقيق أحدث حالة جديدة في مؤشر MRC الصيني ويظهر إمكانات كبيرة في التعامل مع لغات أخرى.
يجلب الفهم القراءة آلة حوار متعدد الأحزاب (MRC) تحديا هائلا لأنه ينطوي على مكبرات صوت متعددة في حوار واحد، مما أدى إلى تدفقات معلومات المتكلم المعقدة وسياقات الحوار الصاخبة.لتخفيف هذه الصعوبات، تركز النماذج السابقة على كيفية دمج هذه المعلومات باستخدا
م الوحدات النمطية المستندة إلى الرسم البياني المعقدة والبيانات الإضافية المسمى يدويا، والتي عادة ما تكون نادرة في السيناريوهات الحقيقية.في هذه الورقة، نقوم بتصميم مهام التنبؤ ذات الإشراف الذاتي والخالية من العمالة في العمل على المتكلم والكلام الرئيسي للنموذج الضمني لتدفقات معلومات المتكلم، والتقاط أدلة بارزة في حوار طويل.تبرر النتائج التجريبية على مجموعة من مجموعات البيانات القياسية لفعالية أسلوبنا على أساس الأساس التنافسي والنماذج الحديثة الحالية.
آلة قراءة الآلة (MRC)، والتي تتطلب آلة للإجابة على الأسئلة التي تعطى المستندات ذات الصلة، هي طريقة مهمة لاختبار قدرة الآلات على فهم اللغة البشرية.تعد MRC متعددة الخيارات واحدة من أكثر المهام التي تمت دراستها في MRC نظرا لراحة التقييم ومرونة تنسيق الإ
جابة.تهدف تفسير ما بعد الهوك إلى شرح نموذج مدرب ويكشف عن كيفية وصول النموذج إلى التنبؤ.واحدة من أهم أشكال التفسير هي أن نسأل قرارات النموذج إلى ميزات المدخلات.بناء على طرق الترجمة الفورية لما بعد الهوك، نقوم بتقييم دعاسة الفقرات في MRC متعددة الخيارات وتحسين النموذج من خلال معاقبة السموم غير المنطقية.يمكن لطريقتنا تحسين أداء النموذج دون أي معلومات خارجية وتغيير هيكل النموذج.علاوة على ذلك، فإننا نحلل أيضا كيف ولماذا تعمل طريقة التدريب الذاتي.
تتمثل المحور الخاص بتحليل المعنويات المستندة إلى جانب الجانب (ABAMA) على إزاحة شروط الجانب مع شروط الرأي المقابلة، والتي قد تستمد تنبؤات المعنويات أسهل. في هذه الورقة، نحقق في مهمة ABSA الموحدة من منظور فهم القراءة بالآلة (MRC) من خلال مراعاة أن الجا
نب وشروط الرأي يمكن أن يكون بمثابة الاستعلام والإجابة في MRC Interchangeably. نقترح نماذج جديدة تسمى دور يقرأ آلة القراءة (RF-MRC) لحلها. في قلبها، تعتبر النتائج المتوقعة إما استخراج الأوجه (أكلت) أو مصطلحات الرأي (OTE) الاستعلامات، على التوالي، وتعتبر الرأي المتطابق أو شروط الجانب إجابات. يمكن انقلاب الاستفسارات والإجابات للكشف المتعدد القفز. أخيرا، يتم توقع كل زوج من جانب الرأي المتطابق مع مصنف المعنويات. RF-MRC يمكن أن يحل مهمة ABSA دون أي شرح بيانات إضافي أو تحويل. تجارب على ثلاثة معايير مستعملة على نطاق واسع ومجموعة بيانات صعبة توضح تفوق الإطار المقترح.
البحث عن الويب هو وسيلة أساسية للبشر للحصول على معلومات، لكنها لا تزال تحديا كبيرا للآلات لفهم محتويات صفحات الويب. في هذه الورقة، نقدم مهمة فهم القراءة الهيكلية المستندة إلى الويب. نظرا لصفحة ويب وسؤال حولها، فإن المهمة هي العثور على إجابة من صفحة ا
لويب. تتطلب هذه المهمة نظام ليس فقط لفهم دلالات النصوص ولكن أيضا هيكل صفحة الويب. علاوة على ذلك، اقترحنا Webrc، وهي مجموعة بيانات فهم هيكلية قائمة على شبكة الإنترنت. تتكون WebSrc من أزواج من الإجابات السؤال 400K، والتي يتم جمعها من صفحات الويب 6.4K مع شفرة مصدر HTML المقابلة، لقطات الشاشة والبيانات الوصفية. يتطلب كل سؤال في WebSrc فهم هيكلي معين لصفحة ويب للإجابة، والإجابة إما تمتد عن نصوص على صفحة الويب أو نعم / لا. نحن نقيم مختلف خطوط الأساس القوية على مجموعة بياناتنا لإظهار صعوبة مهمتنا. نحن نحقق أيضا في فائدة المعلومات الهيكلية والميزات المرئية. كانت مجموعة البيانات وخطوط البيانات الخاصة بنا متاحة للجمهور.
كشف ترتيب القراءة هو حجر الزاوية لفهم المستندات البصرية (على سبيل المثال، الإيصالات والأشكال). لسوء الحظ، أي عمل موجود استفاد من نماذج التعلم العميقة المتقدمة لأنها شاقة للغاية للتعليق على مجموعة بيانات كبيرة بما فيه الكفاية. نلاحظ أن ترتيب القراءة م
ن مستندات Word مضمن في بيانات تعريف XML الخاصة بهم؛ وفي الوقت نفسه، من السهل تحويل مستندات Word إلى ملفات PDF أو الصور. لذلك، في طريقة تلقائية، نقوم ببناء Redlybank، مجموعة بيانات معيار تحتوي على ترتيب القراءة والنصوص والتخطيط لمعلومات 500000 صورة وثيقة تغطي مجموعة واسعة من أنواع المستندات. هذه مجموعة بيانات كبيرة على نطاق واسع يطلق تشغيل قوة الشبكات العصبية العميقة لكشف عن الطلب. على وجه التحديد، يلتقط LayoTreader المقترح معلومات النص والتخطيط لتوقعات ترتيب القراءة باستخدام نموذج SEQ2SEQ. يؤدي ذلك بشكل مثالي تقريبا في اكتشاف أمر القراءة ويحسن بشكل كبير من محركات الحرية الخارجية المفتوحة والمصادر الحرارية في ترتيب خطوط نصية في نتائجها في تجاربنا. يتم توفير مجموعة البيانات والنماذج علنا في https://aka.ms/layouoTreader.
