حققت النماذج المدربة مسبقا للمحولات، مثل بيرت، نتائج رائعة بشأن فهم القراءة في الآلة. ومع ذلك، نظرا لقيود طول الترميز (E.G.، 512 Tokenspece)، عادة ما يتم تقسيم وثيقة طويلة إلى قطع متعددة يتم قراءتها بشكل مستقل. ينتج عن أن حقل القراءة يقتصر على القطع
الفردية دون تعاون المعلومات لفهم قراءة آلات المستندات الطويلة. لمعالجة هذه المشكلة، نقترح ROR، وهي طريقة للقراءة للقراءة، والتي تقوم بتوسيع حقل القراءة من قطعة إلى المستند. على وجه التحديد، يتضمن ROR قارئ قطعة وقارئ مستند. السابق يتوقع أولا مجموعة من الإجابات الإقليمية لكل قطعة، والتي يتم ضغطها بعد ذلك في إصدارا كبيرا مكثفا من المستند الأصلي، مما يضمن ترميزه مرة واحدة. يتنبأ الأخير كذلك بالإجابات العالمية من هذه الوثيقة المكثفة. في النهاية، يتم استخدام استراتيجية التصويت إلى إجمالي الإجابات الإقليمية والعالمية للتنبؤ النهائي. تثبت تجارب واسعة على معيارين Quac و Triviaqa فعالية ROR للحصول على قراءة المستندات الطويلة. والجدير بالذكر أن ROR يحتل المرتبة الأولى على المتصدرين Quac (https://quac.ai/) في وقت التقديم (17 مايو، 2021).
تعرض تعقيدات الحسابية والذاكرة التربيعية للمحولات الكبيرة محدودة قابلية توسعها لتلخيص وثيقة طويلة.في هذه الورقة، نقترح هيبوس، وهو اهتمام مفكف مفكف من التشفير مع خطوات وضعية من الدرجة الأولى بفعالية المعلومات البارزة من المصدر.ونحن كذلك إجراء دراسة من
هجية للانتباه الذاتية الفعالة الحالية.جنبا إلى جنب مع HEPOS، نحن قادرون على معالجة المزيد من الرموز عشرة أضعاف من النماذج الحالية التي تستخدم الاهتزازات الكاملة.للتقييم، نقدم مجموعة بيانات جديدة، الحكومة، مع وثائق وملخصات أطول بكثير.تشير النتائج إلى أن نماذجنا تنتج درجات Rouge أعلى بكثير من المقارنات التنافسية، بما في ذلك النتائج الجديدة من أحدث النتائج على PubMed.يوضح التقييم البشري أيضا أن نماذجنا تولد ملخصات أكثر إعلانية مع أخطاء أقل غير مانعة.
