توليد تقارير التصوير بالثدي بالأشعة الأمثوية متعددة الرؤية مع بيرت

يمكن أن يكون كتابة تقارير التصوير الشعاعي للتصوير الشعاعي للثدي عرضة للخططاء وتستغرق وقتا طويلا لأخصائيي الأشعة.في هذه الورقة نقترح طريقة لتوليد تقارير التصوير الشعاعي للثدي المصنوعة من التصوير بالثدي المصنوعة من التصوير بالثديإلى أفضل ما لدينا، يمثل عملنا المحاولة الأولى لإنشاء تقرير التصوير الشعاعي للثدي باستخدام التعلم العميق.نقترح نموذج فك تشفير التشفير الذي يتضمن ترميزا مقصورا ومكيفا محولا.نوضح أن آلية الاهتمام القائمة على المحولات يمكنها الجمع بين المعلومات المرئية والدلية لتوسيع المناطق البارزة على تصوير الثدييات الإدخال وتوليد تقرير تفسير بصريا.تظهر التجارب التي أجريت، بما في ذلك تقييم من قبل عالم الأشعة المعتمدة، فعالية الطريقة المقترحة.

Writing mammography reports can be error-prone and time-consuming for radiologists. In this paper we propose a method to generate mammography reports given four images, corresponding to the four views used in screening mammography. To the best of our knowledge our work represents the first attempt to generate the mammography report using deep-learning. We propose an encoder-decoder model that includes an EfficientNet-based encoder and a Transformer-based decoder. We demonstrate that the Transformer-based attention mechanism can combine visual and semantic information to localize salient regions on the input mammograms and generate a visually interpretable report. The conducted experiments, including an evaluation by a certified radiologist, show the effectiveness of the proposed method.