Automated Generation of Accurate \& Fluent Medical X-ray Reports

تهدف ورقتنا إلى أتمتة توليد التقارير الطبية من مدخلات صور الأشعة السينية الصدر، وهي مهمة حاسمة ولكنها تستغرق وقتا طويلا لأطباء الأشعة. تؤكد جهود توليد التقرير الطبي الحالي التأكيد على تقديم تقارير قابلة للقراءة من قبل الإنسان، ولكن النص الذي تم إنشاؤه قد لا يتماشى بشكل جيد إلى الحقائق السريرية. تقاريرنا الطبية الناتجة، من ناحية أخرى، يجيد، والأهم من ذلك، دقيقة سريريا. يتم تحقيق ذلك من خلال النموذج الخاص بنا الممتازة والتنتهي التي تحتوي على ثلاث وحدات تكميلية: أخذ صور الأشعة السينية للصدر وثيقة التاريخ السريري للمرضى كمدخلات، وتنتج وحدة التصنيف الخاصة بنا قائمة مرجعية داخلية للمواضيع المتعلقة بالأمراض، المشار إليها كما تضمين المرض المخصب؛ ثم يتم تمرير تمثيل التضمين إلى مولدنا القائم على المحولات، لإنتاج التقرير الطبي؛ وفي الوقت نفسه، يخلق مولدنا أيضا تمثيلا مضمون مرجح، وهو يتغذى على مترجمينا لضمان الاتساق فيما يتعلق بالمواضيع المتعلقة بالأمراض. توضح التقييمات التجريبية نتائج واعدة للغاية حققتها نهجنا بشأن المقاييس المستخدمة عادة فيما يتعلق بطلاقة اللغة ودقة السريرية. علاوة على ذلك، لاحظت مكاسب الأداء الملحوظة باستمرار عند توفر معلومات الإدخال الإضافية، مثل المستند السريري والمسح الإضافي من وجهات نظر مختلفة.

Our paper aims to automate the generation of medical reports from chest X-ray image inputs, a critical yet time-consuming task for radiologists. Existing medical report generation efforts emphasize producing human-readable reports, yet the generated text may not be well aligned to the clinical facts. Our generated medical reports, on the other hand, are fluent and, more importantly, clinically accurate. This is achieved by our fully differentiable and end-to-end paradigm that contains three complementary modules: taking the chest X-ray images and clinical history document of patients as inputs, our classification module produces an internal checklist of disease-related topics, referred to as enriched disease embedding; the embedding representation is then passed to our transformer-based generator, to produce the medical report; meanwhile, our generator also creates a weighted embedding representation, which is fed to our interpreter to ensure consistency with respect to disease-related topics. Empirical evaluations demonstrate very promising results achieved by our approach on commonly-used metrics concerning language fluency and clinical accuracy. Moreover, noticeable performance gains are consistently observed when additional input information is available, such as the clinical document and extra scans from different views.