لطيفة: الصورة العصبية التعليق مع التعاطف

العاطفة والتعاطف هي أمثلة على الصفات البشرية التي تفتقر إلى العديد من التفاعلات البشرية. الهدف من عملنا هو توليد حوار جذاب في صورة مشتركة من المستخدمين مع زيادة العاطفة والتعاطف مع تقليل النواتج غير اللائق أو الهجومية الاجتماعية. ونحن نفرج عن الصورة العصبية التعليق مع مجموعة بيانات التعاطف (لطيفة) تتكون من ما يقرب من مليوني صورة وتعليقات مقابلة للإنسان، ومجموعة من التعليقات الشروحية البشرية والأداء الأساسي في مجموعة من النماذج. في الموقف عن الاعتماد على المشاعر المسمى يدويا، نستخدم أيضا تمثيل اللغوي الذي تم إنشاؤه تلقائيا كمصدر للملصقات الخاضعة للإشراف. بناء على هذه التعليقات التوضيحية، نحدد مهامين مختلفة لمجموعة البيانات الجميلة. بعد ذلك، نقترح نموذجا روايا قبل التدريب - النمذجة تؤثر على جيل للحصول على تعليقات الصورة (السحر) - والتي تهدف إلى توليد تعليقات للصور، مشروطة على التمثيل اللغوي الذي التقاط النمط والتأثير، والمساعدة في توليد أكثر تعاطفا وعاطفيا وجذابا و تعليقات اجتماعية مناسبة. باستخدام هذا النموذج، نحقق الأداء الحديث في واحدة من مهامنا الجميلة. تظهر التجارب أن النهج يمكن أن يولد المزيد من التعليقات التي تشبه الإنسان وإشراكها للإشراك.

Emotion and empathy are examples of human qualities lacking in many human-machine interactions. The goal of our work is to generate engaging dialogue grounded in a user-shared image with increased emotion and empathy while minimizing socially inappropriate or offensive outputs. We release the Neural Image Commenting with Empathy (NICE) dataset consisting of almost two million images and the corresponding human-generated comments, a set of human annotations, and baseline performance on a range of models. In-stead of relying on manually labeled emotions, we also use automatically generated linguistic representations as a source of weakly supervised labels. Based on these annotations, we define two different tasks for the NICE dataset. Then, we propose a novel pre-training model - Modeling Affect Generation for Image Comments (MAGIC) - which aims to generate comments for images, conditioned on linguistic representations that capture style and affect, and to help generate more empathetic, emotional, engaging and socially appropriate comments. Using this model we achieve state-of-the-art performance on one of our NICE tasks. The experiments show that the approach can generate more human-like and engaging image comments.