الملعقة في الحوض: مساعدة الأشخاص الذين يعانون من ضعف البصر في المطبخ

إن أنظمة الإجابة على السؤال المرئي (VQA) بشكل متزايد بشكل متزايد في مجموعة متنوعة من المهام، ويمكن استخدام هذه التكنولوجيا لمساعدة الأشخاص المكفوفين والمشاعر جزئيا. للقيام بذلك، يجب ألا تكون ردود النظام دقيقة فحسب، بل يمكن استخدامها. من الضروري أيضا تصميم التكنولوجيات المساعدة مع التركيز على: (1) الخصوصية، حيث قد تكون الكاميرا التقاط بريد مستخدم أو زجاجات الأدوية أو المعلومات الحساسة الأخرى؛ (2) الشفافية، بحيث يمكن تفسير سلوك النظام وموثوق به من قبل المستخدمين؛ (3) التحكم في التحكم، لتكييف النظام لمجال معين أو مجموعة مستخدمين. لذلك قدمنا ​​بإطار عمل VQA محادثة، يسمى AYE-SAAC، مع مراعاة هذه الأهداف. على وجه التحديد، منحنا AYE-SAAC القدرة على الإجابة على الأسئلة البصرية في المطبخ، وهي منطقة صعبة بشكل خاص للأشخاص الذين يعانون من ضعف البصر. يمكن لنظامنا الآن الإجابة على أسئلة حول الكمية والتحديد والثقة والنظام فيما يتعلق ب 299 كائنات مطبخ. إن أسئلة حول العلاقات المكانية بين هذه الكائنات مفيدة بشكل خاص للأشخاص الذين يعانون من ضعف البصر، وإخراج نظامنا المزيد من الإجابات غير القابلة للاستخدام من أحدث أنظمة VQA المناسبة للفن.