تتعدد البحوث و الدراسات العلمية التي تعمل على تحسين طريقة تفاعل الإنسان مع الآلة و جعلها أقرب إلى الأسلوب البشري في التفاعل سواء من خلال محاولة فهم الكلام أو الإيماءات أو حتى إشارات الدماغ, و لكن اعتماد الإنسان اعتماداً كبيراً على يديه في التفاعل مع
بيئته المحيطة أعطى أهمية خاصة للبحوث التي تهتم بتعرف اليد و حركاتها و ملاحقتها.
يقدم هذا البحث أسلوباً جديداً لتعرف يد بشرية تتحرك بشكل طبيعي أمام كاميرا رقمية عادية و ملاحقتها ضمن بيئة غير معروفة مسبقاً, بغض النظر عن وضعية الأصابع أو شكل اليد و دون الحاجة إلى ارتداء قّفازات أو معّلمات إضافية. تقوم الطريقة
المقترحة بالتمييز بين اليد و الأجسام المتحركة الأخرى و خاصة الوجه عن طريق تحديد نقاط الفيديو المتحركة من لون الجلد البشري، و تطبيق مجموعة من المعايير المقترحة المعتمدة على معالجة صور الفيديو لتعرف الجسم الممثل لليد. قمنا بإجراء
دراسة عملية لتقييم الأداء فضلاً عن تصميم تلفاز افتراضي يجري التفاعل معه باستخدام اليد المجردة كتطبيق مباشر على الطريقة المقترحة لمعرفة مدى فعاليتها و سهولة استعمالها بنظر المستخدمين. أظهرت النتائج إمكانية تعرف اليد بالزمن
الحقيقي و بدقة تقارب % 99 ضمن ظروف إضاءة الغرفة الطبيعية.
يستطيع البشر ادارك المشاهد المحيطة بهم خلال أجزاء من الثانية، على الرغم من اختلاف أنواع هذه المشاهد. يعتمد البشر في هذه العملية على معالجة المعلومات البصرية بسرعة فائقة. إضافة إلى ربطها مع مجموعة كبيرة من المعارف المسبقة. وهذا ما تفتقر إليه الحواسيب
التي لم تتمكن بعد من الوصول إلى مستويات عالية في فهم المشاهد المحيطة بها.
دأبت معظم الأبحاث التي تعمل ضمن مجال فهم المشاهد، على اختصار عملية فهم المشهد بتصنيفه ضمن مجموعة من التصنيفات المعرفة مسبقا (غابة، مدينة، حديقة)، باستخدام خوارزميات تصنيف او تعلم تلقائي، وهذا ما حد من وصولها إلى فهم دلالة المشهد على نحو عميق. كما قلل من قابلية استخدامها عملياً بسبب وجود مرحلة تدريب لهذه الخوارزميات. ولكن وعلى الرغم من قيام بعض الأبحاث بمحاولة الاستفادة من المعارف المخزنة بصيغة انطولوجيات للوصول إلى عملية فهم أعمق لدلالة المشهد. إلا أن هذه الأبحاث لم تتمكن سوى من العمل ضمن مجال محدد بسبب محدودية الأنطولوجيات المتوفرة حالياً.
نحاول في هذه الأطروحة فهم صور المشاهد دون تحديد تصنيفات معرفة مسبقا لهذه الصور. لن نعتمد في عملية الفهم هذه على مجرد تصنيف لصور المشاهد، وانما سنعتمد إلى استخراج مفاهيم ضمنية عالية المستوى من صور المشهد, بالأعتماد على مفاهيم أولية مستخرجة منها. لا تعبر هذه المفاهيم الضمنية عن الأغراض الموجودة ضمن الصورة فحسب وأنما أيضا عن الأماكن والأحداث والأفعال الموجودة ضمن الصورة. للقيام بذلك، طورنا نظاما خاصا اسميناه ICES ويتالف من مرحلتين.
تعتمد المرحلة الأولى على قاعدة صور غير متخصصة بمجال محدد، دون استخدام خوارزميات تصنيف او تعلم، وتقوم هذه المرحلة باستخراج مجموعة من المفاهيم الأولية من صورة المشهد. بينما تتالف المرحلة الثانية من خوارزمية مخصصة قمنا بتطويرها تحت اسم SMHITS لايجاد المفاهيم المترابطة دلاليا مع مجموعة المفاهيم الأولية, بالاعتماد على شبكة معارف شائعة وغنية دلالياً. أظهرت النتائج تفوق خوارزمية SMHITS على الخوارزمية المعتمدة حاليا في شبكة ConceptNet لاستخراج المفاهيم المرتبطة، وذلك من حيث الدقة والاستفادة من زيادة عدد المفاهيم, كما أظهرت الغنى الدلاي للمفاهيم المستخرجة من قبل ICES مقارنة بالأبحاث الأخرى, وقابليته للتوسع بسهولة.
