طور الباحثون طريقة جديدة للتعرف على المشاعر البشرية من خلال الجمع بين الإشارات الفسيولوجية الصادرة عن مستشعر الألياف الضوئية والتصوير الحراري للوجه. في المستقبل، يمكن استخدام هذا النظام المحمول للمراقبة المنزلية للصحة العقلية، وتحسين سلامة القيادة وإنشاء تقنيات أكثر استجابة للحالة العاطفية للشخص.

“على عكس العديد من الأساليب الحالية، فإن طريقتنا لا تعتمد على تعبيرات الوجه، والتي يمكن التحكم فيها أو المبالغة فيها بوعي. وبدلاً من ذلك، نحن نركز على ردود فعل الجسم الطبيعية التي تحدث بشكل لا إرادي. ومن خلال الجمع بين أنواع مختلفة من القياسات البصرية مع التفسير الفسيولوجي المتعمق، فإن نظامنا قادر على التعرف على العواطف بشكل أكثر دقة من الأجهزة التي تستخدم نوع واحد فقط من البيانات”، كما يوضح قائد فريق البحث مين روي من جامعة بكين للمعلمين.

تم اختبار التطوير على المتطوعين. ونشرت نتائج التجارب في المجلة البصريات الطبية الحيوية اكسبرسوهي مثيرة للإعجاب: عند تحديد الخوف والفرح والاسترخاء، أظهر نظام التعرف على المشاعر متعدد الوسائط دقة تبلغ حوالي 93٪.

يكتشف النظام حركات الصدر الدقيقة المرتبطة بنبض القلب والتنفس باستخدام مستشعر تنفسي قلبي قابل للارتداء يعتمد على ألياف بوليمر ضوئية. يتم دمج هذه البيانات مع معلومات حول التغيرات الطفيفة في درجة حرارة الوجه المسجلة بواسطة كاميرا التصوير الحراري.

“يمكن أن يكون التحديد المبكر للاضطراب العاطفي ذا قيمة خاصة في المساعدة على اتخاذ الإجراءات اللازمة قبل تفاقم المشاكل. على سبيل المثال، ستكون السيارات قادرة على اكتشاف متى يكون السائق متوترًا أو قلقًا وضبط تشغيل أنظمة التحذير أو المساعدين لتحسين السلامة”، كما يقول طالب الدراسات العليا باو يينغشو، المؤلف الأول للبحث.

يعتقد الباحثون أن دمج الإشارات الفسيولوجية من الألياف الضوئية وبيانات درجة الحرارة من الوجه يمكن أن يوفر وصفًا أكثر شمولاً للاستجابات العاطفية.

يقول مينه: “على الرغم من أن العواطف ترتبط ارتباطًا وثيقًا بالتغيرات في العديد من الأنظمة الفسيولوجية – خاصة تدفق الدم في الوجه والنشاط القلبي التنفسي – إلا أن معظم طرق الكشف عن المشاعر الحالية لا تزال تعتمد على نوع واحد فقط من الإشارات، مما يحد من موثوقيتها ودقتها. وكان التحدي الرئيسي في تطوير نظام متعدد الوسائط هو التقاط كلا النوعين من البيانات بشكل موثوق ودمجهما بحيث يعزز كل منهما الآخر”.

يستخدم النظام ما تم تطويره مسبقًا من قبل المؤلفين جهاز استشعار القلب والجهاز التنفسي على الألياف الضوئية البوليمر. تم دمجه في حزام الصدر المبطن لمراقبة مريحة وموثوقة دون استخدام الاتصالات الكهربائية.

يبدو مبدأ تشغيل المستشعر عبقريا للغاية: فالحركات الدقيقة للصدر تغير مسار الضوء داخل الألياف. يتم تسجيل هذه التغييرات البصرية بواسطة كاميرا الهاتف الذكي كسلسلة من الإطارات، والتي يتم من خلالها استخراج أنماط التنفس ونبضات القلب التفصيلية.

وفي الوقت نفسه، تقوم كاميرا التصوير الحراري الخاصة بالنظام بالتقاط فيديو للوجه. تؤدي تقلبات درجات الحرارة في مناطق معينة من الوجه إلى ردود أفعال عاطفية لا إرادية.

تطبيق الخوارزميات التعلم الآلي تحت الإشراف من خلال استخراج ومحاذاة ودمج الميزات من إشارات الألياف الضوئية القلبية التنفسية وبيانات التصوير الحراري، تمكن العلماء من تحديد التغيرات الفسيولوجية المرتبطة بالعاطفة بدقة أكبر مما هو ممكن من خلال تحليل نوع واحد فقط من الإشارات.

الصورة: البصريات الطبية الحيوية اكسبرس

ولاختبار النظام الجديد، عُرضت على المتطوعين مقاطع فيديو قصيرة مصممة للحث على الخوف أو الفرح أو الاسترخاء، بينما تم تسجيل حركات الصدر ودرجة حرارة الوجه.

تم اختبار كل نوع من أجهزة الاستشعار بشكل فردي ومجتمع. اتضح أنه عندما تم دمج البيانات، كانت الموثوقية الإجمالية للتعرف على كل عاطفة (مع الأخذ في الاعتبار كل من الأهداف الخاطئة والإيجابيات الكاذبة) عالية جدًا، مع درجة F1 تبلغ 0.93. معظم الأخطاء كانت نتيجة لمزيج عرضي من الخوف والفرح.

وفي المراحل المستقبلية، يخطط الباحثون لتوسيع قدرات النظام عن طريق إضافة أنواع جديدة من أجهزة الاستشعار لإجراء مراقبة فسيولوجية أكثر شمولاً. بالإضافة إلى ذلك، فإنهم يعتزمون اختبار أفكارهم بموجب مجموعة واسعة من الظروف – على سبيل المثال، مع حركات الجسم المختلفة أو في ظروف بيئية مختلفة.