تشخيص احساس انسان مبتني بر همجوشي ويژگي‌هاي گفتار و حرکات چهره

 Human Emotion Recognition Using  Facial Expression and Speech Features Fusion

دستاورد‌هاي فن‌آوري هاي  سخت افزاري و نرم افزاري طي دهه گذشته، راههاي جديدي براي ارتباط انسان و ماشين ايجاد کرده‌اند. امروزه علاوه بر صفحه کليد و ماوس، روشهاي ديگري مانند صوت و گفتار، حرکات بدن و چهره نيز براي ارتباط انسان و ماشين پيشنهاد شده و تحقيقات مرتبط با آنها ادامه دارد. از آنجا که صوت و تصوير مهمترين ابزارهاي تعامل انسان با انسان هستند؛ براي انسان ارتباط با کامپيوتر با استفاده از اين کانالها طبيعي‌تر و ملموس‌تر از استفاده از ماوس و صفحه کليد است. به همين دليل جهت‌گيري تحقيقات مرتبط با موضوع، به سمت تدوين راههاي ارتباط انسان و ماشين است که مشابه روشهاي ارتباط انسان با انسان باشند. با وجود پيشرفتهايي که تاکنون حاصل شده است، يکي از ملزومات اصلي تعامل انسان با انسان، احساس است كه  در چنين سيستم‌هايي مورد توجه قرار نگرفته است. در برخي از کاربردهاي فن‌آوري اطلاعات مانند آموزش الکترونيکي نياز است که کامپيوتر بتواند احساس کاربر را دريابد تا سيستم آموزش الکترونيکي مشابه سيستم‌هاي آموزش انسان به انسان باشد.
احساس فرد گاهي تنها در قالب حرکات چهره و گاهي تنها در قالب کلمات و گاهي هم با ترکيب اين دو بروز مي‌يابد. بازشناسي احساس از روي حرکات چهره و همچنين با استفاده از گفتار به طور مستقل  موضوع تحقيقات متعددي بوده است ولي ترکيب اطلاعات موجود در آنها براي بازشناسي، اخيرا و بعد از سال 2000 مورد توجه قرار گرفته‌است. سيستم‌هاي موجود در اين زمينه، معمولا فرايند شناسايي را به صورت مستقل با استفاده از گفتار و حرکات صورت انجام داده و سپس نتيجه بدست آمده را ترکيب مي‌کنند.
هدف از انجام اين تحقيق تدوين مدلي  است که بتواند گفتار و حالات چهره انسان را از نظر احساس بروز يافته طبقه‌بندي کند. مدل پيشنهادي در اين طرح تحقيق همجوشي اطلاعات گفتار و حالات چهره را در سطح ويژگي در نظر مي‌گيرد و سعي مي‌کند هر احساس را با استفاده از ويژگيهاي مختلف صوتي و تصويري به صورت جداگانه بازشناسي نمايد. در طرح پيشنهادي، ابتدا ويژگيهاي مختلف صوتي و تصويري به وسيله سريهاي زماني مدلسازي مي‌شوند و سپس  با استفاده از اين ويژگيها و همبستگي بين آنها، براي هركلاس طبقه بند جداگانه اي يادگيري مي‌شود. خروجي نهايي مدل پيشنهادي با ارزيابي نتايج بازشناسي هر كدام از طبقه بندها و همچنين زنجيره نتايج لحظات قبل توليد مي‌شود. تاکنون بخش بازشناسي احساس با استفاده از حرکات چهره و با استفاده از گفتار به صورت مستقل طراحي و اجرا شده ست.
کلمات کليدي: تشخيص احساس،  همجوشي اطلاعات،  حالات چهره، لحن گفتار