یادداشت های گاه و بیگاه

عنوان: تشخیص احساس انسان مبتنی بر ویژگی های گفتار و حرکات چهره

چكيده: مدل پيشنهادي در اين  رساله  همجوشي اطلاعات گفتار و حالات چهره را در دو سطح ويژگي و تصمیم در نظر مي‌گيرد. در این مدل، ويژگي‌های صوتي و تصويري در قالب سريهاي زماني استخراج مي‌شوند. به منظور همزمان‌سازی آنها، بافرهای فعالی برای نگهداری مقادیر ویژگی‌ها و همجوشی زمانی آنها استفاده می‌شود. در زمان‌هایی که مقادیر ویژگی مورد نظر وجود داشته باشند؛ بافر با این مقادیر به‌روز می‌شود. در لحظات بعد اگر تا مدت معینی مقدار ویژگی موجود نباشد؛ مقدار موجود در بافرها به عنوان مقدار فعلی ویژگی گزارش می‌شود. پس از انقضای این مدت، مقادیر بافرها با مقادیر پیش فرض خاصی جایگزین می‌شوند. با استفاده از این بافرها، ویژگی‌های مختلف صوتی و تصویری همپوشانی زمانی مناسبی با هم پیدا می‌کنند.  برای طبقه‌بندی احساس بروز یافته، سه نوع طبقه‌بند مبتنی بر ویژگی‌های گفتار، ویژگی‌های چهره و ویژگی‌های ادغام شده آنها یادگیری می‌شوند. سطح دوم همجوشی اطلاعات در مدل پیشنهادی، نتایج این طبقه‌بندها و همچنین نتیجه نهایی لحظه قبل را به صورت خطی با هم ترکیب می‌کند.  مدل پیشنهادی با استفاده از دو پایگاه داده صوتی تصویری احساس eNterface05 ( زبان انگلیسی، 42 نفر) و TMU-EMODB (زبان فارسی، 12 نفر) آزمایش‌شده‌است. نتایج این آزمایش‌ها نشان دهنده این است که دقت بازشناسی احساس با ادغام ویژگی‌های ناهمزمان و  ترکیب طبقه‌بندهای مبتنی بر ویژگی‌های ناهمزمان مشابه هم بوده و در حدود 40% برای پایگاه اول و 65%  برای پایگاه دوم می‌باشند. در حالی که پس از همزمان سازی و ادغام ویژگی ها، میانگین دقت به 70%  و 75% به ترتیب بر روی این دو پایگاه بدست آمده است. همچنین نتایج بدست آمده نشان میدهند که دقت بازشناسی با استفاده از ترکیب سه نوع طبقه‌بند فوق، برای پایگاه اول با دقت بدست آمده  از طبقه‌بند مبتنی بر ویژگی‌های همزمان شده، تفاوت چندانی ندارد اما برای پایگاه دوم، این تفاوت از نظر آماری معنی دار است. نتایج فوق بیانگر افزایش دقت بازشناسی احساس با بکار بردن بافرهای همزمان سازی و ترکیب سه نوع طبقه‌بند فوق می‌باشند

دانشجو: محرم منصوری زاده
استادراهنما: دکتر نصرا... مقدم چرکری

اعضاي محترم هيأت داوري:    
دکتر سعید جلیلی، دانشگاه تربیت مدرس 
دکتر احسان اله کبیر، دانشگاه تربیت مدرس
دکتر محمود فتحی، دانشگاه علم و صنعت ایران
دکتر حمیدرضا ربیعی، دانشگاه صنعتی شریف

تاريخ دفاع:       8/12/1388       ساعت: 18 تا 20 

نشانی: تهران، پل گیشا، دانشگاه تربیت مدرس، دانشکده مهندسی برق و کامپیوتر، طبقه هفتم، اتاق 710

 پ.ن: جلسه دفاع با موفقیت برگزار و رساله پذیرفته شد.