چکیده پایان نامه

چکیده پایان نامه گفتار وسيله اي مؤثر براي بيان احساسات است. يافتن محتواي عاطفي از سيگنال گفتار و شناسايي احساسات ناشي از گفتار، وظيفه مهمي براي محققان است. از اين رو بازشناسي احساس از گفتار به عنوان يك حوزه تحقيقاتي مهم در دهه اخير مورد توجه قرار گرفته و تعدادي زيادي سيستم، الگوريتم و دسته بند براي شناسايي محتواي عاطفي گفتار طراحي شده است. چالش هايي در طراحي اين نوع سيستم ها وجود دارد مانند استقلال از گوينده بودن سيستم. در اين پژوهش، رويكرد جديدي براي طراحي اين نوع سيستم ها به منظور مقابله با اين چالش ارائه شده است. در روش پيشنهادي، براي استخراج ويژگي از ورژن پايه مدلهاي Wav۲Vec۲,HuBERT كه بر روي دادگان بزرگ libriSpeech-۹۶۰h از پيش آموزش ديده¬اند، به عنوان مدل بالادستي استفاده مي شود. از بازنمايي هاي حاصل از اين مدلها در وظيفه پايين دستي بازشناسي احساس گفتار استفاده ميگردد تا به اين ترتيب تنوع و تغييرات گوينده در بحث احساس در نظر گرفته شود. به منظور درنظرگرفتن بخشهاي زماني موثرتر گفتار در بازشناسي احساس، از ASP براي وزن دهي در سطح زمان خروجي بلوك هاي ترنسفورمر مدلهاي HuBERT وWav۲Vec۲ براساس مكانيسم توجه استفاده گشته است. در مرحله بعدي از كانولوشن نقطه اي يك بعدي براي وزن دهي و كاهش بعد به خروجيهاي ASP استفاده شده است و به منظور توجه بيشتر به بلوكهاي مرتبط از هريك از دو مدل با تشخيص احساس گفتار، خروجي الحاق شده كانولوشنها به مكانيسم توجه چندسر اعمال ميگردند. براي كاهش ابعاد ويژگيهاي خروجي مكانيسم توجه چندسر و جلوگيري از بيش برازش مدل، از تابع فعالسازي Maxout استفاده شده است و درنهايت براي دسته بندي احساسات از يك لايه خطي بهمراه سافتمكس استفاده ميگردد. براي آموزش و ارزيابي مدل از دادگان بداهه گويي IEMOCAP استفاده ميشود. براي ارزيابي رويكرد پيشنهادي از دقت هاي غير وزني و وزندار استفاده ميشود كه بترتيب نتايج ۷۲/۴۲۴% و ۶۹/۷۲% از اين روش بدست مي آيد كه براساس دقت غيروزني، نسبت به پژوهش هاي پيشين، نتيجه بهتري داشته است. كلمات كليدي: بازشناسي احساس از گفتار، مستقل از گوينده، يادگيري بازنماييهاي خودنظارتي، مدل Wav۲Vec۲، مدل HuBERT، مكانيسم توجه