فاطمه کشوری


عنوان پایان نامه

حفظ هويت گوينده در بازسازي گفتار ديزآرتريك (نامفهوم) با استفاده از جاسازي عميق و شباهت ادراكي

نام دانشکده

دانشکده فنی و مهندسی رسانه

رشته تحصیلی

کارشناسی ارشد- مهندسی صدا

استاد راهنما

راهیل مهدیان

استادان داور

محمدابراهیم صادقی علویچه

هادی ویسی

استادان مشاور

-----------

-------------

تاریخ دفاع

1402-07-03

مکان دفاع

چکیده پایان نامه

چکیده پایان نامه بيماري ديزآرتري يا گفتارفلجي نوعي اختلال گفتاري است كه با تحت­تاثير قرار دادن عضلات مورد استفاده در توليد گفتار انسان، باعث ايجاد مشكل در بيان و وضوح گفتار مبتلايان به اين بيماري مي­شود. به اين ترتيب، بسته به شدت بيماري، گفتار افراد مبتلا به اين بيماري، غيرطبيعي و غيرقابل­فهم خواهد بود. با توجه به افزايش آمار اين بيماري در سراسر جهان، روش­هايي جهت بازسازي گفتار ديزآرتريك (نامفهوم و بيمارگونه)، به منظور افزايش كيفيت گفتار بيمارگونه و در نتيجه بهبود توانايي ارتباطي اين بيماران ارائه شده است؛ چرا كه گفتار، مهم­ترين راه ارتباطي افراد در زندگي روزمره مي­باشد. با وجود پيشرفت­هاي چشمگير در حوزه­ي پردازش گفتار، هم­چنان بازسازي گفتار بيمارگونه امري چالش­برانگيز و دشوار است؛ چرا كه بيماري گفتارفلجي منجر به ايجاد الگوي نواييِ بيمارگونه و نامشخصي در گفتار فرد بيمار مي­شود. با توجه به عدم دسترسي به گفتار سالم گوينده­ي بيمار، يكي از مهم­ترين چالش­ها در اين حوزه، حفظ هويت گوينده در فرآيند بازسازي گفتار بيمارگونه مي­باشد. در اين پايان­نامه، رويكردي مبتني بر يادگيري تقابلي جهت استخراج بردار تعبيه­ي گوينده و كاربرد آن در بازسازي گفتار، به منظور حفظ هويت گوينده پيشنهاد شده است. علاوه بر اين، ايده­ي به­كارگيري بازنمايي XLSR به عنوان ويژگي گفتاري، به جاي استفاده از فيلتربانك­ها، در تشخيص و بازسازي گفتار بيمارگونه مورد استفاده و ارزيابي قرار گرفته است. ارزيابي­ها حاكي از آن است كه رويكرد پيشنهادي مي­تواند ضمن حفظ هويت گوينده در بازسازي گفتار بيمارگونه و رفع مشكل تغيير جنسيت گفتار بهبوديافته در حالتي كه گوينده خانم است، گفتاري با كيفيت بالا از جهت طبيعي بودن و قابليت فهم توليد نمايد. علاوه بر اين، به­كارگيري رويكرد داده­افزايي با استفاده از تغيير تُندا در آموزش مدل، عملكرد خوبي در بهبود كيفيت شنيداري گفتار بهبوديافته خواهد داشت. مقايسه­ي گفتارهاي بيمارگونه و بهبوديافته در ارزيابي ذهنيِ طبيعي بودن گفتار و تغييرات ميانگين امتياز نظر ۵ نقطه اي، بهبود امتياز ۵۱.­۱ و ۱۲.­۲ و در ارزيابي عينيِ قابليت فهم گفتار و تغييرات نرخ خطاي كلمه، كاهش خطاي ۴۵.­۲۵ و ۱.­۳۲ درصدي را به ترتيب، براي حالتي كه شدت بيماري متوسط و زياد باشد، نشان مي­دهد.

ابتدای صفحه