حفظ هويت گوينده در بازسازي گفتار ديزآرتريك (نامفهوم) با استفاده از جاسازي عميق و شباهت ادراكي
دانشکده فنی و مهندسی رسانه
کارشناسی ارشد- مهندسی صدا
راهیل مهدیان
محمدابراهیم صادقی علویچه
هادی ویسی
-----------
-------------
1402-07-03
چکیده پایان نامه بيماري ديزآرتري يا گفتارفلجي نوعي اختلال گفتاري است كه با تحتتاثير قرار دادن عضلات مورد استفاده در توليد گفتار انسان، باعث ايجاد مشكل در بيان و وضوح گفتار مبتلايان به اين بيماري ميشود. به اين ترتيب، بسته به شدت بيماري، گفتار افراد مبتلا به اين بيماري، غيرطبيعي و غيرقابلفهم خواهد بود. با توجه به افزايش آمار اين بيماري در سراسر جهان، روشهايي جهت بازسازي گفتار ديزآرتريك (نامفهوم و بيمارگونه)، به منظور افزايش كيفيت گفتار بيمارگونه و در نتيجه بهبود توانايي ارتباطي اين بيماران ارائه شده است؛ چرا كه گفتار، مهمترين راه ارتباطي افراد در زندگي روزمره ميباشد. با وجود پيشرفتهاي چشمگير در حوزهي پردازش گفتار، همچنان بازسازي گفتار بيمارگونه امري چالشبرانگيز و دشوار است؛ چرا كه بيماري گفتارفلجي منجر به ايجاد الگوي نواييِ بيمارگونه و نامشخصي در گفتار فرد بيمار ميشود. با توجه به عدم دسترسي به گفتار سالم گويندهي بيمار، يكي از مهمترين چالشها در اين حوزه، حفظ هويت گوينده در فرآيند بازسازي گفتار بيمارگونه ميباشد. در اين پاياننامه، رويكردي مبتني بر يادگيري تقابلي جهت استخراج بردار تعبيهي گوينده و كاربرد آن در بازسازي گفتار، به منظور حفظ هويت گوينده پيشنهاد شده است. علاوه بر اين، ايدهي بهكارگيري بازنمايي XLSR به عنوان ويژگي گفتاري، به جاي استفاده از فيلتربانكها، در تشخيص و بازسازي گفتار بيمارگونه مورد استفاده و ارزيابي قرار گرفته است. ارزيابيها حاكي از آن است كه رويكرد پيشنهادي ميتواند ضمن حفظ هويت گوينده در بازسازي گفتار بيمارگونه و رفع مشكل تغيير جنسيت گفتار بهبوديافته در حالتي كه گوينده خانم است، گفتاري با كيفيت بالا از جهت طبيعي بودن و قابليت فهم توليد نمايد. علاوه بر اين، بهكارگيري رويكرد دادهافزايي با استفاده از تغيير تُندا در آموزش مدل، عملكرد خوبي در بهبود كيفيت شنيداري گفتار بهبوديافته خواهد داشت. مقايسهي گفتارهاي بيمارگونه و بهبوديافته در ارزيابي ذهنيِ طبيعي بودن گفتار و تغييرات ميانگين امتياز نظر ۵ نقطه اي، بهبود امتياز ۵۱.۱ و ۱۲.۲ و در ارزيابي عينيِ قابليت فهم گفتار و تغييرات نرخ خطاي كلمه، كاهش خطاي ۴۵.۲۵ و ۱.۳۲ درصدي را به ترتيب، براي حالتي كه شدت بيماري متوسط و زياد باشد، نشان ميدهد.