چکیده پایان نامه

چکیده پایان نامه گفتار، يكي از راه­هاي مهم ارتباطي بوده و روشي موثر براي بيان احساس است. در چند دهه­ي گذشته بازشناسي احساس از گفتار توسط ماشين­ها، مورد توجه محققان قرار گرفته است كه منجر به بروز مدل­هاي بازشناسي احساس از گفتار شده است. يكي از چالش­هاي موجود در طراحي اين مدل­ها، وابستگي آن­ها به خصوصيات گفتاري گوينده، مانند: زبان، لهجه، فرهنگ، سن و جنسيت گوينده است. بنابراين، اين مدل­ها بهتر است كه به صورت مستقل از گوينده طراحي شوند. در اين پايان­نامه، طراحي يك مدل بازشناسي احساس از گفتار انتها به انتها و مستقل از گوينده با استفاده از ويژگي­هاي صوتي چند سطحي جديد و بهره­گيري از ماژول هم­توجه پيشنهاد شده است. در روش پيشنهادي، ابتدا ويژگي­هاي صوتي چند سطحي، از جمله ضرايب مختلط كپسترال مبتني بر معيار مل ( MFCCمختلط)، اسپكتروگرام و سيگنال اصلي گفتار به­عنوان ورودي به ترتيب به سه شبكه­ي Bi-LSTM، ترنسفورمر Swin و شبكه­ي Wav۲vec۲/۰ داده مي­شود. سپس بازنمايي­هاي حاصل از اين شبكه­ها توسط مكانيسم هم­توجه پيشنهادي براي بهينه­سازي ويژگي­هاي جاسازي شده Wav۲vec۲/۰ تركيب مي­شوند. در انتها هر سه ويژگي استخراج­شده را به هم متصل و با اين ويژگي­هاي تركيب­شده نهايي، پيش­بيني احساسات انجام مي­گردد. همچنين در قسمت دسته­بندي احساسات از دسته­بند غيرخطي(SVM كرنل) براي دسته­بندي هرچه بهتر احساسات استفاده نموديم. دادگان مورد استفاده براي انجام آزمايش، دادگانIEMOCAP مي­باشد و بر حسب معيار (Weighted Average) WA دقت ۷۱/۸۵% ، و بر اساس معيار ((Unweighted Average UA دقت ۷۳/۴۲% در حالت ترك يك جلسه از دادگان حاصل شد و در حالت ترك يك گوينده بر اساس معيار WA دقت ۷۳/۹۲%، و بر اساس معيار UA دقت ۷۵/۵% حاصل شد، كه نسبت به كار­هاي پيشين بر اساس معيار WA به ترتيب افزايش ۲/۰۵% و ۲/۲۸% و بر اساس معيار UA به ترتيب افزايش %۲/۳۷ و ۲/۸% را نشان مي­دهد.