توليد زبان اشاره فارسي از طريق شبكه هاي عصبي مولد
دانشکده فنی و مهندسی رسانه
کارشناسی ارشد- مهندسی برق (گرایش مخابرات سیستم)
محی الدین مرادی
راهیل مهدیان
محسن سریانی
---------
----------
1403-09-15
چکیده پایان نامه ارتباط براي بهاشتراكگذاري ايدهها، افكار و اطلاعات و احساسات حياتي است. به اشتراك گذاشتن احساسات با دوستان و خانواده براي بسياري آسان است، اما زماني كه ديگران زبان شما را متوجه نميشوند دشوار است. افراد ناشنوا و لال روزانه بهدفعات با اين چالش مواجه هستند. اين افراد و همچنين بسياري از كمشنوايان عزيز از زبان اشاره براي بيان احساسات و نيازهاي خود استفاده ميكنند. اما افراد عادي براي ارتباط با اين عزيزان دچار مشكل هستند و با توجه به اينكه هر كشوري زبان اشاره منحصر به فردي بر اساس زبان مادري خود دارد، نياز است تا براي زبان اشارة فارسي تمهيدي انديشيده شود تا بخشي از مشكلات اين عزيزان كاهش يابد. پژوهش حاضر با نگاه به رفع بخشي از مشكلات ناشنوايان در حوزهي ارتباطات و رسانه شكل گرفته است و هدف از اين پژوهش به كار گيري هوشمصنوعي براي توليد زبان اشاره فارسي بهگونهاي است كه ارتباط افراد ناشنوا با جامعهي شنوا را با سهولت برقرار نمايد. توليد زبان اشاره نيازمند يك پايگاه دادهي قوي است و استفاده از پايگاههاي دادهي ساير زبانهاي اشاره براي زبان اشاره فارسي امكانپذير نيست. بنابراين تحقيقات ما ابتدا با ايجاد يك پايگاهدادة منحصر به فرد براي زبان اشاره فارسي شروع ميشود و در ادامه يك ساختار دومرحلهاي براي توليد پويانمايي زبان اشاره فارسي از متن ارائه ميشود. در حقيقت ساختار پيشنهادي كه باهدف پر كردن شكاف ارتباطي بين افراد ناشنوا و جامعه طراحي شده، يك متن ورودي از كاربر دريافت مينمايد، متن ورودي ابتدا پالايش شده و اضافات حذف ميگردند. در ادامه متن خالص سازي شده به يك شبكهي انتقالي براي جايگزيني كلمات ناموجود در داخل پايگاهداده ميشود تا پيشبيني براي كلمهي جايگزين صورت گيرد. در نهايت پس از تبديل متن به Gloss و اطمينان از وجود لغات مناسب، ويديوهاي مربوط به هر توكن از كلمات به ماژول پردازش تصوير داده ميشود. در بخش پردازش تصوير با استفاده از شبكههاي انتشار پنهان و بهره گيري از ساختارهاي تشخيصي همچون عمق يابي و اسكلت شناسي، تصاويري از اشارات مربوطه و مطابق با زبان اشاره فارسي بهصورت پويانمايي شده، به كاربر نشان داده ميشود. اين پژوهش با استفاده از تازهترين فناوريهاي هوش مصنوعي طراحي شده است و پيامدهاي بالقوهاي براي تقويت ارتباطات افراد ناشنوا و بهويژه افرادي كه از زبان اشاره فارسي استفاده ميكنند، دارد. روش پيشنهادي به دليل بهره گيري از چندين پردازش موازي تشخيصي و استفاده از اطلاعات استخراج شده در بخش تشخيص قادر به توليد با دقت بالاي زبان اشاره فارسي به صورت پويانمايي شده ميباشد.