بنام خدا دانشگاه صنعتي اميرکبير دانشکده مهندسي کامپيوتر و فناوري اطلاعات پايان نامه کارشناسي گرايش مهندسي نرم افزار   پياده سازي مدل هاي مخفي مارکوف پيوسته همراه با قابليت اعمال مدل زباني، گرامر، روشهاي جستجو و قابليت تطبيق مدل ها نگارش: سبحان نادري پاريزي استاد راهنما: دکتر محمدمهدي همايونپور اسفند 1386

بازشناسي گفتار پردازش گفتار کاربردها گفتار گسسته و پيوسته نگاهي به فرآيند بازشناسي گفتار گرفتن فايل صوتي و استخراج ويژگي استفاده از مدلهاي واحدهاي گفتاري (با فرض داشتن مدلهاي آموزش داده شده از قبل) استفاده از الگوريتم هاي جستجو و بازشناسي گفتار

مدل مخفي مارکوف روشي براي مدل کردن پديده هاي تصادفي مسئله گلوله ها و ظرف ها مدل هاي مخفي مارکوف گسسته و پيوسته

مدل مخفي مارکوف (ادامه) پارامترهاي مدل احتمال شروع (بردار π) احتمال انتقال (ماتريس A) احتمال مشاهدات (ماتريس B در حالت گسسته) هر مدل بصورت λ=(π, A, B) سه مسئله اساسي در مورد مدل مخفي مارکوف محاسبه P(O|λ) پيدا کردن دنباله حالات بهينه پيدا کردن مقدار بهينه براي پارامترها

مدل مخفي مارکوف (ادامه) انواع توپولوژي مدل هاي پيوسته با مخلوط هاي گوسي متعدد مقدار اوليه پارامترهاي مدل

تطبيق مدل هاي مخفي مارکوف هدف از تطبيق بازشناسي مستقل از گوينده بازشناسي وابسته به گوينده روش هاي تطبيق MLLR (Maximum Likelihood Linear Regression) MAP (Maximum A Posteriori)

مدل هاي زباني تعريف مدل زباني کاربرد انواع مدل زباني در ساختاري (کاهش فضاي جستجو) احتمالي (تخمين هزينه) کاربرد انواع مدل زباني در جستجوي واج ها N-gram واج ها نحوه قرارگيري واج ها در کنار هم (CV, CVC, CVCC) جستجوي کلمات N-gram کلمات قواعد نحوي زبان RE CFG

مسئله جستجو انواع روش هاي جستجوي قابل استفاده در بازشناسي گفتار جستجوي جامع (کور) جستجوي A* جستجوي شعاعي امکان تخمين مسير باقيمانده هميشه وجود ندارد کاهش زمان جستجو از حالت نمايي ( ) به w×b جستجوي ويتربي همگام با زمان شعاعي ويتربي همگام با زمان شعاعي

روش هاي استفاده شده استخراج بردارهاي ويژگي توسط HTK مدل هاي مخفي مارکوف براي هر واج يک مدل سه حالته با 16 mixture در هر حالت تخمين اوليه احتمال مشاهدات (پارامترهاي توزيع هاي گوسي) استفاده از الگوريتم ويتربي و توزيع مشاهدات بين حالت ها استفاده از الگوريتم Splitting LBG ساير پارامترهاي مدل مقدار تصادفي مي گيرند

روش هاي استفاده شده (آموزش مدل ها) استخراج و جمع آوري نمونه هاي آموزشي آموزش به روش بام-ولش استفاده از الگوريتم هاي forward و backward آموزش به روش ويتربي اعمال ويتربي روي همه نمونه هاي آموزشي پيدا کردن خوشه بندي بهينه

روش هاي استفاده شده (جستجوي واج ها) جستجوي دنباله واجي بهينه ورودي و خروجي مدل هاي آموزش داده شده براي هر واج روش پوياي دولايه يک مدل مرجع براي هر واج استفاده از الگوريتم DTW (لايه اول) استفاده از جستجوي پويا روش استفاده شده استفاده از مدل هاي مخفي مارکوف بجاي مدل مرجع سه انشعاب در هر حالت از فضاي جستجو ماندن در حالت قبل رفتن به حالت بعدي شروع بازشناسي يک واج جديد جستجوي شعاعي

روش هاي استفاده شده (جستجوي کلمات) جستجوي دنباله کلمات ورودي، خروجي، لغتنامه و گرامر روشهاي قبلي: جستجوي جامع، شعاعي، A* و ... روش بکار رفته ويتربي شعاعي همگام با زمان است اطلاعات واج نويسي بجاي مدل کلمات ماهيتاً همگام با زمان نيست پارامترهاي هر حالت جستجو زمان (شماره فريم جاري از دنباله واج ها) آخرين کلمه دنباله بازشناسي شده فعلي هزينه مسير جاري و اطلاعات مربوط به طول مسير

روش هاي استفاده شده (جستجوي کلمات) الگوريتم جستجوي کلمات ليستي به طول 20 از صف ها به نام OpenList (يا OL) داريم حالت شروع: (t=0, PW=SOS) PW:Previous Word , SOS:Start Of Sentence حالت شروع را به OL[1] اضافه مي کنيم تا وقتي که دنباله واجي به پايان نرسيده: بسط همه عناصر درون OL[1]: عنصر سر صف OL[1] را حذف کرده و با توجه به گرامر مسير جستجوي آنرا بسط مي دهيم  حاصل کار در اين مرحله تعدادي کلمه جديد است يافتن بهترين انطباق براي هر کلمه جديد محاسبه هزينه حالات جستجوي جديد و افزودن اين حالات به صف مناسب در آرايه OL انتقال عناصر آرايه OL به بالا هرس کردن عناصر صف OL[1]

روش هاي استفاده شده (جستجوي کلمات) در الگوريتم قبل از ويژگي هاي اکثر روشهاي جستجو استفاده شد ويتربي پويا سريع (جستجوي شعاعي) همگامي با زمان

مدل هاي زباني بکار رفته در جستجوي دنباله واجي در جستجوي دنباله کلمات اطلاعات bigram و همچنين trigram واج ها در جستجوي دنباله کلمات Bigram کلمات گرامر ساختاري مستقل از متن نهاد + مسند + فعل فاعل + فعل فاعل يا نهاد + حرف اضافه + متمم + فعل البته هر واحد (مثل نهاد) معرف يک گروه (گروه اسمي) است که مي تواند اضافاتي هم داشته باشد

ابزارهاي ارائه شده LISSHAdapt LISSHDiff LISSHFTest LISSHInit LISSHRest LISSHResult LISSHSExtract LISSHVite LISSHVTest LISSHVTrain LISSHWSearch

تست برنامه کارنميکند اشتباه ما گفتار بازشناسی سيستم <s> NonLing pau s i s t a n e b aa r sh a b aa s t i gs o f t aa r m aa h pau e sh t e b aa h kh aa r e m i NonLing k2 o n a pau Cost=730.443 <START> system e bazshenasi o goftar o maa eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI I RDDrrrrr I rr Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas _ tigsoftaar _ maa heshtebaah khaaremik2ona ------------------------------------------------------------------------------------------------------ <START> system e bazshenasi e goftar e maa eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI I RDDrrrrr I rr Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas _ tigsoftaar _ maa heshtebaah khaaremik2ona Cost=762.625 <START> system e bazshenasi soni o goftar o maa o eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI RIIr R Irrrrr I rr I Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas ti gs oftaar _ maa _ heshtebaah khaaremik2ona ----------------------------------------------------------------------------------------------------- <START> system e bazshenasi asli o goftar o maa o eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI IRIr R Irrrrr I rr I Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas ti gs oftaar _ maa _ heshtebaah khaaremik2ona

پاسخگويي به سؤالات با تشکر از حوصله شما