Dirbtiniai neuroniniai tinklai (ir įvadas į klasifikavimą)

Pirminis apdorojimas Savybių išskyrimas Klasifikavimas Lašiša Jūros ešerys

Išskiriame požymį – žuvies ilgis Lašiša Jūros ešerys Kiekis Ilgis Išskiriame požymį – žuvies ilgis

Išskiriame požymį – žuvies šviesumas Kiekis Lašiša Jūros ešerys Šviesumas Išskiriame požymį – žuvies šviesumas

Ilgis Šviesumas

Žmogus ir neuronai Smegenys yra ypatingai sudėtingas, netiesiškas ir paralelinis kompiuteris Sudarytas iš atskirų elementų neuronų

Biologinis neuronas Piešinys iš elektronika.lt portalo

Apbrėžimas Dirbtinis neuroninis tinklas yra masyvus, paralelinis, paskirstytas procesorius sudarytas iš paprastų skaičiavimo elementų, kurie turi savybę saugoti informaciją ir padaryti ją prieinamą naudojimui. Jis panašus į smegenis dviem aspektais: 1. Žinios gaunamos iš aplinkos per mokymosi procesą 2. Žinioms išsaugoti naudojamos neurono reikšmės (kitaip sinapsių reikšmės)

Neurono modelis Piešinys iš Haykin “Neural Networks”

Esminiai DNT privalumai Masyvus, paralelinis paskirstymas Apibendrinimas Savybė įgalinanti gauti pakankamai tikslias reikšmes, net su duomenimis, kurie buvo nematyti mokymosi metu

Panaudojimo naudingos savybės Netiesiškumas Įvedimo-išvedimo atvaizdavimas Adaptyvumas Atsakymas su “pagrindimu” Atsparumas defektams

Panaudojimo naudingos savybės Bendra analizė ir projektavimas Neuronas yra bendras visiems neuroniniams tinklams Galimybė dalintis mokymosi algoritmais per visus neuroninių tinklų tipus Moduliniai tinklai, gali būti sukonstruoti tiesiogiai integruojant atskirus modulius Neurobiologinė analogija

Neurono modelis Piešinys iš Haykin “Neural Networks”

Sinapsės ir jų svoriai wkj Sumatorius Aktyvavimo funkcija Slenkstis

Aktyvavimo funkcijos Piešinys iš Haykin “Neural Networks”

Vienasluoksniai ir daugiasluoksniai Piešinys iš Haykin “Neural Networks”

Rekurentiniai tinklai Piešinys iš Haykin “Neural Networks”

Pirmasis neurono modelis 1943 Piešinys iš Haykin “Neural Networks”

Klaidas koreguojantis mokymas

Klaidų funkcijos TSSE (bendra kvadratinių klaidų suma)

Klaidos paviršiai Piešinys iš Duda “Pattern Recognition”

Piešinys iš Duda “Pattern Recognition”

Kaip paskaičiuti sekantį žingsnį ? Skaičiuojame išvestinę ir leidžiamės žemyn w(n+1) = w(n) + hg(n) hg(n) yra grandiento vektorius taške w(n)

Mokymosi procesas Testavimas Mokymas

Lokalūs minimumai

Svorių w inicijavimas

Daugiasluoksnis tinklas

Sklaidos atgal pseudo-algoritmas Inicijuoti svorius Kol klaida yra per didelė: “paduoti” skaičius į įvedimus skaičiuoti kiekvieno neurono atsakymus nuo įvedimo sluoksnio, per paslėptus sluoksnius iki išvedimo sluoksnio panaudoti išvedimo klaidą, kad paskaičiuoti klaidos signalus išvedimo lygiui paskaičiuoti pagal klaidos signalus naujus svorius pakeisti svorius Pastoviai tikrinti tinklo klaidą

Kodėl tokia formulė ? Klaidos funkcija

Skaičiuojame reikšmes Neurono atsakymas ir

Skaičiuojame klaidos parametrą dpj=(Tpj-Opj) Opj (1-Opj) Tpj – yra tikslo reikšmės neuronui j duomenims p Opj – yra gauta neurono reikšmė

Skaičiuojame klaidą kiekvienam neuronui Paslėpto sluoksnio neurono klaida yra klaida iš ankstesnio neurono

Paskaičiuojame svorių pokytį DWji(t)= η dpj Opi Wji(t+1) = Wji(t) + DWji(t) Galimas mokymasis su papildomu parametru: a*Wji(t-1)

Elementariai