Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Σπύρου Σπυρίδων Είσηγητής: Καθηγητής Δρ Σ. Κ. Λεβέντης Τ.Ε.Ι Πειραιά - PeLAB Μάιος 1997.

Παρόμοιες παρουσιάσεις


Παρουσίαση με θέμα: "Σπύρου Σπυρίδων Είσηγητής: Καθηγητής Δρ Σ. Κ. Λεβέντης Τ.Ε.Ι Πειραιά - PeLAB Μάιος 1997."— Μεταγράφημα παρουσίασης:

1 Σπύρου Σπυρίδων Είσηγητής: Καθηγητής Δρ Σ. Κ. Λεβέντης Τ.Ε.Ι Πειραιά - PeLAB Μάιος 1997

2

3 Το Νευρικό Κύτταρο Νευρικό Υγρό Άξονας Σώμα Δενδρίτες ΑξονικέςΔιακλαδώσεις Είσοδος Αξονικές διακλαδώσεις άλλων νευρωνίων ΈξοδοςΔενδρίτες Σύναψη -70 mV

4 Η Λειτουργία Του Νευρικού Κυττάρου Το δυναμικό του κυτταρικού σώματος αυξάνεται κατά 10 mV. Το κυτταρικό σώμα εκφορτίζεται σχεδόν ακαριαία. Η εκφόρτιση διαδίδεται κατά μήκος του άξονα. Το δυναμικό του κυττάρου επανέρχεται σταδιακά στα -70 mV.

5 Βιολογικά Νευρωνικά Δίκτυα Νεογνό 3 Μηνών 2 Ετών Υπάρχουν περίπου 3  νευρώνια στον ανθρώπινο εγκέφαλο. Κάθε νευρώνιο διαθέτει κατά μέσο όρο συνάψεις (εισόδους) και 500 συναπτικές απολήξεις (εξόδους). Το ανθρώπινο Κεντρικό Νευρικό Συστημα αποτελείται από περίπου συναπτικές συνδέσεις.

6 Ιδιότητες των Βιολογικών Νευρωνικών Δικτύων •Απλές δομικές μονάδες •Ομοιόμορφη αρχιτεκτονική •Παράλληλη κατανεμημένη επεξεργασία •Ταχύτητα επεξεργασίας και απόκρισης •Αξιόπιστη λειτουργία ακόμη και για θορυβώδη, ασαφή ή ημιτελή δεδομένα •Ικανότητα λειτουργίας σε συνθήκες βλάβης •Αποθήκευση και ανάκληση πληροφοριών βάση συσχετισμών •Προσαρμογή (ένα σύστημα για κάθε χρήση)

7

8 Το Τεχνητό Νευρώνιο Σ Σ g( ) w1w1w1w1 w2w2w2w2 w3w3w3w3 wNwNwNwN h O Θ Είσοδοι ΣυναπτικάΒάρη Πόλωση Έξοδος ξ1ξ1ξ1ξ1 ξ2ξ2ξ2ξ2 ξ3ξ3ξ3ξ3 ξΝξΝξΝξΝ Ενεργοποίηση : Έξοδος : Συνάρτηση ενεργοποίησης:

9 Η Συνάρτηση Ενεργοποίησης ΒηματικάΝευρώνιαΓραμμικάΝευρώνιαΜη-ΓραμμικάΝευρώνιαΣτοχαστικάΝευρώνια 1 h g 1 0 h g οποιαδήποτε άλλη βηματική συνάρτηση ήή οποιαδήποτε άλλη διαφορίσιμη συνάρτηση Κατανομή Πιθανοτήτων Έξοδος χωρίς συνάρτηση ενεργοποίησης

10 Νευρωνικά Δίκτυα Ευθείας Τροφοδότησης ΕίσοδοςΈξοδος ξ κ w jk V j W ij O i ΕπίπεδοΕισόδουΚρυμμένοΕπίπεδοΕπίπεδοΕξόδου

11 Η Λειτουργία των Νευρωνικών Δικτύων Ευθείας Τροφοδότησης k-διάστατοςυπόχωροςεισόδου i-διάστατος υπόχωροςεξόδου

12

13 Επιβλεπόμενη Μάθηση ΣύνολοΕκπαίδευσηςΣύνολοΕκπαίδευσης ΝευρωνικόΔίκτυοΝευρωνικόΔίκτυο ΑλγόριθμοςΜάθησηςΑλγόριθμοςΜάθησης ΣύγκρισηΣύγκριση Δείγμα Εισόδου Πραγματικό Δείγμα Εξόδου Επιθυμητό Σφάλμα ΔιόρθωσηΒαρών

14 Γεωμετρική Αναπαράσταση της Εκπαίδευσης Βάρος W 1 Βάρος W 2 Σφάλμα • •Η διαδικασία της εκπαίδευσης ελαχιστοποιεί την συνάρτηση κόστους • •Η συνάρτηση κόστους αποτελεί μέτρο του μέσου τετραγωνικού σφάλματος του νευρωνικού δικτύου

15 Ανάστροφη Διάδοση Σφάλματος ΕπίπεδοΕισόδουΚρυμμένοΕπίπεδοΕπίπεδοΕξόδου δ 1 δ 2 δ i Μ

16 Ο Αλγόριθμος Μάθησης Αρχικοποίηση των βαρών Επίλογή ενός ζεύγους (δείγμα εισόδου - επιθυμητό δείγμα εξόδου) από το σύνολο εκπαίδευσης Ευθεία τροφοδότηση του δείγματος εισόδου ξ κ μ και υπολογισμός του πραγματικού δείγματος εξόδου V i Μ όπου Μ το επίπεδο εξόδου Σύγκριση του πραγματικού δείγματος εξόδου V i Μ με το επιθυμητό δείγμα εξόδου ζ i μ και υπολογισμός των σφαλμάτων εξόδου δ i Μ βάση της σχέσης Ανάστροφη διάδοση των σφαλμάτων εξόδου δ i μ και υπολογισμός των σφαλμάτων όλων των κρυμμένων νευρωνίων βάση της σχέσης για m=Μ, Μ-1, … 2 Υπολογισμός των μεταβολών βαρους σύμφωνα με την Διόρθωση όλων των βαρών εφαρμόζοντας τον κανόνα μάθησης Επιστροφή στο βήμα 2

17 Τοπικά Ελάχιστα και Ορμή Βάρος W Σφάλμα • •Προσδίδοντας σε κάθε συναπτικό βάρος κάποια αδράνεια, υποβοηθούμε την κατωφερική ολίσθηση της διαδικασίας μάθησης. • •Η ορμή υλοποιείται προσθέτοντας στην τρέχουσα διόρθωση βαρους, την προηγούμενη διόρθωση βάρους σταθμισμένη από την παράμετρο ορμής • •Με χρήση της ορμής επιτυγχάνουμε απόφυγή των τοπικών ελαχίστων και απόσβεση των ταλαντώσεων γύρω από κάποια λύση

18 Παράδειγμα Εκπαίδευσης ΝευρωνικόΔίκτυοΝευρωνικόΔίκτυο ΑλγόριθμοςΜάθησηςΑλγόριθμοςΜάθησης ΣύγκρισηΣύγκριση ΠραγματικήΈξοδος ASCII του Α Σφάλμα Διόρθωση Βαρών Α ΝευρωνικόΔίκτυοΝευρωνικόΔίκτυο ΑλγόριθμοςΜάθησηςΑλγόριθμοςΜάθησης ΣύγκρισηΣύγκριση ΠραγματικήΈξοδος ASCII του Α Σφάλμα Διόρθωση Βαρών Α ΝευρωνικόΔίκτυοΝευρωνικόΔίκτυο ΑλγόριθμοςΜάθησηςΑλγόριθμοςΜάθησης ΣύγκρισηΣύγκριση ΠραγματικήΈξοδος ASCII του Α Σφάλμα Διόρθωση Βαρών ΑΑφδβ A ΝευρωνικόΔίκτυοΝευρωνικόΔίκτυο ΑλγόριθμοςΜάθησηςΑλγόριθμοςΜάθησης ΣύγκρισηΣύγκριση ΠραγματικήΈξοδος ASCII του B Σφάλμα Διόρθωση Βαρών B Σύγκριση Ανέχεια Μέσο Τετραγωνικό Σφάλμα Επόμενη Εποχή ή Τέλος Εκπαίδευσης

19 Γενίκευση και Θόρυβος • •Επιθυμούμε την εξαγωγή ενός κανόνα (R) από κάποια παραδείγματα (T). U: σύνολο των πιθανών ζευγών εισόδου-εξόδου R: σύνολο των ζευγών εισόδου-εξόδου που υπακούουν στον ζητούμενο κανόνα T: σύνολο εκπαίδευσης X: σύνολο δοκιμής G1,G2,G3: γενικευσεις του συνόλου Τ • •Η επίδοση του νευρωνικού δικτύου όσον αφορά το Χ αποτελεί μέτρο της γενίκευσης, ενώ η επιδοση του στο Τ είναι μέτρο της απομνημόνευσης των δειγμάτων εκπαίδευσης. • •Ο τεχνητός θόρυβος στις εισόδους και τα βάρη του νευρωνικού δικτύου κατά την εκπαίδευση, βελτιώνει την ικανότητα γενίκευσης.

20

21 Ιδιότητες του Εξομοιωτή • •Δύο καταστάσεις λειτουργίας: Εκπαίδευσης και Δοκιμής • •Δυνατότητα χρήσης ενός έως τριών κρυμμένων επιπέδων • •Δυνατότητα ορισμού του πλήθους και του μεγέθους όλων των επιπέδων • •Δυνατότητα ορισμού βασικών παραμέτρων της εξομοίωσης • •Παραγωγή ψευδοτυχαίων βαρών εκκινησης ή ανάκτηση από αρχείο • •Επιλεκτική χρήση ορμής • •Επιλεκτική χρήση θορύβου • •Επεξεργασία συνόλου εκπαίδευσης και συνόλου δοκιμής ανεξαρτήτως μεγέθους • •Αποθήκευση και ανάκτηση της κατάστασης του δικτύου • •Παρουσίαση χαρακτηριστικών πληροφοριών στο τέλος της εξομοίωσης • •Αποθήκευση των αποτελεσμάτων σε αρχείο • •Αντικειμενοστραφείς κώδικας (C++) για ευκολία επαναχρησιμοποίησης και ενσωμάτωσης

22 Κατάσταση Εκπαίδευσης Εξομοιωτής Σύνολο Εκπαίδευσης training.dat Αρχείο Εξόδου output.dat Αρχείο Βαρών weights.dat Ζεύγη δειγμάτων εισόδου-εξόδου Τελευταίο ζευγος εισόδου-εξόδου και αντίστοιχη πραγματική έξοδος Διαμορφωμένα βάρη Βάρη εκκίνησης Ανέχεια σφάλματος Ρυθμός μάθησης (η) Παράμετρος ορμής (α) Παράγοντας θορύβου Μέγιστο πλήθος εποχών Πλήθος επιπέδων Πλήθος στοιχείων εισόδου Πλήθος νευρωνίων / επίπεδο Μέσο σφάλμα / εποχή Σφάλμα τελευταίας εποχής Μέσο σφάλμα / δείγμα τελευταίας εποχής Σύνολο εποχών Σύνολο δειγμάτων

23 Κατάσταση Δοκιμής Εξομοιωτής Σύνολο Δοκιμής test.dat Αρχείο Εξόδου output.dat Αρχείο Βαρών weights.dat Δείγματα εισόδου Δέιγματα εισόδου και αντίστοιχες πραγματικές έξοδοι Βάρη εκπαιδευμένου δικτύου Πλήθος επιπέδων Πλήθος στοιχείων εισόδου Πλήθος νευρωνίων / επίπεδο Σύνολο εποχών Σύνολο δειγμάτων

24

25 Σύστημα Οπτικής Αναγνώρισης Χαρακτήρων Λήψη Εικόνας Προ-επεξεργασίαΠρο-επεξεργασίαΤμηματοποίησηΤμηματοποίησηΑναπαράστασηΑναπαράστασηΑναγνώρισηΑναγνώριση ΕρμηνείαΕρμηνεία Γνωσιακή Βάση Ύψος Κείμενο Χαρακτήρας

26 Μοντελοποίηση Σκοπός Αναγνώριση των 12 πρώτων κεφαλαίων χαρακτήρων του Ελληνικού αλφάβητου Είσοδος Έξοδος Οκταψήφια δυαδική αναπαράσταση σύμφωνα με το πρότυπο ΕΛΟΤ 928

27

28 Σχεδίαση MSB LSB Στοιχεία Εισόδου Κρυμμένα Νευρώνια Ανιχνευτές Χαρακτηριστικών Νευρώνια Εξόδου

29 Εκπαίδευση ΑποτελέσματαΕξομοίωσης ΣύνολοΕκπαίδευσης ΠαράμετροιΕξομοίωσης

30 Ένα Στιγμιότυπο της Εκπαίδευσης Δείγμα Εισόδου (Α) Πραγματικό Δείγμα Εξόδου Επιθυμητό Δείγμα Εξόδου

31 Αξιολόγηση

32 Δοκιμή

33 Άλλες Εφαρμογές •Έυρεση ισοτιμίας •Κωδικοποίηση - Συμπίεση δεδομένων •Ανάγνωση κειμένου •Αναγνώριση δευτερεύουσας πρωτεϊνικής δομής •Αναγνώριση στόχων ραντάρ •Οδήγηση αυτοκινήτου •Συμπίεση εικόνας •Αναγνώριση ομιλίας •Πρόβλεψη σήματος •Αναγνώριση χειρόγραφων χαρακτήρων •Πρόβλεψη οικονομικών τάσεων •Έλεγχος ρομπότ •Ταξινόμηση προϊόντων

34 1 Κρυμμένο Επίπεδο

35 2 Κρυμμένα Επίπεδα

36 3 Κρυμμένα Επίπεδα

37 Σύγκριση

38 Το Νευρικό Κύτταρο Βιολογικά Νευρωνικά Δίκτυα Το Τεχνητό Νευρώνιο Νευρωνικά Δίκτυα Ευθείας Τροφοδότησης Εκπαίδευση Επιβλεπόμενη Μάθηση Ανάστροφη Διάδοση Σφάλματος ΟρμήΓενίκευση Εξομοιωτής Κατάσταση Εκπαίδευση Κατάσταση Δοκιμής Εφαρμογή: Αναγνώριση Χαρακτήρων


Κατέβασμα ppt "Σπύρου Σπυρίδων Είσηγητής: Καθηγητής Δρ Σ. Κ. Λεβέντης Τ.Ε.Ι Πειραιά - PeLAB Μάιος 1997."

Παρόμοιες παρουσιάσεις


Διαφημίσεις Google