Νευρωνικά Δίκτυα Ευθείας Τροφοδότησης με Ανάστροφη Διάδοση Σφάλματος Ανάπτυξη Αλγόριθμων Εξομοίωσης Ενδεικτική Εφαρμογή OCR Σπύρου Σπυρίδων Είσηγητής: Καθηγητής Δρ Σ. Κ. Λεβέντης Τ.Ε.Ι Πειραιά - PeLAB Μάιος 1997

Βιολογικά Νευρωνικά Δίκτυα

Το Νευρικό Κύτταρο Έξοδος Είσοδος Νευρικό Υγρό Αξονικές Διακλαδώσεις -70 mV Σώμα Δενδρίτες Άξονας Σύναψη Είσοδος Αξονικές διακλαδώσεις άλλων νευρωνίων Έξοδος Δενδρίτες άλλων νευρωνίων

Η Λειτουργία Του Νευρικού Κυττάρου 1 2 3 4 Το δυναμικό του κυτταρικού σώματος αυξάνεται κατά 10 mV. Το κυτταρικό σώμα εκφορτίζεται σχεδόν ακαριαία. Η εκφόρτιση διαδίδεται κατά μήκος του άξονα. Το δυναμικό του κυττάρου επανέρχεται σταδιακά στα -70 mV.

Βιολογικά Νευρωνικά Δίκτυα Υπάρχουν περίπου 31010 νευρώνια στον ανθρώπινο εγκέφαλο. Κάθε νευρώνιο διαθέτει κατά μέσο όρο 10000 συνάψεις (εισόδους) και 500 συναπτικές απολήξεις (εξόδους). Το ανθρώπινο Κεντρικό Νευρικό Συστημα αποτελείται από περίπου 1015 συναπτικές συνδέσεις. Νεογνό 3 Μηνών 2 Ετών

Ιδιότητες των Βιολογικών Νευρωνικών Δικτύων Απλές δομικές μονάδες Ομοιόμορφη αρχιτεκτονική Παράλληλη κατανεμημένη επεξεργασία Ταχύτητα επεξεργασίας και απόκρισης Αξιόπιστη λειτουργία ακόμη και για θορυβώδη, ασαφή ή ημιτελή δεδομένα Ικανότητα λειτουργίας σε συνθήκες βλάβης Αποθήκευση και ανάκληση πληροφοριών βάση συσχετισμών Προσαρμογή (ένα σύστημα για κάθε χρήση)

Τεχνητά Νευρωνικά Δίκτυα

Το Τεχνητό Νευρώνιο Σ g( ) Συναπτικά Βάρη ξ1 w1 ξ2 w2 w3 h O ξ3 Έξοδος wN Πόλωση Θ ξΝ Ενεργοποίηση : Είσοδοι Συνάρτηση ενεργοποίησης: Έξοδος :

Η Συνάρτηση Ενεργοποίησης Βηματικά Νευρώνια Γραμμικά Μη-Γραμμικά Στοχαστικά 1 -1 h g οποιαδήποτε άλλη βηματική συνάρτηση ή άλλη διαφορίσιμη Κατανομή Πιθανοτήτων Έξοδος χωρίς ενεργοποίησης

Νευρωνικά Δίκτυα Ευθείας Τροφοδότησης ξ κ w jk V j W ij O i Επίπεδο Εισόδου Κρυμμένο Επίπεδο Επίπεδο Εξόδου Είσοδος Έξοδος

Η Λειτουργία των Νευρωνικών Δικτύων Ευθείας Τροφοδότησης k-διάστατος υπόχωρος εισόδου i-διάστατος υπόχωρος εξόδου

Εκπαίδευση

Επιβλεπόμενη Μάθηση Διόρθωση Βαρών Αλγόριθμος Μάθησης Σφάλμα Πραγματικό Δείγμα Εξόδου Δείγμα Εισόδου Σύνολο Εκπαίδευσης Νευρωνικό Δίκτυο Σύγκριση Επιθυμητό Δείγμα Εξόδου

Γεωμετρική Αναπαράσταση της Εκπαίδευσης Βάρος W1 Βάρος W2 Σφάλμα Η διαδικασία της εκπαίδευσης ελαχιστοποιεί την συνάρτηση κόστους Η συνάρτηση κόστους αποτελεί μέτρο του μέσου τετραγωνικού σφάλματος του νευρωνικού δικτύου

Ανάστροφη Διάδοση Σφάλματος δ 1 δ 2 δ i Μ Επίπεδο Εισόδου Κρυμμένο Επίπεδο Επίπεδο Εξόδου

Ο Αλγόριθμος Μάθησης 1 2 3 4 5 6 7 8 Αρχικοποίηση των βαρών Επίλογή ενός ζεύγους (δείγμα εισόδου - επιθυμητό δείγμα εξόδου) από το σύνολο εκπαίδευσης 2 Ευθεία τροφοδότηση του δείγματος εισόδου ξκμ και υπολογισμός του πραγματικού δείγματος εξόδου ViΜ όπου Μ το επίπεδο εξόδου 3 Σύγκριση του πραγματικού δείγματος εξόδου ViΜ με το επιθυμητό δείγμα εξόδου ζ iμ και υπολογισμός των σφαλμάτων εξόδου δ iΜ βάση της σχέσης 4 Ανάστροφη διάδοση των σφαλμάτων εξόδου δiμ και υπολογισμός των σφαλμάτων όλων των κρυμμένων νευρωνίων βάση της σχέσης για m=Μ, Μ-1, … 2 5 Υπολογισμός των μεταβολών βαρους σύμφωνα με την 6 Διόρθωση όλων των βαρών εφαρμόζοντας τον κανόνα μάθησης 7 8 Επιστροφή στο βήμα 2

Τοπικά Ελάχιστα και Ορμή Προσδίδοντας σε κάθε συναπτικό βάρος κάποια αδράνεια, υποβοηθούμε την κατωφερική ολίσθηση της διαδικασίας μάθησης. Η ορμή υλοποιείται προσθέτοντας στην τρέχουσα διόρθωση βαρους, την προηγούμενη διόρθωση βάρους σταθμισμένη από την παράμετρο ορμής Με χρήση της ορμής επιτυγχάνουμε απόφυγή των τοπικών ελαχίστων και απόσβεση των ταλαντώσεων γύρω από κάποια λύση Βάρος W Σφάλμα

Παράδειγμα Εκπαίδευσης Διόρθωση Βαρών Αλγόριθμος Μάθησης Α Πραγματική Έξοδος Σφάλμα Νευρωνικό Δίκτυο Σύγκριση ASCII του Α Διόρθωση Βαρών Αλγόριθμος Μάθησης Α Πραγματική Έξοδος Σφάλμα Νευρωνικό Δίκτυο Σύγκριση ASCII του Α Διόρθωση Βαρών Αλγόριθμος Μάθησης ΑΑφδβA Πραγματική Έξοδος Σφάλμα Νευρωνικό Δίκτυο Σύγκριση ASCII του Α Διόρθωση Βαρών Αλγόριθμος Μάθησης B Πραγματική Έξοδος Σφάλμα Νευρωνικό Δίκτυο Σύγκριση ASCII του B Ανέχεια Επόμενη Εποχή ή Τέλος Εκπαίδευσης Μέσο Τετραγωνικό Σφάλμα Σύγκριση

Γενίκευση και Θόρυβος Επιθυμούμε την εξαγωγή ενός κανόνα (R) από κάποια παραδείγματα (T). U: σύνολο των πιθανών ζευγών εισόδου-εξόδου R: σύνολο των ζευγών εισόδου-εξόδου που υπακούουν στον ζητούμενο κανόνα T: σύνολο εκπαίδευσης X: σύνολο δοκιμής G1,G2,G3: γενικευσεις του συνόλου Τ Η επίδοση του νευρωνικού δικτύου όσον αφορά το Χ αποτελεί μέτρο της γενίκευσης, ενώ η επιδοση του στο Τ είναι μέτρο της απομνημόνευσης των δειγμάτων εκπαίδευσης. Ο τεχνητός θόρυβος στις εισόδους και τα βάρη του νευρωνικού δικτύου κατά την εκπαίδευση, βελτιώνει την ικανότητα γενίκευσης.

Εξομοίωση

Ιδιότητες του Εξομοιωτή Δύο καταστάσεις λειτουργίας: Εκπαίδευσης και Δοκιμής Δυνατότητα χρήσης ενός έως τριών κρυμμένων επιπέδων Δυνατότητα ορισμού του πλήθους και του μεγέθους όλων των επιπέδων Δυνατότητα ορισμού βασικών παραμέτρων της εξομοίωσης Παραγωγή ψευδοτυχαίων βαρών εκκινησης ή ανάκτηση από αρχείο Επιλεκτική χρήση ορμής Επιλεκτική χρήση θορύβου Επεξεργασία συνόλου εκπαίδευσης και συνόλου δοκιμής ανεξαρτήτως μεγέθους Αποθήκευση και ανάκτηση της κατάστασης του δικτύου Παρουσίαση χαρακτηριστικών πληροφοριών στο τέλος της εξομοίωσης Αποθήκευση των αποτελεσμάτων σε αρχείο Αντικειμενοστραφείς κώδικας (C++) για ευκολία επαναχρησιμοποίησης και ενσωμάτωσης

Κατάσταση Εκπαίδευσης Τελευταίο ζευγος εισόδου-εξόδου και αντίστοιχη πραγματική έξοδος Ζεύγη δειγμάτων εισόδου-εξόδου Σύνολο Εκπαίδευσης training.dat Αρχείο Εξόδου output.dat Εξομοιωτής Ανέχεια σφάλματος Ρυθμός μάθησης (η) Παράμετρος ορμής (α) Παράγοντας θορύβου Μέγιστο πλήθος εποχών Πλήθος επιπέδων Πλήθος στοιχείων εισόδου Πλήθος νευρωνίων / επίπεδο Μέσο σφάλμα / εποχή Σφάλμα τελευταίας εποχής Μέσο σφάλμα / δείγμα τελευταίας εποχής Σύνολο εποχών Σύνολο δειγμάτων Βάρη εκκίνησης Διαμορφωμένα βάρη Αρχείο Βαρών weights.dat

Κατάσταση Δοκιμής Εξομοιωτής Σύνολο Δοκιμής test.dat Αρχείο Εξόδου Δέιγματα εισόδου και αντίστοιχες πραγματικές έξοδοι Δείγματα εισόδου Σύνολο Δοκιμής test.dat Αρχείο Εξόδου output.dat Εξομοιωτής Πλήθος επιπέδων Πλήθος στοιχείων εισόδου Πλήθος νευρωνίων / επίπεδο Σύνολο εποχών Σύνολο δειγμάτων Βάρη εκπαιδευμένου δικτύου Αρχείο Βαρών weights.dat

Αναγνώριση Χαρακτήρων Εφαρμογή: Αναγνώριση Χαρακτήρων

Σύστημα Οπτικής Αναγνώρισης Χαρακτήρων Χαρακτήρας Ερμηνεία Γνωσιακή Βάση Προ-επεξεργασία Τμηματοποίηση Αναπαράσταση Αναγνώριση Λήψη Εικόνας Ύψος Κείμενο

Μοντελοποίηση Σκοπός Αναγνώριση των 12 πρώτων κεφαλαίων χαρακτήρων του Ελληνικού αλφάβητου Είσοδος 0 0 1 0 0 0 1 0 1 0 1 0 0 0 1 1 1 1 1 1 00100010101000110001111111000110001 Έξοδος Οκταψήφια δυαδική αναπαράσταση σύμφωνα με το πρότυπο ΕΛΟΤ 928

Ανιχνευτές Χαρακτηριστικών Σχεδίαση 1 MSB 1 2 2 1 3 2 3 4 3 5 4 6 5 7 35 8 LSB Στοιχεία Εισόδου Κρυμμένα Νευρώνια Ανιχνευτές Χαρακτηριστικών Νευρώνια Εξόδου

Εκπαίδευση Σύνολο Εκπαίδευσης Παράμετροι Εξομοίωσης Αποτελέσματα

Ένα Στιγμιότυπο της Εκπαίδευσης 1 0.756 1 1 2 0.897 1 2 1 3 0.143 2 1 3 4 0.089 3 5 0.234 4 6 0.197 5 7 0.310 1 35 8 0.903 1 Δείγμα Εισόδου (Α) Πραγματικό Δείγμα Εξόδου Επιθυμητό Δείγμα Εξόδου

Αξιολόγηση

Δοκιμή

Άλλες Εφαρμογές Έυρεση ισοτιμίας Κωδικοποίηση - Συμπίεση δεδομένων Ανάγνωση κειμένου Αναγνώριση δευτερεύουσας πρωτεϊνικής δομής Αναγνώριση στόχων ραντάρ Οδήγηση αυτοκινήτου Συμπίεση εικόνας Αναγνώριση ομιλίας Πρόβλεψη σήματος Αναγνώριση χειρόγραφων χαρακτήρων Πρόβλεψη οικονομικών τάσεων Έλεγχος ρομπότ Ταξινόμηση προϊόντων

1 Κρυμμένο Επίπεδο

2 Κρυμμένα Επίπεδα

3 Κρυμμένα Επίπεδα

Σύγκριση

Σύνοψη Το Νευρικό Κύτταρο Βιολογικά Νευρωνικά Δίκτυα Νευρωνικά Δίκτυα Ευθείας Τροφοδότησης Το Τεχνητό Νευρώνιο Εκπαίδευση Επιβλεπόμενη Μάθηση Ανάστροφη Διάδοση Σφάλματος Γενίκευση Ορμή Εξομοιωτής Κατάσταση Εκπαίδευση Κατάσταση Δοκιμής Εφαρμογή: Αναγνώριση Χαρακτήρων