ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Βακφάρης Γεώργιος Α.Ε.Μ Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης Θεσσαλονίκη 2003

Περιγραφή του Νευρωνικού Δικτύου Block Diagonal Recurrent Neural Network (χωρίς τους βρόχους ανάδρασης) Full Recurrent Neural Network (χωρίς τους βρόχους ανάδρασης) C ƒαƒα W ƒαƒα W

Περιγραφή του Νευρωνικού Δικτύου FeedForward – Block Diagonal Recurrent Neural Network (FF-BDRNN) BDRNN FF Σ C u

Περιγραφή του Νευρωνικού Δικτύου Stabilizing Feedforward Neural Network (SFNN) SFNN W Neural Networks ( FF-BDRNN ) rsrs rnrn eses enen u

Περιγραφή του Νευρωνικού Δικτύου Επαναπροσδιορισμός του Πίνακα Κατάστασης (Shadows) Υπολογισμός του πίνακα καταστάσεων δυο φορές 1. Forward pass 2. Backward Pass Έλεγχος του σφάλματος ( Shadow Error Function )

Υλοποίηση του Διαγώνιου BDRNN Αρχιτεκτονική της BDRNN Δομής ƒα z -1 x 1 (k+1) x 2 (k+1) s1s1 s2s2 Wx 1 (k) x 2 (k)

Υλοποίηση του Διαγώνιου BDRNN Forward Propagation Backward Propagation – Τελεστές Lagrange

Υλοποίηση του Διαγώνιου BDRNN Υπολογισμός της παραγώγου του σφάλματος Update του πίνακα βαρών

Υλοποίηση του Διαγώνιου BDRNN Συνάρτηση Σφάλματος → Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation

Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass 2. Backward Pass 3. Shadow Error Function

Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass Αν τότε και 2. Backward Pass 3. Shadow Error Function

Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass 2. Backward Pass Αν τότε Αλλιώς 3. Shadow Error Function

Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass 2. Backward Pass 3. Shadow Error Function

Ανάλυση της Διαδικασίας των Shadows Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών

Αλγόριθμοι και Δίκτυα Ευστάθειας Συνθήκες Ευστάθειας Τοπική Ευστάθεια Γενική Ευστάθεια

Αλγόριθμοι και Δίκτυα Ευστάθειας

Συναρτήσεις Ευστάθειας 1. BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες (Scaled Orthogonal Stability) 2. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική Ευστάθεια (Free Form Global Stability) 3. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική Ευστάθεια (Free Form Local stability)

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

Αλγόριθμοι και Δίκτυα Ευστάθειας Συνάρτηση ευστάθειας ως Feedforward Δίκτυο Σιγμοειδής Είσοδος 1 1 w n-1,n-1 w n-1,n -α 1 y s n/2

Αλγόριθμοι και Δίκτυα Ευστάθειας Παρατηρήσεις 1. Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης, 2. Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch,όπου τα βάρη W παραμένουν σταθερά 3. Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs. 4. Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN 5. Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών.

Παραδείγματα Προσομοίωσης Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction) Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass

Παραδείγματα Προσομοίωσης 4 Block Diagonals Single input – single output (SISO) Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal Stabilizer) Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction)

Παραδείγματα Προσομοίωσης Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας Παράμετροι Εκπαίδευσης lr BDRNN = lr SFNN = - Αριθμός Block Diagonals=4 Epochsize=50 Epochs to Converge=40000

Παραδείγματα Προσομοίωσης Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

Παραδείγματα Προσομοίωσης Προσθήκη Σταθεροποιητικού SFNN Παράμετροι Εκπαίδευσης lr BDRNN = lr SFNN = Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

Παραδείγματα Προσομοίωσης Προσθήκη Σταθεροποιητικού SFNN

Παραδείγματα Προσομοίωσης Προσθήκη Σταθεροποιητικού SFNN

Παραδείγματα Προσομοίωσης Παρατηρήσεις – Επιλογή των Learning Rates Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα βάρη Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα να ταλαντώνει σε μια περιοχή τιμών Προσθήκη Σταθεροποιητικού SFNN

Παραδείγματα Προσομοίωσης Επίδραση των παραμέτρων εκπαίδευσης Παράμετροι Εκπαίδευσης lr BDRNN = lr SFNN =0.001 Αριθμός Block Diagonals=4 Epochsize=50 Epochs to Converge=40000

Παραδείγματα Προσομοίωσης Επίδραση των παραμέτρων εκπαίδευσης

Παραδείγματα Προσομοίωσης Επίδραση των παραμέτρων εκπαίδευσης Είναι εμφανής η απόκλιση από την ευσταθή περιοχή

Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας

Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας Παράμετροι Εκπαίδευσης lr BDRNN = lr SFNN = Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας

Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας Σχόλια Ομαλή κίνηση των ιδιοτιμών, χωρίς spikes Καλύτερη τοποθέτηση, ψηλότερα από τη μηδενική περιοχή

Παραδείγματα Προσομοίωσης Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows) Παράμετροι Εκπαίδευσης lr BDRNN = lr SFNN = Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

Παραδείγματα Προσομοίωσης Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

Παραδείγματα Προσομοίωσης Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows) Ποσοστό Αποθήκευσης50%20%10%3,30%2% Αριθμός Ασταθειών16,7626,4428,0631,2733,01

Παραδείγματα Προσομοίωσης Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών

Παραδείγματα Προσομοίωσης Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000 Ορθογώνιος Stabilizer

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer Παρατήρηση Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παραδείγματα Προσομοίωσης Σύγκριση των Stabilizers  η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή. Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer Ποσοστό Αποθήκευσης50%20%10%3,30%2% Αριθμός Ασταθειών11,1715,3619,6722,1224,68

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παράδειγμα 3 : Διαφορική Εξίσωση MacKey - Glass Παραδείγματα Προσομοίωσης τ=30 Είσοδος : Έξοδος : Είσοδος στο FeedForward Δίκτυο :

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer, χωρίς παράλληλο FF Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer, με παράλληλο FF Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer με παράλληλο FF

Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer με παράλληλο FF τα learning rates κρατήθηκαν αρκετά χαμηλά το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών Ποσοστό Αποθήκευσης50%20%10%3,30%2% Αριθμός Ασταθειών8,329,0612,1114,716,16

Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Global Stabilizer Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Global Stabilizer

Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Global Stabilizer

Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Local Stabilizer Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN = Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Local Stabilizer

Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Local Stabilizer

Επίλογος - Συμπεράσματα Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας. Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.

Επίλογος - Συμπεράσματα Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks. Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες. Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.

Stabilizing feedforward neural network (SFNN) Stabilization alogorithm ysys -r s eses W z -1 CB x(k) D1D1 D2D2 D L-1 Σ BDRNN learning algorithm Back Propagation Algorithm -r n (k) e n (k) y n (k) u(k) sigmoid unit Επίλογος - Συμπεράσματα

ΤΕΛΟΣ