ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ.

Παρουσίαση με θέμα: "ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ."— Μεταγράφημα παρουσίασης:

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Βακφάρης Γεώργιος Α.Ε.Μ. 3666 Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης Θεσσαλονίκη 2003

2 Περιγραφή του Νευρωνικού Δικτύου Block Diagonal Recurrent Neural Network (χωρίς τους βρόχους ανάδρασης) Full Recurrent Neural Network (χωρίς τους βρόχους ανάδρασης) C ƒαƒα W ƒαƒα W

3 Περιγραφή του Νευρωνικού Δικτύου FeedForward – Block Diagonal Recurrent Neural Network (FF-BDRNN) BDRNN FF Σ C u

4 Περιγραφή του Νευρωνικού Δικτύου Stabilizing Feedforward Neural Network (SFNN) SFNN W Neural Networks ( FF-BDRNN ) rsrs rnrn eses enen u

5 Περιγραφή του Νευρωνικού Δικτύου Επαναπροσδιορισμός του Πίνακα Κατάστασης (Shadows) Υπολογισμός του πίνακα καταστάσεων δυο φορές 1. Forward pass 2. Backward Pass Έλεγχος του σφάλματος ( Shadow Error Function )

6 Υλοποίηση του Διαγώνιου BDRNN Αρχιτεκτονική της BDRNN Δομής ƒα z -1 x 1 (k+1) x 2 (k+1) s1s1 s2s2 Wx 1 (k) x 2 (k)

7 Υλοποίηση του Διαγώνιου BDRNN Forward Propagation Backward Propagation – Τελεστές Lagrange

8 Υλοποίηση του Διαγώνιου BDRNN Υπολογισμός της παραγώγου του σφάλματος Update του πίνακα βαρών

9 Υλοποίηση του Διαγώνιου BDRNN Συνάρτηση Σφάλματος → Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation

10 Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass 2. Backward Pass 3. Shadow Error Function

11 Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass Αν τότε και 2. Backward Pass 3. Shadow Error Function

12 Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass 2. Backward Pass Αν τότε Αλλιώς 3. Shadow Error Function

13 Ανάλυση της Διαδικασίας των Shadows Στάδια Υπολογισμού 1. Forward Pass 2. Backward Pass 3. Shadow Error Function

14 Ανάλυση της Διαδικασίας των Shadows Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών

15 Αλγόριθμοι και Δίκτυα Ευστάθειας Συνθήκες Ευστάθειας Τοπική Ευστάθεια Γενική Ευστάθεια

16 Αλγόριθμοι και Δίκτυα Ευστάθειας

17 Συναρτήσεις Ευστάθειας 1. BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες (Scaled Orthogonal Stability) 2. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική Ευστάθεια (Free Form Global Stability) 3. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική Ευστάθεια (Free Form Local stability)

18 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

19 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

20 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

21 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

22 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

23 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

24 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

25 Αλγόριθμοι και Δίκτυα Ευστάθειας BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

26 Αλγόριθμοι και Δίκτυα Ευστάθειας Συνάρτηση ευστάθειας ως Feedforward Δίκτυο Σιγμοειδής Είσοδος 1 1 w n-1,n-1 w n-1,n -α 1 y s n/2

27 Αλγόριθμοι και Δίκτυα Ευστάθειας Παρατηρήσεις 1. Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης, 2. Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch,όπου τα βάρη W παραμένουν σταθερά 3. Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs. 4. Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN 5. Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών.

28 Παραδείγματα Προσομοίωσης Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction) Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass

29 Παραδείγματα Προσομοίωσης 4 Block Diagonals Single input – single output (SISO) Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal Stabilizer) Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction)

30 Παραδείγματα Προσομοίωσης Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας Παράμετροι Εκπαίδευσης lr BDRNN =0.0016 lr SFNN = - Αριθμός Block Diagonals=4 Epochsize=50 Epochs to Converge=40000

31 Παραδείγματα Προσομοίωσης Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα 0.5-1.0 Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

32 Παραδείγματα Προσομοίωσης Προσθήκη Σταθεροποιητικού SFNN Παράμετροι Εκπαίδευσης lr BDRNN =0.0016 lr SFNN =0.00001 Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

33 Παραδείγματα Προσομοίωσης Προσθήκη Σταθεροποιητικού SFNN

34 Παραδείγματα Προσομοίωσης Προσθήκη Σταθεροποιητικού SFNN

35 Παραδείγματα Προσομοίωσης Παρατηρήσεις – Επιλογή των Learning Rates Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα βάρη Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα να ταλαντώνει σε μια περιοχή τιμών Προσθήκη Σταθεροποιητικού SFNN

36 Παραδείγματα Προσομοίωσης Επίδραση των παραμέτρων εκπαίδευσης Παράμετροι Εκπαίδευσης lr BDRNN =0.0016 lr SFNN =0.001 Αριθμός Block Diagonals=4 Epochsize=50 Epochs to Converge=40000

37 Παραδείγματα Προσομοίωσης Επίδραση των παραμέτρων εκπαίδευσης

38 Παραδείγματα Προσομοίωσης Επίδραση των παραμέτρων εκπαίδευσης Είναι εμφανής η απόκλιση από την ευσταθή περιοχή

39 Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας

40 Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας Παράμετροι Εκπαίδευσης lr BDRNN =0.0016 lr SFNN =0.0001 Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

41 Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας

42 Παραδείγματα Προσομοίωσης Τροποποίηση της συνάρτησης ευστάθειας Σχόλια Ομαλή κίνηση των ιδιοτιμών, χωρίς spikes Καλύτερη τοποθέτηση, ψηλότερα από τη μηδενική περιοχή

43 Παραδείγματα Προσομοίωσης Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows) Παράμετροι Εκπαίδευσης lr BDRNN =0.0016 lr SFNN =0.0001 Αριθμός Block Diagonals=4 Epochsize=100 Epochs to Converge=40000

44 Παραδείγματα Προσομοίωσης Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

45 Παραδείγματα Προσομοίωσης Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows) Ποσοστό Αποθήκευσης50%20%10%3,30%2% Αριθμός Ασταθειών16,7626,4428,0631,2733,01

46 Παραδείγματα Προσομοίωσης Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών

47 Παραδείγματα Προσομοίωσης Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN =0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000 Ορθογώνιος Stabilizer

48 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer

49 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer Παρατήρηση Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.

50 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN =0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

51 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

52 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

53 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN =0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

54 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

55 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

56 Παραδείγματα Προσομοίωσης Σύγκριση των Stabilizers  η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή. Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..

57 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN =0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

58 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer

59 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer Ποσοστό Αποθήκευσης50%20%10%3,30%2% Αριθμός Ασταθειών11,1715,3619,6722,1224,68

60 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN =0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

61 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

62 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Γενική Ευστάθεια

63 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια Παράμετροι Εκπαίδευσης lr BDRNN =0.032 lr SFNN =0.00001 Αριθμός Block Diagonals=2 Epochsize=48 Epochs to Converge=7000

64 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

65 Παραδείγματα Προσομοίωσης Ελεύθερη Μορφή και Τοπική Ευστάθεια

66 Παράδειγμα 3 : Διαφορική Εξίσωση MacKey - Glass Παραδείγματα Προσομοίωσης τ=30 Είσοδος : Έξοδος : Είσοδος στο FeedForward Δίκτυο :

67 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer, χωρίς παράλληλο FF Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN =0.00005 Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

68 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer, με παράλληλο FF Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN =0.00005 Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

69 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer με παράλληλο FF

70 Παραδείγματα Προσομοίωσης Ορθογώνιος Stabilizer με παράλληλο FF τα learning rates κρατήθηκαν αρκετά χαμηλά το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών Ποσοστό Αποθήκευσης50%20%10%3,30%2% Αριθμός Ασταθειών8,329,0612,1114,716,16

71 Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Global Stabilizer Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN =0.00005 Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

72 Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Global Stabilizer

73 Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Global Stabilizer

74 Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Local Stabilizer Παράμετροι Εκπαίδευσης lr BDRNN =0.128 lr SFNN =0.00005 Αριθμός Block Diagonals=2 Epochsize=100 Epochs to Converge=20000

75 Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Local Stabilizer

76 Παραδείγματα Προσομοίωσης Ευστάθεια Ελεύθερης Μορφής, με Local Stabilizer

77 Επίλογος - Συμπεράσματα Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας. Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.

78 Επίλογος - Συμπεράσματα Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks. Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες. Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.

79 Stabilizing feedforward neural network (SFNN) Stabilization alogorithm ysys -r s eses W z -1 CB x(k) D1D1 D2D2 D L-1 Σ BDRNN learning algorithm Back Propagation Algorithm -r n (k) e n (k) y n (k) u(k) sigmoid unit Επίλογος - Συμπεράσματα

80 ΤΕΛΟΣ