ΑΣΑΦΗ ΝΕΥΡΩΝΙΚΑ ΑΥΤΟΔΙΟΡΓΑΝΟΜΕΝΑ ΔΙΚΤΥΑ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΠΛΑΚΙΑΣ ΣΠΥΡΙΔΩΝ ΑΕΜ : 3764 ΕΠΙΒΛΕΨΗ : ΙΩΑΝΝΗΣ ΘΕΟΧΑΡΗΣ ΑΝΑΠΛΗΡΩΤΗΣ ΚΑΘΗΓΗΤΗΣ

● Τόσο τα νευρωνικά δίκτυα όσο και τα ασαφή συστήματα περιέχουν την ικανότητα να διανέμουν τις δυσκολίες που παρουσιάζονται από την ανακρίβεια, την αβεβαιότητα καθώς και το θόρυβο των φυσικών συστημάτων αφού είναι δυναμικά και αυτοδιοργανούμενα ως προς την φύση τους. Έχουν χρησιμοποιηθεί σε μεγάλο βαθμό για να βελτιώσουν την τεχνητή νοημοσύνη των μηχανών και να αυξήσουν την αξιοπιστία τους καθώς και σε άλλες εφαρμογές της σύγχρονης πραγματικότητας ώστε πλέον να θεωρείται αναγκαίος ο αποδοτικός συνδυασμός τους. ● Μια επιθυμητή επομένως προσέγγιση είναι να συνδυάσουμε τα νευρωνικά δίκτυα και την ασαφή λογική σε ένα ενιαίο σύνολο ώστε να κερδίσουμε την υπολογιστική δύναμη των νευρωνικών δικτύων με την ταυτόχρονη υψηλού επιπέδου ασαφή λογική και κατανόηση. Έτσι παρουσιάστηκε από τον Lin και Lee(1991) ένα γενικότερο μοντέλο που συνδυάζει τις παραπάνω ιδιότητες,το ασαφές νευρωνικό δίκτυο (fuzzy neural net, FNN).

Ασαφές νευρωνικό δίκτυο (FNN) Στρώμα 5 Στρώμα 4 Στρώμα 3 Στρώμα 2 Στρώμα 1

Το ασαφές νευρωνικό δίκτυο αποτελείται από 5 στρώματα Το πρώτο στρώμα λειτουργεί ως είσοδος των δεδομένων στο δίκτυο. Στο δεύτερο στρώμα γίνεται η διαδικασία ασαφοποίησης των εισόδων αφού κάθε κόμβος στο στρώμα αυτό αντιπροσωπεύει την αντίστοιχη συνάρτηση συμμετοχής της συγκεκριμένης εισόδου. Στο τρίτο στρώμα δημιουργούνται οι προϋποθέσεις των ασαφών κανόνων Στο τέταρτο στρώμα αντιστοιχούν τα συμπεράσματα των ασαφών λογικών κανόνων αφού κάθε κόμβος στο στρώμα αυτό αντιστοιχεί και σε μια συνάρτηση συμμετοχής εξόδου.Η μετάδοση από πάνω προς τα κατά χρησιμοποιείται κατά την εκπαίδευση για την αρχική εύρεση των παραμέτρων των συναρτήσεων συμμετοχής εξόδου. Στο πέμπτο στρώμα γίνεται η διαδικασία απο-ασαφοποίησης έτσι ώστε οι crisp τιμές να εξέρχονται στον πραγματικό κόσμο. Κατά την μετάδοση πάνω-κάτω εισάγονται τα δεδομένα εκπαίδευσης της εξόδου.

Μαθηματική ανάλυση του δικτύου κόμβο κόμβο Στρώμα 1 : Είσοδοι εισέρχονται στο δίκτυο Στρώμα 2 : Ασαφοποίηση των εισόδων αφού κάθε κόμβος αντιστοιχεί σε μια συνάρτηση συμμετοχής Στρώμα 3 : Οι συνδέσεις εδώ χρησιμοποιούνται για να εκπληρωθούν οι προϋποθέσεις των ασαφών λογικών κανόνων. Επομένως οι κόμβοι κανόνες(στρώμα 3)εκτελούν την ασαφή πράξη AND

Στρώμα 4 : Κατά την μετάδοση από κάτω προς τα πάνω οι συνδέσεις σε αυτό το στρώμα εκπληρώνουν την ασαφή πράξη OR ώστε να συνενωθούν σε ενιαίο σύνολο οι έξοδοι των κανόνων που έχουν το ίδιο αποτέλεσμα και επομένως το ίδιο συμπέρασμα. Κατά τη μετάδοση από πάνω προς τα κάτω οι συνδέσεις των κόμβων του στρώματος 4 με τους κόμβους του στρώματος 5 είναι ακριβώς οι ίδιες όπως αυτές στο στρώμα 2 με το στρώμα 1. Στρώμα 5 : Kατά τη διάδοση πάνω-κάτω τροφοδοτείται το δίκτυο με τα απαραίτητα στοιχεία για εκπαίδευση Οι κόμβοι κατά την μετάδοση κάτω-πάνω και οι συνδέσεις τους με τους κόμβους του στρώματος 4 λειτουργούν σαν από-ασαφοποιητής και συνεπώς για να βρούμε την crisp τιμή της εξόδου χρησιμοποιούμε από-ασαφοποιητή κέντρου βάρους(COA).

 την μη επιβλεπόμενη εκμάθηση (unsupervised learning) Ο συνολικός αλγόριθμος εκπαίδευσης ασαφούς νευρωνικού δικτύου(FALCON) αποτελείται από δυο ξεχωριστά στάδια  την μη επιβλεπόμενη εκμάθηση (unsupervised learning)  την επιβλεπόμενη βαθμωτή εκμάθηση (supervised gradient descent learning)

Μη επιβλεπόμενη εκμάθηση (unsupervised learning) α. Εύρεση παραμέτρων των συναρτήσεων συμμετοχής εισόδων και εξόδων του συστήματος β. Εύρεση ασαφών λογικών κανόνων

Εύρεση παραμέτρων των συναρτήσεων συμμετοχής εισόδων και εξόδων του συστήματος κατά unsupervised learning Χρησιμοποιείται ο κανόνας αναγνώρισης προτύπων Kohonen ανεξάρτητα για κάθε είσοδο η έξοδο ( Kohonen’s learning rule algorithm LVQ) και βρίσκονται τα κέντρα των συναρτήσεων συμμετοχής Similarity matching: Updating: όταν

Τα πλάτη των συναρτήσεων συμμετοχής βρίσκονται από την σχέση όπου r είναι η παράμετρος επικάλυψης των ασαφών συνόλων Παρατηρούμε πως μετά από αυτή την διαδικασία ο χώρος των μεταβλητών εισόδου και εξόδου έχει επικαλυφθεί ικανοποιητικά όπου υπάρχουν δεδομένα εκπαίδευσης

Εύρεση ασαφών λογικών κανόνων Χρησιμοποιώντας τον competitive learning algorithm ανανεώνω τα βάρη των συνδέσεων στο στρώμα 4 με βάση την παρακάτω σχέση όπου τα βάρη αντιπροσωπεύουν την δύναμη των κανόνων στο αποτέλεσμα της εξόδου. Συνεπώς κανόνες με μικρά βάρη διαγράφονται. Επίσης πρέπει να αναφερθεί ότι σε κάθε κόμβο κανόνα αντιστοιχεί μόνο ένας κόμβος συμπέρασμα στο στρώμα 4.

 Συμπερασματικά μετά την ολοκλήρωση των παραπάνω διαδικασιών το δίκτυο έχει χτιστεί αφού έχουν βρεθεί τόσο οι παράμετροι των συναρτήσεων συμμετοχής εισόδου και εξόδου αλλά και έχουν εντοπιστεί οι ασαφείς λογικοί κανόνες που απορρέουν από τη φύση τη προβλήματος.  Στη συνεχεία ένας έλεγχος της συνεργασίας (συνδυασμός) των κανόνων χρησιμοποιείται ώστε να μειωθεί ο αριθμός των κανόνων(rule combination) ώστε κατά την επιβλεπόμενη εκπαίδευση να προσαρμοστεί το δίκτυο καλύτερα στη φύση του προβλήματος.

Mείωση κανόνων με βάση τον συνδυασμό τους(Rule combination) Τα κριτήρια για να μειώσεις ένα σύνολο από κανόνες σε ένα κανόνα είναι τα εξής : α .Όλοι οι κανόνες έχουν το ίδιο συμπέρασμα β . Κάποιες προϋποθέσεις είναι κοινές για όλο το σύνολο των κόμβων κανόνων για τους οποίους ίσως υπάρξει αντικατάσταση από ένα κόμβο κανόνα. γ .Η ένωση του συνόλου των προϋποθέσεων αυτών των κόμβων κανόνων αποτελεί ολόκληρο τον ασαφή χώρο από μερικές από τις μεταβλητές εισόδου.  Αν ένα σύνολο από κόμβους κανόνες εξασφαλίζει αυτά τα κριτήρια τότε μόνο ένας κόμβος κανόνα με τις κοινές προϋποθέσεις του συνόλου των κόμβων κανόνων αντικαθιστά το παραπάνω σύνολο από τους κόμβους κανόνες.

Επιβλεπόμενη εκμάθηση (Supervised learning) Προσαρμόζονται οι παράμετροι των συναρτήσεων συμμετοχής (εισόδου και εξόδου) ώστε να προσεγγιστεί το συγκεκριμένο κάθε φορά πρόβλημα πιο ευνοϊκά. Μια μορφή του αλγόριθμου back-propagation χρησιμοποιείται κατά την επιβλεπομενη εκπαίδευση Κατά την διαδικασία αυτή ελαχιστοποιείται η συνάρτηση σφάλματος η όποια είναι μια συνάρτηση της επιθυμητής τιμής της εξόδου και της πραγματικής τιμής της εξόδου του συστήματος.

 Για να κατανοηθούν πλήρως οι ενέργειες που γίνονται κατά τη φάση αυτή, δηλαδή η προσαρμογή των παραμέτρων των κόμβων δείχνουμε παρακάτω αναλυτικά τον υπολογισμό τους, για όλα τα στρώματα, αρχίζοντας από την έξοδο του συστήματος και προχωρώντας προς τα κάτω. ● Στρώμα 5 : Οι προσαρμοσμένες τιμές στο στρώμα αυτό είναι και το σφάλμα που παρουσιάζεται σε αυτό το στρώμα είναι

● Στρώμα 4 : Κατά τη μετάδοση δεν υπάρχει παράμετρος που θα πρέπει να προσαρμοστεί σε αυτό το στρώμα.Ο υπολογισμός του σφάλματος σε αυτό το στρώμα είναι το μόνο που μας απασχολεί. ● Στρώμα 3 : Όπως στο στρώμα 4 έτσι και εδώ μόνο ο υπολογισμός του σφάλματος του στρώματος μας ενδιαφέρει όπου το άθροισμα αναφέρεται σε όλα τα συμπεράσματα του αντίστοιχου κόμβου κανόνα δηλαδή το σφάλμα ενός κόμβου κανόνα είναι το άθροισμα των αντίστοιχων κόμβων συμπερασμάτων στο στρώμα 4.

● Στρώμα 2 : Η ανανεωμένες (προσαρμοσμένες) τιμές είναι όπου το σφάλμα σε αυτό το στρώμα δίνεται από τις σχέσεις όπου εάν είναι ο ελάχιστος των εισόδων του k κόμβου κανόνα αλλιώς

 Μετά το supervised learning το δίκτυο είναι έτοιμο να αποδώσει αποτελέσματα στον εξωτερικό κόσμο αφού έχουν βρεθεί οι λογικοί κανόνες και έχουν προσαρμοστεί οι παράμετροι των συναρτήσεων συμμετοχής  Η ταχύτητα σύγκλισης του αλγόριθμου back-propagation κατά την παραπάνω διαδικασία είναι μεγαλύτερη από αυτή ενός σχήματος που χρησιμοποιεί τον απλό back-propagation.Αυτό γίνεται γιατί η διαδικασία κατά τη πρώτη φάση(unsupervised learning) έχει αποδώσει το μεγαλύτερο τμήμα της όλης εκπαίδευσης.

Διάγραμμα ροής αλγόριθμου Training data Find Centers and Widths of set functions with LVQ Clustering methods Find Fuzzy Rules with competitive learning Rules Elimination Rules Combination Tune the set function with Error gradient descent

ΠΑΡΑΔΕΙΓΜΑ ΠΡΟΣΟΜΟΙΩΣΗΣ ΜΕ ΤΗΝ ΒΟΗΘΕΙΑ ΑΣΑΦΟΥΣ ΝΕΥΡΩΝΙΚΟΥ ΔΙΚΤΥΟΥ  Αναφερόμαστε στον έλεγχο ενός οχήματος ώστε να μάθει την τεχνική οδήγησης ενός έμπειρου οδηγού.  Το όχημα έχει την ικανότητα να μαθαίνει έτσι ώστε να μετακινείται αυτόματα μεταξύ δυο σημείων κατά μήκος συγκεκριμένων τροχιών.  Δηλαδή δίνοντας στο σύστημα σαν δεδομένα εκπαίδευσης τις τροχιές κατά τις οποίες ένας έμπειρος οδηγός περνάει κάποια εμπόδια τότε μετά το χτίσιμο και την εκπαίδευση του ασαφούς νευρωνικού δικτύου το όχημα υπό τον έλεγχο του δικτύου μπορεί να περάσει ικανοποιητικά τα εμπόδια.

Οι μεταβλητές εισόδου του συστήματος είναι οι Οι δυο πρώτες μεταβλητές μας δείχνουν την θέση του οχήματος στο δισδιάστατο επίπεδο ενώ η μεταβλητή αναφέρεται στην εφαπτόμενη της γωνίας του οχήματος ως προς το θετικό ημιάξονα αποτελεί δηλαδή συνάρτηση της εκάστοτε γωνίας του οχήματος. Η έξοδος του δικτύου είναι η εφαπτόμενη της επόμενης γωνίας του οχήματος.

Τροχιές που αντιστοιχούν στα δεδομένα εκπαίδευσης  Στα παρακάτω σχήματα φαίνονται οι διάφορες συναρτήσεις συμμετοχής των εισόδων αλλά και της εξόδου του δικτύου,οι οποίοι αναπτύχθηκαν από τον LVQ algorithm,μετά το τέλος της μη επιβλεπόμενης εκπαίδευσης(unsupervised learning).

συναρτήσεις συμμετοχής εισόδου x0 μετά το unsupervised learning συναρτήσεις συμμετοχής εισόδου y μετά το unsupervised learning

 Επίσης κατά τη διάρκεια της μη επιβλεπόμενης εκπαίδευσης και κατά το competitive learning βρίσκονται οι ασαφείς νευρωνικοί κανόνες και επιπρόσθετα υποδεικνύονται οι συνδέσεις των κρυφών κόμβων του δικτύου όπως αναφέρθηκε και στην ανάλυση που έγινε κατά την θεωρητική μελέτη του συστήματος.  Συνάμα παρατηρούμε ότι οι κανόνες εξηγούνται με βάση την ανθρώπινη εμπειρία και λογική κάτι που παρουσιάζεται αργότερα.  Παρακάτω φαίνεται ο πίνακας που μας παρουσιάζει την ασαφή βάση δεδομένων που δημιουργήθηκε από τον αλγόριθμο εκπαίδευσης.

κανόνας x0 x1 x2 y προυποθέσεις συμπέρασμα 1 31 3 2 32 33 4 34 5 35 6 31 3 2 32 33 4 34 5 35 6 36 7 38 8 39 9 40 10 41 11 42 12 43 13 44 14 45 15 46 16 47 17 48 18 49 19 50 20 51 21 52 22 53 23 54 24 55 25 56 26 57 27 58 28 59 29 60 30  

Ασαφή λογικοί κανόνες Έστω ο κανόνας 57 του πίνακα ο οποίος αναλυτικά παρουσιάζεται με την σχέση IF x0 is AND x1 is AND x2 is THEN y is .  Αυτό σημαίνει πως αν το όχημα βρίσκεται στη μαρκαρισμένη περιοχή 1 του παρακάτω σχήματος και η γωνία του οχήματος ως προς τον θετικό ημιάξονα είναι μεγάλη αλλά όχι τόσο όσο χρειάζεται τότε η επόμενη γωνία του οχήματος θα πρέπει να είναι μεγαλύτερη. Παρατηρούμε πως αυτό είναι απόλυτα σωστό αφού με την ίδια λογική θα αντιδρούσε και ένας έμπειρος οδηγός. Τα βέλη μέσα στις περιοχές 1 και 2 δείχνουν τις προϋποθέσεις που αναφέρονται στις γωνίες του αντίστοιχου κανόνα ενώ αυτά που είναι εξωτερικά από την περιοχή την επόμενη γωνία του οχήματος δηλαδή το συμπέρασμα του κάθε κανόνα Περιοχή 1 Περιοχή 2 Επιπρόσθετα η γραφική αναπαράσταση του κανόνα 1 του πίνακα φαίνεται στην περιοχή 2 του σχήματος

Επιβλεπόμενη εκμάθηση (Supervised learning)  Κατά τη διαδικασία supervised learning χρησιμοποιούμε ως παράμετρο εκπαίδευσης(learning rate)n=0.01 ενώ παρατηρούμε πως το μέσο τετραγωνικό σφάλμα πέφτει στη τιμή 0.01 περίπου.  Παρακάτω φαίνονται και οι συναρτήσεις συμμετοχής των μεταβλητών του προβλήματος μετά την διαδικασία Supervised learning

συναρτήσεις συμμετοχής εισόδου x0 μετά το supervised learning συναρτήσεις συμμετοχής εξόδου y μετά το supervised learning

γράφημα μέσου τετραγωνικού σφάλματος ανά εποχή  Παρατηρούμε πως κατά την επιβλεπόμενη εκπαίδευση δεν μεταβάλλονται ουσιαστικά οι παράμετροι των συναρτήσεων συμμετοχής εισόδου σε αντίθεση με τους παραμέτρους των συναρτήσεων συμμετοχής της εξόδου .Αυτό είναι λογικό αφού οι παράμετροι των συναρτήσεων συμμετοχής των εισόδων έχουν βρεθεί κατά την πρώτη φάση της εκπαίδευσης και καλύπτουν τον χώρο στον οποίο πρέπει να κινηθεί το ασαφές όχημα .Έτσι τυχόν μεταβολή τους δεν συνεισφέρει στην καλύτερη προσέγγιση του προβλήματος σε αντίθεση με τις συναρτήσεις συμμετοχής της εξόδου οι οποίες προσαρμόζονται ανάλογα αφού μεταβάλλεται τόσο το κέντρο αλλά και το πλάτος τους. γράφημα μέσου τετραγωνικού σφάλματος ανά εποχή

Αφού η εκπαίδευση του ασαφούς νευρωνικού δικτύου έχει ολοκληρωθεί και πλέον ο ασαφής ελεγκτής είναι έτοιμος,χρησιμοποιείται για να ελέγξει το ασαφές όχημα.Κρατάμε την ταχύτητα του οχήματος σταθερή και με τη βοήθεια των αισθητήριων που διαθέτει το όχημα γνωρίζουμε κάθε στιγμή τις τιμές των x0,x1,x2. Οι τιμές αυτές εισέρχονται στο δίκτυο το οποίο αποφασίζει για την επόμενη τιμή της εφαπτόμενης της γωνίας του οχήματος και επομένως και την επόμενη τιμή της γωνίας.Τα αποτελέσματα της προσομοίωσης παρουσιάζονται παραπάνω προσομοίωση ασαφούς οχήματος

Αλγόριθμος εκπαίδευσης δομής και παραμέτρων ασαφούς νευρωνικού δικτύου σε πραγματικό χρόνο Εισαγωγή  Παρέχουμε τα δεδομένα εκπαίδευσης ένα ένα στο δίκτυο οπότε ο αλγόριθμος καθορίζει τόσο την δομή όσο και τους παραμέτρους του δικτύου σε πραγματικό χρόνο.  Η εκμάθηση της δομής του συστήματος παρέχει τις συνδέσεις μεταξύ των κόμβων του δικτύου και επομένως και τους ασαφείς λογικούς κανόνες καθώς και τον αριθμό των ασαφών διαιρέσεων των χωρών των μεταβλητών εξόδων ενώ η εκμάθηση παραμέτρων συντελεί στην εύρεση των παραμέτρων των συναρτήσεων συμμετοχής του συστήματος.

 Ο αλγόριθμος αυτός συνδυάζει το σχήμα back propagation για την εκμάθηση παραμέτρων και μια διαδικασία υπολογισμού του βαθμού ομοιότητας ασαφών συνόλων για την δημιουργία της δομής του δικτύου. Ο βαθμός ομοιότητας ασαφών συνόλων εξάγεται από μια γεωμετρική προσέγγιση του θέματος.  Ο αλγόριθμος back propagation χρησιμοποιείται και εδώ για να προσαρμοστούν οι παράμετροι των συναρτήσεων συμμετοχής με χρήση του υπολογισμού των σφαλμάτων εξόδου κάθε κόμβου σε όλα τα στρωματά.Επίσης χρησιμοποιείται ταυτόχρονα με την εύρεση του βαθμού ομοιότητας των ασαφών συνόλων αφού η εκπαίδευση δομής αλλά και η εκπαίδευση παράμερων του δικτύου γίνεται ταυτόχρονα.Δηλαδή ο αλγόριθμος εκπαίδευσης πραγματικού χρόνου που χρησιμοποιείται μπορεί να μάθει ταυτόχρονα τους ασαφείς λογικούς κανόνες,τους παραμέτρους των συναρτήσεων συμμετοχής και τον αριθμό των ασαφών διαιρέσεων του χώρου κάθε μεταβλητής εξόδου.

Μέτρηση ομοιότητας ασαφών συνόλων  Μια γενική μέθοδος μέτρησης της ομοιότητας των ασαφών συνόλων αναπτύχθηκε η οποία βασίζεται σε μια γεωμετρική προσέγγιση τους .  Για να ελέγξουμε λοιπόν τον βαθμό ισότητας μεταξύ δυο ασαφών συνόλων χρησιμοποιούμαι το μέτρο ομοιότητας  Επειδή η μέτρηση της ομοιότητας μεταξύ δυο ασαφών συνόλων γίνεται σε πραγματικό χρόνο,κατά την πραγματοποίηση του αλγόριθμου εκπαίδευσης,συμπεραίνουμε ότι ο χρόνος υπολογισμός της συγκεκριμένης μετρήσεως είναι σημαντικός.Συνεπώς μια τεχνική αναπτύχθηκε η οποία έχει εύκολο υπολογισμό και η οποία βασίζεται στην προσέγγιση και συνεπώς και αντικατάσταση των καμπαναειδών συναρτήσεων συμμετοχής από τις αντίστοιχες τριγωνικές .

Με βάση αυτή τη τεχνική ισχύει: Υποθέτοντας ,μετά από το τέλος των πράξεων υπολογισμού καταλήγουμε στις σχέσεις ● όταν τότε οπού Επομένως

● όταν ισχύει , είναι και

Αρχικοποίηση του συστήματος πριν τον αλγόριθμο εκπαίδευσης Για να χρησιμοποιηθεί ο αλγόριθμος εκπαίδευσης πρέπει μια αρχική μορφή του δικτύου να χτιστεί από το εξωτερικό περιβάλλον. Ο επιθυμητός αριθμός των ασαφών διαιρέσεων της κάθε εσόδου πρέπει να αποφασιστεί από το εξωτερικό χρηστή όπως επίσης και ο αρχικός αριθμός των ασαφών διαιρέσεων της κάθε εξόδου(μετά αυξάνονται αφού εισέρχονται νέοι κόμβοι συναρτήσεων συμμετοχής εξόδου). Συνάμα οι χώροι των εισόδων και εξόδων του προβλήματος πρέπει να επικαλυφθούν πλήρως από τις αντίστοιχες συναρτήσεις συμμετοχής αρχικά αφού κατά την εκπαίδευση θα προσαρμοστούν οι παράμετροι τους ανάλογα με την φύση του προβλήματος. Επίσης κάθε κόμβος κανόνας στο στρώμα 3 ενεργοποιεί μόνο ένα κόμβο συμπερασμάτων στο στρώμα 4 αφού κάθε ασαφής λογικός κανόνας του συγκεκριμένου σχήματος έχει μόνο ένα συμπέρασμα.Αρχικά οι συνδέσεις μεταξύ των κόμβων στο στρώμα 3 και 4 γίνονται η τυχαία η αποφασίζονται από ένα ειδικό από το εξωτερικό περιβάλλον.

Αλγόριθμος εκπαίδευσης ασαφούς νευρωνικού δικτύου σε πραγματικό χρόνο  Ο σκοπός κατά την διαδικασία της εκπαίδευσης του ασαφούς νευρωνικού δικτύου είναι η ελαχιστοποίηση της συνάρτησης σφάλματος Για κάθε ζευγάρι τιμών εισόδου και εξόδου εκπαίδευσης,αρχίζοντας από τους κόμβους των πρώτων στρωμάτων,μια προς τα μπροστά μετάδοση γίνεται ώστε να υπολογιστούν οι τιμές εισόδων και εξόδων όλων των κόμβων σε όλα τα στρώματα του δικτύου. Έπειτα για το αντίστοιχο ζευγάρι τιμών εισόδου και εξόδου εκπαίδευσης ένα προς τα πίσω πέρασμα του δικτύου γίνεται ώστε να υπολογιστεί για όλους τους κόμβους των κρυμμένων στρωμάτων η παράσταση της συνάρτησης σφάλματος και οι προσαρμοσμένες τιμές των συναρτήσεων συμμετοχής.

Για να δείξουμε καλύτερα το σχήμα εκπαίδευσης,θα υπολογίσουμε τις αντίστοιχες παραστάσεις αναλυτικά,κόμβο ανά κόμβο,αρχίζοντας από τα στρώματα εξόδου και ακολουθώντας την ροή προς τα κάτω ● Στρώμα 5 : Η αναμενόμενη( update ) τιμή του κέντρου και του πλάτους της συνάρτησης συμμετοχής που αντιστοιχεί στην έξοδο του δικτύου είναι Σε αυτό ακριβώς το σημείο(για το ζευγάρι τιμών εισόδου και εξόδου ) αποφασίζουμε αν θα αλλάξει η δομή του δικτύου με την διαδικασία ομοιότητας των ασαφών συνόλων.

Εκπαίδευση δομής ασαφούς νευρωνικού δικτύου : 1. Από το σύνολο των ήδη υπάρχουσων συναρτήσεων συμμετοχής που καλύπτουν τον χώρο της εξόδου θέλουμε να βρούμε ποιο ακριβώς είναι η πιο όμοια με την update συνάρτηση συμμετοχής εξόδου που βρήκαμε χρησιμοποιώντας τη μέθοδο μέτρησης βαθμού ομοιότητας ασαφών συνόλων. 2. Εφόσον βρούμε τη πιο <<κοντινή>>(closest) συνάρτηση συμμετοχής της εξόδου με την update συνάρτηση συμμετοχής που υπολογίσαμε,συγκρίνουμε τον βαθμό ομοιότητας τους με την τιμή μιας φθίνουσας συνάρτησης α(k) όπου k ο αριθμός του δεδομένου εκπαίδευσης που εισέρχεται στο δίκτυο.

3. Αν είναι μικρότερος ο βαθμός ομοιότητας από την τιμή α(k) τότε προσθέτουμε νέο κόμβο στο στρώμα 4 ώστε να επικαλυφθεί καλύτερα ο χώρος εξόδου και αλλάζουμε τα συμπεράσματα των ενεργών κανόνων προς αυτόν τον κόμβο συμπέρασμα. 4. Αλλιώς απλώς αλλάζουμε τα συμπεράσματα των κανόνων, που έχουν βάρος πάνω από ένα όριο που ορίζεται από το χρηστή,(ενεργοί κανόνες) και ορίζουμε ως συμπεράσματα των κανόνων αυτών τους κόμβους οι οποίοι είναι οι πιο κοντινοί στην update συνάρτηση συμμετοχής δηλαδή τον closest κόμβο.

 Όλα τα παραπάνω είναι άκρως λογικά αφού το επιθυμητό συμπεράσματα του κάθε κόμβου κανόνα είναι η update συνάρτηση συμμετοχής που προκύπτει από την διαδικασία back-propagation. Απλώς ελέγχεται ο βαθμός ομοιότητας του update ασαφούς συνόλου με τα ήδη υπάρχουσα σύνολα και αν είναι μικρός (συνήθως στα πρώτα σταδία της εκπαίδευσης ) εισάγεται νέος κόμβος στο στρώμα 4 ,αλλιώς, αλλάζουν μόνο οι συνδέσεις των κανόνων των οποίων τα βάρη είναι μεγαλύτερα από ένα όριο που θέτεται από το χρήστη αφού μόνο αυτοί είναι ενεργοί κανόνες για το συγκεκριμένο ζευγάρι τιμών εισόδου και εξόδου.

5. Μετά το πέρας της διαδικασίας που αναφέρθηκε παραπάνω η μορφή του δικτύου αλλάζει δυναμικά.Το γεγονός αυτό όμως μας επιβάλλει να ελέγξουμε εάν έγινε ανανέωση της δομής του δικτύου(αν προστέθηκε νέος κόμβος στο στρώμα 4 ή εάν άλλαξαν οι συνδέσεις μεταξύ των κόμβων κανόνων και των κόμβων συμπερασμάτων) και εφόσον έγινε να αρχικοποιήσουμε τον αλγόριθμο εκπαίδευσης για το συγκεκριμένο ζευγάρι εισόδων και εξόδων εκμάθυνσης με την ανανεωμένη δομή του ασαφούς νευρωνικού δικτύου. Δηλαδή να βρούμε τις νέες τιμές εισόδου και εξόδου των κόμβων του στρώματος 4 και την νέα έξοδο του δικτύου και έπειτα να επαναλάβουμε τον αλγόριθμο δομής όσο και παραμέτρων που παρουσιάστηκε παραπάνω μέχρι το παρόν σημείο για το συγκεκριμένο ζευγάρι δεδομένων εκπαίδευσης εισόδου και εξόδου.

Στα μετέπειτα στρώματα η εκπαίδευση γίνεται ακριβώς όπως και κατά τον of-line αλγόριθμο (κατά την διαδικασία supervised learning) και δεν αναφέρεται εδώ αφού αναλύθηκε προηγουμένως.  Αφού τα συμπεράσματα των κανόνων έχουν βρεθεί και το ασαφές νευρωνικό δίκτυο έχει χτιστεί ένας έλεγχος των συνδυασμός των κανόνων γίνεται με πιθανή μείωση τους(rule combination).  Μετά το τέλος της εκπαίδευσης δομής και παραμέτρων σε πραγματικό χρόνο και εφόσον τα δεδομένα εκπαίδευσης είναι διαθέσιμα(έχουν αποθηκευτεί κατά την εκπαίδευση και όπως εισέρχονται στο σύστημα) τότε μερικές φορές και για την καλύτερη προσέγγιση του προβλήματος γίνεται μια διαδικασία supervised learning(αναλύθηκε αναλυτικά στο προηγούμενο κεφαλαίο) και το σφάλμα εξόδου παρατηρούμε πως πέφτει για λίγο ακόμα.

Change fuzzy if-then Rules Διάγραμμα ροής αλγόριθμου εκπαίδευσης ασαφούς νευρωνικού δικτύου on-line Initialization Input Traing Data Structure learning No Yes Add Node? No Yes Add new nodes Change fuzzy if-then Rules Parameter adjustment No Done? Yes Rules combination

ΠΑΡΑΔΕΙΓΜΑΤΑ ΠΡΟΣΟΜΟΙΩΣΗΣ ΜΕ ΤΗΝ ΧΡΗΣΗ ΑΣΑΦΟΥΣ ΝΕΥΡΩΝΙΚΟΥ ΔΙΚΤΥΟΥ ΕΚΠΑΙΔΕΥΜΕΝΟ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ  Το ασαφές νευρωνικό δίκτυο εκπαιδεύεται σε πραγματικό χρόνο για να προσομοιώσει τον έλεγχο ενός ασαφή οχήματος το οποίο επινοήθηκε από το Sugeno και το οποίο μελετήθηκε προηγουμένως..  Στο παράδειγμα που ακολουθεί θεωρούμε ότι χωρίσαμε τον χώρο των μεταβλητών εισόδου σε 6 διαιρέσεις το καθένα ενώ συνάμα θέτουμε ως αρχική τιμή του αριθμού διαίρεσης του χώρου της εξόδου ως 3.  Αργότερα θα δούμε πως το σύστημα μεταβάλλεται δυναμικά και αλλάζει τον αριθμό των κόμβων στο στρώμα 4.Επισης,αρχικα,θεωρουμε τις συναρτήσεις συμμετοχής εισόδου και εξόδου όμοιες και τέτοιες ώστε να καλύπτουν τον χώρο των αντιστοιχών μεταβλητών αποτελεσματικά και χωρίς κενά.Οι αρχικές συναρτήσεις συμμετοχής φαίνονται στα παρακάτω σχήματα.

συναρτήσεις συμμετοχής εισόδου χ0 αρχικά πριν την εκπαίδευση συναρτήσεις συμμετοχής εισόδου χ1 αρχικά πριν την εκπαίδευση συναρτήσεις συμμετοχής εισόδου χ2 αρχικά πριν την εκπαίδευση συναρτήσεις συμμετοχής εξόδου y αρχικά πριν την εκπαίδευση

 Επίσης αρχικά οι συνδέσεις μεταξύ των κόμβων κανόνων στο στρώμα 3 και των κόμβων συμπερασμάτων στο στρώμα 4 γίνονται τυχαία  Κατά την διαδικασία αυτήν χρησιμοποιούμε ως μέτρο εκπαίδευσης (learning rate) n=0.15 ενώ ο αριθμός των εποχών για το κάθε ζευγάρι τιμών εκπαίδευσης θεωρείται 3.Επίσης το όριο της δύναμης ενεργοποίησης β είναι 0.1 ενώ η συνάρτηση a(k) ,η οποία αποτελεί μια γνησίως αύξουσα συνάρτηση γεγονός που είναι λογικό αφού στα πρώτα στάδια της εκπαίδευσης παρατηρούνται χαμηλοί βαθμοί ομοιότητας και το σύστημα αντιδράει προσθέτοντας νέους κόμβους στο στρώμα 4 φαίνεται παρακάτω. αριθμός κόμβων στο στρώμα 4 κατά την εισροή δεδομένων εκπαίδευσης στο δίκτυο γραφική παράσταση συνάρτησης a(k)

Μετά το τέλος της εκπαίδευσης του ασαφούς νευρωνικού δικτύου παρατηρούμε πως έχουν προστεθεί άλλοι 9 κόμβοι στο στρώμα 4 δηλαδή ο αριθμός τους είναι 12 συναρτήσεις συμμετοχής εισόδου x0 μετά την εκπαίδευση on-line συναρτήσεις συμμετοχής εισόδου x1 μετά την εκπαίδευση on-line συναρτήσεις συμμετοχής εισόδου x2 μετά την εκπαίδευση on-line συναρτήσεις συμμετοχής εξόδου y μετά την εκπαίδευση on-line

Επίσης παρατηρούμε πως οι κανόνες παρουσιάζουν την ίδια λογική και κατανόηση με βάση την ανθρώπινη εμπειρία όπως και κατά την προηγούμενη μέθοδο. αποτέλεσμα προσομοίωσης ασαφούς νευρωνικού δικτύου εκπαιδευμένο on-line

 Μετά το τέλος της εκπαίδευσης του ασαφούς νευρωνικού δικτύου σε πραγματικό χρόνο,όπως έχουμε αναφέρει,για να μειωθεί λίγο ακόμα η συνάρτηση σφάλματος και να προσεγγιστεί καλύτερα το πρόβλημα,και εφόσον τα δεδομένα εκπαίδευσης είναι διαθέσιμα μπορεί να γίνει ακόμα μια επιπλέον προσαρμογή των παραμέτρων των συναρτήσεων συμμετοχής της κάθε εισόδου αλλά και της εξόδου χρησιμοποιώντας τον αλγόριθμο supervised learning .Εδώ χρησιμοποιήσαμε τον αλγόριθμο αυτόν με βαθμό εκπαίδευσης (parameter learning) n=0.01 και παρατηρούμε πως το μέσο τετραγωνικό σφάλμα πέφτει λίγο ακόμα. μέσο τετραγωνικό σφάλμα ανά εποχή κατά τον αλγόριθμο supervised learning μετά τον αλγόριθμο on-line

αποτέλεσμα προσομοίωσης όταν χρησιμοποιείται στο τέλος supervised learning