ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Κεφάλαιο 8 Νευρωνικά Δίκτυα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Κεφάλαιο 8 Νευρωνικά Δίκτυα Επιμέλεια: Πέτρος Π. Γρουμπός, Καθηγητής Αντιγόνη Π. Αννίνου, Υπ. Διδακτωρ Βάια Κ. Γκουντρουμάνη, Υπ. Διδάκτωρ Τμήμα Ηλεκτρολόγων Μηχανικών & Τεχνολογίας Υπολογιστών

Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. Ευφυής Έλεγχος

Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου των διδασκόντων καθηγητών. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Πατρών» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. Ευφυής Έλεγχος

Σκοπός Μελέτη Ιστορική αναδρομή Τι είναι τα Νευρωνικά Δίκτυα Ανατομία του Νευρικού Κυττάρου Το Βασικό Τεχνητό Νευρώνιο Τεχνητά Νευρωνικά Δίκτυα ΤΝΔ – Βασικά Χαρακτηριστικά Αρχιτεκτονικές ΤΝΔ Εκπαίδευση ΤΝΔ Μέθοδοι Εκπαιδεύσεως ΤΝΔ Αντιληπτήρας Πολλαπλών Επιπέδων – Δομή - Ονοματολογία Ευφυής Έλεγχος

Ιστορική αναδρομή (1/2) Πρόκειται για σύγχρονες μαθηματικές μεθόδους, οι οποίες απορρέουν από τις έρευνες της τελευταίας δεκαετίας με αντικείμενο την λεγόμενη «Τεχνητή Νοημοσύνη». Η βιβλιογραφία που αναφέρεται στις εφαρμογές των μεθόδων αυτών αρχίζει να εμφανίζεται συστηματικά περί τα μέσα της δεκαετίας του 1980 και εξαπλώνεται στις αρχές του 1990. Σήμερα γνωρίζει σημαντική αποδοχή και χρήση σε διάφορους τομείς, μεταξύ των οποίων η ρύπανση του περιβάλλοντος, η μετεωρολογία και η κλιματολογία,αλλά και σε θέματα εξοικονόμησης ενέργειας & ενεργειακής διαχείρισης. Ευφυής Έλεγχος

Ιστορική αναδρομή (2/2) Η πρώτη δημοσίευση επί του θέματος είδε το φώς το 1943 και σήμανε την πρώτη περίοδο έντονης έρευνας στο αντικείμενο. Η δεύτερη σημαντική περίοδος έρευνας ήταν στις αρχές του 1960 με την δημοσίευση του θεωρήματος του Rosenblatt περί της συγκλίσεως του «αισθητηρίου» (perceptron). Ακολούθησε η εργασία των Minsky & Papert, η οποία έδειξε τους περιορισμούς του απλού αισθητηρίου. Η τελευταία αυτή εργασία είχε ως αποτέλεσμα να χαθεί σταδιακώς το ερευνητικό ενδιαφέρον για το αντικείμενο για μιά περίπου εικοσαετία. Τα νευρωνικά δίκτυα επανήλθαν στο προσκήνιο το 1982, μέσω της προσέγγισης του Hopfield και του αλγορίθμου οπισθοδιαδόσεως για την εκπαίδευση πολυεπιπέδων αισθητηρίων. Ευφυής Έλεγχος

Νευρωνικά Δίκτυα – Τί είναι Πρόκειται για την προσέγγιση της περιγραφής της λειτουργίας του νευρικού συστήματος μέσω μαθηματικών συναρτήσεων. Ιδιαιτερότητες: Παράλληλη κατανεμημένη επεξεργασία Λειτουργούν ακόμη με θορυβώδη, ασαφή και εν μέρει εσφαλμένα δεδομένα Εκπαιδεύονται Συσχετίζουν Ευφυής Έλεγχος

Ανατομία του Νευρικού Κυττάρου Δενδρίτες Σώμα Άξονας Ευφυής Έλεγχος

Αναλογία με το Βιολογικό Νευρώνιο Source: S.V. Kartalopoulos, “Understanding Neural Networks & Fuzzy Logic” Ευφυής Έλεγχος

Το Βασικό Τεχνητό Νευρώνιο (1/3) Δεδομένα Συντελεστής Αποκλίσεως wj1 wjn xi1 Ri Οi Σ Θi fi Αποτελέσματα Συνάρτηση Ενεργοποιήσεως (Activation Function) xin n Συνάρτηση Μεταφοράς Oi = fi ( Σ wij xij) j=1 n Συνθήκη Ενεργοποίησης Σ wij xij > Θi j=1 Ευφυής Έλεγχος

Το Βασικό Τεχνητό Νευρώνιο (2/3) Χαρακτηρίζεται από: Τα δεδομένα εισόδου xi1…xin Τις συναρτήσεις βάρους wi1…win ή συναπτικές ισχείς Τον συντελεστή αποκλίσεως Την τιμή κατωφλίου του νευρωνίου (η τιμή η οποία πρέπει να επιτευχθεί ή να ξεπεραστεί ώστε το νευρώνιο να ενεργοποιηθεί) Το σήμα εξόδου (ή ενεργοποίηση) Ri Την μή γραμμική συνάρτηση fi η οποία δρά στό σήμα εξόδου Το αποτέλεσμα Oi, της μή γραμμικής συναρτήσεως, που είναι και το σήμα εξόδου του νευρωνίου. Ευφυής Έλεγχος

Το Βασικό Τεχνητό Νευρώνιο (3/3) Σκοπός της μή γραμμικής συνάρτησης είναι να εξασφαλίζει ότι το νευρώνιο αποκρίνεται εντός συγκεκριμένου πεδίου τιμών. Αυτό γίνεται και στα βιολογικά νευρώνια: το ανθρώπινο αυτί για να αισθανθεί ένα ήχο ως διπλάσιας έντασης, πρέπει το πλάτος του ήχου να αυξηθεί περίπου δέκα φορές. Ευφυής Έλεγχος

Παράδειγμα Λειτουργίας 5 1 2 1 4 W1=1 W2=2 X1 X2 Θ=4 + 1 fHL Oi Ευφυής Έλεγχος

Παραδείγματα Συναρτήσεων Ενεργοποιήσεως Ευφυής Έλεγχος

Παράδειγμα: Συνάρτηση OR Βηματική συνάρτηση ενεργοποίησης x y S Φ(S) - 0.5 1 0.5 1.5 Ευφυής Έλεγχος

Παράδειγμα: Συνάρτηση AND Βηματική συνάρτηση ενεργοποίησης x y S Φ(S) - 1.5 1 -0.5 0.5 Ευφυής Έλεγχος

Παράδειγμα: Συνάρτηση NOT Βηματική συνάρτηση ενεργοποίησης x S Φ(S) 0.5 1 -0.5 Ευφυής Έλεγχος

Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ) – Βασικά Χαρακτηριστικά (1/3) Περιγράφονται οι βασικές έννοιες και αρχές στις οποίες βασίζεται η μαθηματική περιγραφή των νευρωνικών δικτύων. Αυτές οι αρχές απορρέουν από την βιολογική λειτουργία των νευρικών κυττάρων και των δικτύων τους, των οποίων την συμπεριφορά προσπαθούμε να προσεγγίσουμε μαθηματικά. Αρχιτεκτονική Καθορίζει τον αριθμό των νευρωνίων Καθορίζει την διάταξη και την αλληλοσύνδεση των νευρωνίων Ευφυής Έλεγχος

ΤΝΔ – Βασικά Χαρακτηριστικά (2/3) Το βασικό χαρακτηριστικό των ΝΔ είναι ότι δεν επεξεργάζονται την πληροφορία με «σειριακό» ή διαδοχικό τρόπο, αλλά διασπούν την εισερχόμενη σ’ αυτά πληροφορία στα βασικά συστατικά της , όπως επί παραδείγματι ένα πρίσμα αναλύει μιά δέσμη φωτός στα μήκη κύματος που το αποτελούν και αντιστοίχως το ανασυνθέτουν. Χαρακτηριστικά νευρωνίων: Σήματα εισόδου Συναπτική ισχύς Ενεργοποίηση Συντελεστές βάρους Σήματα εξόδου g( ) 1 w 2 3 N Σ h O Πόλωση Εξοδος x Ευφυής Έλεγχος

ΤΝΔ – Βασικά Χαρακτηριστικά (3/3) Νευροδυναμικά Χαρακτηριστικά Καθορίζουν πώς το ΤΝΔ: Εκπαιδεύεται Ανακαλεί από την μνήμη του Συσχετίζει Συγκρίνει την νέα πληροφορία με την ήδη υπάρχουσα γνώση Ταξινομεί την νέα πληροφορία Δημιουργεί νέες κατηγορίες όταν πρέπει Ευφυής Έλεγχος

Αρχιτεκτονικές ΤΝΔ (1/3) Οι αρχιτεκτονικές των ΤΝΔ χωρίζονται σε δύο κατηγορίες: τα δίκτυα προσθίου τροφοδοσίας και τα αναδράσεως. Κάθε κατηγορία περιλαμβάνει υποκατηγορίες. Γενικά τα δίκτυα προσθίου τροφοδοσίας είναι στατικά, με την έννοια ότι δίνουν μόνο ένα σύνολο τιμών εξόδου για κάθε σύνολο δεδομένων εισόδου. Επίσης δεν διαθέτουν «μνήμη» με την έννοια ότι η απόκρισή τους σε κάθε νέα είσοδο είναι ανεξάρτητη από την προηγούμενη κατάσταση του δικτύου. Ευφυής Έλεγχος

Αρχιτεκτονικές ΤΝΔ (2/3) Τα δίκτυα αναδράσεως είναι δυναμικά. Οταν δίνεται ένα νέο σύνολο εισόδου, υπολογίζεται το σύνολο των τιμών εξόδου. Επειδή όμως υπάρχουν βρόχοι αναδράσεως, οι παράμετροι εισόδου κάθε νευρωνίου μεταβάλλονται και το δίκτυο μεταπίπτει σε μιά νέα κατάσταση. Οι εφαρμογές των ΤΝΔ στις περιβαλλοντικές επιστήμες αναφέρονται κυρίως στο Αισθητήριο Πολλαπλών Επιπέδων, και σ’ αυτό θα επικεντρωθούμε στην συνέχεια. Ευφυής Έλεγχος

Αρχιτεκτονικές ΤΝΔ (3/3) Δίκτυα Ευθείας Τροφοδότησης (Feed-Forward) Δίκτυα Αναδράσεως (Recurrent / feedback) Αντιληπτήρας Μονού Επιπέδου Ανταγωνιστικά Δίκτυα Αντιληπτήρας Πολλαπλών Επιπέδων Αυτοοργανούμενες Απεικονίσεις Kohonen Δίκτυα Ακτινικών Συναρτήσεων Δίκτυα Hopfield Μοντέλα Adaptive Resonance Theory Ευφυής Έλεγχος

Εκπαίδευση ΤΝΔ Πρόκειται για την διαδικασία διά μέσου της οποίας το ΤΝΔ αποκρίνεται σε μία διέγερση ώστε – αφού τροποποιήσει καταλλήλως τις μεταβλητές που το χαρακτηρίζουν – να παράξει το επιθυμητό αποτέλεσμα. Η εκπαίδευση αποτελεί επίσης μιά διαδικασία συνεχούς ταξινομήσεως των σημάτων εισόδου. Οταν ένα σήμα εμφανίζεται στην είσοδο, τότε το ΝΔ είτε το αναγνωρίζει, είτε δημιουργεί μιά νέα κατηγορία στην οποία και το κατατάσει. Κατά την ολοκλήρωση της εκπαιδεύσεως, το ΝΔ έχει ενσωματώσει «γνώση». Ευφυής Έλεγχος

Μέθοδοι Εκπαιδεύσεως ΤΝΔ (1/4) Αυτόνομη Μή Αυτόνομη Επιβεβλημένη Ανταγωνιστική Κανόνας Δέλτα (Widrow – Hoff) Κανόνας Καθόδου Βαθμίδος Hebbian Σφάλμα Ευφυής Έλεγχος

Μέθοδοι Εκπαιδεύσεως ΤΝΔ (2/4) Η μέθοδος εκπαιδεύσεως εξαρτάται από την αρχιτεκτονική του ΝΔ Κατά την μή αυτόνομη εκπαίδευση η απόκριση του ΝΔ σε ένα σύνολο εισόδου συγκρίνεται με την επιθυμητή απόκριση. Αν αυτές διαφέρουν τότε το ΝΔ υπολογίζει ένα σφάλμα. Το σφάλμα χρησιμοποιείται ώστε να γίνουν οι απαραίτητες τροποποιήσεις των συντελεστών βάρους, ώστε η απόκριση να πλησιάσει την επιθυμητή και το σφάλμα να προσεγγίσει ή δυνατόν το μηδέν. Οι χρησιμοποιούμενες μέθοδοι για την ελαχιστοποίηση του σφάλματος είναι οι ίδιες που εφαρμόζονται σε διάφορες τεχνικές ελαχιστοποιήσεως. Κατά την αυτόνομη εκπαίδευση, δεν υπάρχει επιθυμητή έξοδος. Το ΝΔ εκπαιδεύεται δίνοντάς του όσο περισσότερα δεδομένα εισόδου γίνεται και αυτό τα χωρίζει σε κατηγορίες. Μετά το τέλος της εκπαιδεύσεως, δίνοντας ένα σήμα εισόδου, το ΝΔ το κατατάσει σε κάποια από τις υφιστάμενες κατηγορίες. Αν δεν μπορεί να το αντιστοιχίσει σε καμία από αυτές, δημιουργεί μία νέα κατηγορία. Στην περίπτωση αυτή αν και δεν υπάρχει επιθυμητό αποτέλεσμα, εν τούτοις πρέπει να δοθούν κανόνες και να ορισθούν τα χαρακτηριστικά εκείνα βάσει των οποίων θα γίνει η ταξινόμηση. Ευφυής Έλεγχος

Μέθοδοι Εκπαιδεύσεως ΤΝΔ (3/4) Η επιβεβλημένη εκπαίδευση είναι αυστηρότερη από την εποπτευόμενη, υπό την έννοια ότι δεν πρέπει το σήμα εξόδου να προσεγγίζει την επιθυμητή έξοδο έως ένα βαθμό, αλλά πρέπει να ταυτίζεται με αυτήν. Ετσι ο αλγόριθμος εκπαιδεύσεως δεν συγκρίνει το αποτέλεσμα με το επιθυμητό, αλλά παράγει ένα δυαδικό σήμα «Επιτυχές / Ανεπιτυχές». Αν το σήμα είναι ανεπιτυχές, τότε οι συντελεστές βάρους αλλάζουν και η διαδικασία επαναλαμβάνεται. Κατά την αλλαγή των συντελεστών βάρους, το ΝΔ δεν έχει καμία ένδειξη για το άν αυτή γίνεται προς την επιθυμητή κατεύθυνση, ή πόσο κοντά στο επιθυμητό αποτέλεσμα βρίσκεται. Για τον λόγο αυτό καθορίζονται κάποια όρια εντός των οποίων μπορούν να μεταβάλλονται οι συντελεστές βάρους. Η ανταγωνιστική εκπαίδευση διαφέρει από την εποπτευόμενη στο ότι το δίκτυο δεν έχει ένα νευρώνιο εξόδου αλλά περισσότερα. Οταν εφαρμόζεται ένα σήμα εισόδου, κάθε νευρώνιο εξόδου ανταγωνίζεται τα άλλα ώστε να προσεγγίσει περισσότερο την επιθυμητή έξοδο. Το νευρώνιο που θα πλησιάσει περισσότερο γίνεται το επικρατέστερο και τα άλλα νευρώνια παύουν να δίνουν αποτέλεσμα για το συγκεκριμένο σήμα εξόδου. Γιά νέο σήμα εισόδου, άλλο νευρώνιο εξόδου επικρατεί και ούτω καθ’ εξής. Ευφυής Έλεγχος

Μέθοδοι Εκπαιδεύσεως ΤΝΔ (4/4) Ο κανόνας Δέλτα βασίζεται στην ιδέα των συνεχών τροποποιήσεων των συναπτικών συντελεστών βάρους, ούτως ώστε το σφάλμα μεταξύ σήματος εξόδου και επιθυμητού αποτελέσματος να μειώνεται διαρκώς. Κατά την κάθοδο βαθμίδας, οι συντελεστές βάρους διορθώνονται αναλογικώς ως πρός την πρώτη παράγωγο (βαθμίδα) του σφάλματος μεταξύ του επιθυμητού αποτελέσματος και της τρέχουσας τιμής εξόδου. Στόχος είναι να ελαττωθεί η συνάρτηση σφάλματος, αποφεύγοντας τα τοπικά ελάχιστα και να καταλήξη στο ολικό ελάχιστο. Ο τελευταίος κανόνας διατυπώθηκε το 1949 από τον Hebb. Βάσει αυτού, όταν ο άξονας ενός κυττάρου Α προσεγγίζει να ενεργοποιήσει ένα κύτταρο Β και το επιτυγχάνει είτε διαρκώς είτε με κάποια συχνότητα, τότε είτε το ένα είτε και τα δύο κύτταρα αυτά τροποποιούνται ώστε να αυξάνεται η αποτελεσματικότητα ενεργοποιήσεως του Β από το Α. Στην περίπτωση αυτή δηλαδή οι συναπτικοί συντελεστές βάρους τροποποιούνται αναλόγως της συναπτικής δραστηριότητας μεταξύ εισόδου και εξόδου. Ευφυής Έλεγχος

Αντιληπτήρας Πολλαπλών Επιπέδων – Δομή – Ονοματολογία (1/2) Απλούστερη Μορφή x i w jk V j W ij O Αποτελείται από επίπεδα (ή μονάδες) και τις μεταξύ τους συνδέσεις Κατηγορίες Μονάδων: Εισόδου Κρυφές Εξόδου Ευφυής Έλεγχος

Αντιληπτήρας Πολλαπλών Επιπέδων – Δομή – Ονοματολογία (2/2) Κάθε μονάδα δέχεται ένα σήμα εισόδου το οποίο είναι συνάρτηση των σημάτων εξόδου των προηγουμένων μονάδων και των μεταξύ τους συντελεστών βάρους. Η επεξεργασία της πληροφορίας στο εσωτερικό μιάς μονάδας γίνεται από την συνάρτηση ενεργοποιήσεως. Η συνάρτηση ενεργοποιήσεως υπολογίζει πρώτα το σήμα εισόδου της μονάδος συναρτήσει των βεβαρυμένων σημάτων εξόδου των προηγουμένων μονάδων. Στην συνέχεια υπολογίζει την νέα ενεργοποίηση από το σήμα εισόδου. Η συνάρτηση εξόδου δέχεται την ενεργοποίηση αυτή και δίνει το σήμα εξόδου της μονάδος. Ευφυής Έλεγχος

Εφαρμογές στις Επιστήμες της Ατμοσφαίρας Αφορούν κυρίως: Πρόγνωση Προσέγγιση Συναρτήσεων Ταξινόμηση βάσει Ιδιότητος Ευφυής Έλεγχος

Εφαρμογές στην Πρόγνωση (1/4) Πρόγνωση Ατμοσφαιρικής Ρύπανσης Η ατμοσφαιρική ρύπανση είναι αποτέλεσμα συνθέτων μετεωρολογικών και χημικών μηχανισμών. Ως εκ τούτου είναι ιδιαιτέρως δύσκολη η περιγραφή του κύκλου των ατμοσφαιρικών ρύπων μέσω αναλυτικών μοντέλων. Έτσι η πρόγνωση γίνεται βάσει εμπειρικών μοντέλων. Οι ιδιότητες των ΤΝΔ τα καθιστούν ενδιαφέρουσα επιλογή για την αντιμετώπιση του προβλήματος. Ο3 SΟ2 σε ρυπασμένες βιομηχανικές περιοχές CO σε οδούς αυξημένης κυκλοφορίας ΝΟx και ΝΟ2 H2S & NH3 από σημειακές πηγές Διασπορά ατμοσφαιρικών ρύπων Ευφυής Έλεγχος

Εφαρμογές στην Πρόγνωση (2/4) Ευφυής Έλεγχος

Εφαρμογές στην Πρόγνωση (3/4) Πρόγνωση Ακραίων Καιρικών Φαινομένων Υπαρξη τυφώνων Υπαρξη ή απουσία σημαντικών καταιγίδων Βροχοπτώσεις οφειλόμενες στους ινδικούς μουσσώνες Ανωμαλίες των βροχοπτώσεων (Βραζιλία) Εκτίμηση της ηλιακής ακτινοβολίας Ευφυής Έλεγχος

Εφαρμογές στην Πρόγνωση (4/4) Η δυναμική των ακραίων καιρικών φαινομένων δεν μπορεί εύκολα να περιγραφεί μέσω των αριθμητικών μοντέλων καιρικής προγνώσεως, δεδομένου ότι εκδηλώνονται σε μικρή χωρική κλίμακα και λόγω του ότι δεν είναι πλήρως γνωστοί οι φυσικοί μηχανισμοί στους οποίους αυτά οφείλονται. Υπαρξη τυφώνων: Το ΤΝΔ απέδωσε καλύτερα από ότι άλλες τεχνικές, όπως discriminant analysis, logistic regression and a rule based algorithm. Καταιγίδες: Τα αποτελέσματα του ΤΝΔ αναγνωρίζουν σχηματισμούς τους οποίους εξασκημένοι προγνώστες αναγνωρίζουν ως πρόδρομα φαινόμενα καταιγίδων. Ευφυής Έλεγχος

Προσέγγιση Συναρτήσεων (1/2) Δημιουργία μοντέλου συσχέτισης μεταξύ ωριαίων τιμών συγκεντρώσεως όζοντος και μετεωρολογικών παραμέτρων. Δημιουργία μοντέλου μή γραμμικών συναρτήσεων μεταφοράς. Συνάρτηση μεταφοράς για προσδιορισμό της ταχύτητας του ανέμου στην επιφάνεια του εδάφους, από δεδομένα δορυφόρου SSM/I. Ευφυής Έλεγχος

Προσέγγιση Συναρτήσεων (2/2) Στόχος της πρώτης εφαρμογής είναι να εκτιμηθεί η σημασία της επίδρασης διαφόρων μετεωρολογικών παραμέτρων στις ωριαίες τιμές της συγκεντρώσεως όζοντος. Δεδομένου ότι το πρόβλημα είναι μή γραμμικό, τα μοντέλα γραμμικής παλινδρόμησης υποεκτιμούν την επίδραση της μετεωρολογίας. Η δεύτερη δυνατότητα βρίσκει μεγάλη εφαρμογή στον προσδιορισμό γεωφυσικών παραμέτρων από δεδομένα τηλεπισκόπισης. Για την εφαρμογή 1 οι νευρωνικοί αλγόριθμοι έδωσαν καλύτερα αποτελέσματα από τους συμβατικούς, σε περίπτωση νεφοσκεπούς ουρανού. Ευφυής Έλεγχος

Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών, Πέτρος Γρουμπός. «Ευφυής έλεγχος, Νευρωνικά δίκτυα». Έκδοση: 1.0. Πάτρα 2014. Διαθέσιμο από τη δικτυακή διεύθυνση: https://eclass.upatras.gr/modules/course_metadata/opencourses.php?fc=15 Ευφυής Έλεγχος