ΕΙΣΑΓΩΓΗ ΣΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΣΧΟΛΗ ΝΑΥΤΙΚΩΝ ΔΟΚΙΜΩΝ Εργαστήριο Ηλεκτροτεχνίας Β’ Έτος Πλωτάρχης (Μ) Δ. ΚΟΥΠΑΤΣΙΑΡΗΣ Π.Ν. ΜΑΪΟΣ 2006

ΕΙΣΑΓΩΓΗ Παράδειγμα Χρήσεις Τεχνικών Νευρωνικών Δικτύων

Παράδειγμα

Χρήσεις Τεχνιτών Νευρωνικών Δικτύων Προτυποποίηση και Έλεγχος Διαδικασιών. Διάγνωση μηχανημάτων. Διαχείριση Χαρτοφυλακίου. Αναγνώριση Στόχου. Ιατρική Διάγνωση. Βαθμολόγηση Πιστωτικής Αξίας. Επικέντρωση Μάρκετινγκ. Αναγνώριση Φωνής. Οικονομική Πρόγνωση. Ποιοτικός Έλεγχος. Έξυπνη Αναζήτηση. Ανίχνευση Πλαστογραφίας. Προτυποποίηση και Έλεγχος Διαδικασιών. Δημιουργία ενός ΤΝΔ για περιγραφή μίας διαδικασίας ή εγκατάστασης και χρήσης του προκειμένου να καθοριστεί ο βέλτιστος έλεγχός της. Διάγνωση μηχανημάτων. Αναγνώριση του σημείου αστοχίας μιας μηχανής, έτσι ώστε το σύστημα να την κρατήσει έγκαιρα προκειμένου να αποφευχθεί καταστροφική βλάβη. Διαχείριση Χαρτοφυλακίου. Κατανομή των πόρων ενός χαρτοφυλακίου με τρόπο που να μεγιστοποιείται το όφελος και να ελαχιστοποιείται το ρίσκο. Αναγνώριση Στόχου. Στρατιωτική εφαρμογή η οποία χρησιμοποιεί εικόνα video ή/ και δεδομένα από αισθητήρες υπερύθρων για αναγνώριση της παρουσίας και του είδους εχθρικού στόχου. Ιατρική Διάγνωση. Υποβοήθηση του ιατρικού έργου με ανάλυση δεδομένων από ακτινογραφίες, αξονικές και μαγνητικές τομογραφίες. Βαθμολόγηση Πιστωτικής Αξίας. Αυτόματη βαθμονόμηση της πιστωτικής αξίας μιας εταιρείας ή ενός προσώπου με βάση τα οικονομικά στοιχεία του. Επικέντρωση Μάρκετινγκ. Υπολογισμός της ομάδας ενός πληθυσμού (target group) που θα ανταποκριθεί καλύτερα σε ένα προϊόν. Αναγνώριση Φωνής. Μετασχηματισμός ομιλίας σε κείμενο ASCII. Οικονομική Πρόγνωση. Χρήση των ιστορικών στοιχείων μίας μετοχής για πρόβλεψη της μελλοντικής πορείας της μετοχής. Ποιοτικός Έλεγχος. Αξιοποίηση των στοιχείων από ένα αισθητήρα σε μια γραμμή παραγωγής προκειμένου να ανιχνευτούν ελαττωματικά εξαρτήματα. Έξυπνη Αναζήτηση. Χρησιμοποιείται από τις διάφορες μηχανές αναζήτησης στο Internet για προσφέρει στο χρήστη τα αποτελέσματα που επιθυμεί με βάση το ιστορικό των ενδιαφερόντων του. Ανίχνευση Πλαστογραφίας. Ανίχνευση συναλλαγών που επιχειρούνται με κλεμμένα ή πλαστά έντυπα (πιστωτικές κάρτες ή επιταγές).

ΕΙΔΗ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Βιολογικά Πρότυπα Παράσταση Τεχνιτών Νευρώνων Νευρώνας μονής εισόδου Συναρτήσεις μεταφοράς Νευρώνας πολλαπλών εισόδων Αρχιτεκτονικές Πολυστρωματικά δίκτυα (Multilayer networks) Δίκτυα με ανατροφοδότηση (Recurrent networks)

Βιολογικά Πρότυπα Για τις ανάγκες που καλύπτει αυτό το κείμενο, οι νευρώνες έχουν τρία βασικά εξαρτήματα : τους δενδρίτες, το νευρικό κύτταρο και τον άξονα. Οι δενδρίτες είναι δίκτυα νευρικών ιστών σε σχήμα δέντρου που μεταφέρουν ηλεκτρικά σήματα από και προς το νευρικό κύτταρο. Το νευρικό κύτταρο αθροίζει και επιλέγει με κάποιον λογικό κανόνα τα παραπάνω σήματα. Τέλος, ο άξονας είναι μια νευρική ίνα που μεταφέρει σήματα από το νευρικό κύτταρο σε άλλους νευρώνες. Το σημείο επαφής μεταξύ του άξονα ενός κυττάρου και του δενδρίτη ενός άλλου κυττάρου ονομάζεται σύναψη. Αυτό που καθορίζει τη λειτουργία ενός νευρωνικού δικτύου είναι η διάταξη των νευρώνων σε συνδυασμό με το σθένος των συνάψεων, η οποία καθορίζεται από μια πολύπλοκη χημική διαδικασία.

Νευρώνας μονής εισόδου Ο βαθμωτός αριθμός εισόδου x πολλαπλασιάζεται με το συναπτικό βάρος (weight) w για να σχηματίσει το γινόμενο wx, ένα από τα σήματα εισόδου στον αθροιστή Σ. Το άλλο σήμα εισόδου, 1, πολλαπλασιάζεται με τη σταθερά πόλωσης (bias) b, και εισάγεται επίσης στον αθροιστή. Η έξοδος n του αθροιστή, λεγόμενη και σταθμισμένο άθροισμα (net input), περνά από μια συνάρτηση μεταφοράς f, (transfer function ή activation function), η οποία παράγει το βαθμωτό σήμα εξόδου του νευρώνα y. Αν σχετίσουμε αυτό τον νευρώνα με τον βιολογικό νευρώνα που περιγράφηκε προηγουμένως, τότε το συναπτικό βάρος w αντιστοιχεί στο σθένος της σύναψης, το νευρικό κύτταρο αντιστοιχεί με τον αθροιστή και τη συνάρτηση μεταφοράς, και το σήμα εξόδου αντιστοιχεί με το σήμα που μεταφέρεται στον άξονα.

Συναρτήσεις μεταφοράς

Νευρώνας πολλαπλών εισόδων Για τον καθορισμό των δεικτών των στοιχείων του πίνακα των συναπτικών βαρών wi,j έχει ακολουθηθεί ο εξής κανόνας : Ο πρώτος δείκτης συμβολίζει τον αύξοντα αριθμό του νευρώνα στο δίκτυο. Ο δεύτερος δείκτης συμβολίζει τον αύξοντα αριθμό του σήματος εισόδου. Έτσι, το συναπτικό βάρος w1,2 σημαίνει ότι αυτό το βάρος συμβολίζει την σύνδεση του πρώτου νευρώνα με το δεύτερο σήμα εισόδου.

Πολυστρωματικά δίκτυα

Δίκτυα με ανατροφοδότηση

Δίκτυα με ανατροφοδότηση (2) Ένα δίκτυο με ανατροφοδότηση (recurrent network) είναι ένα δίκτυο με ανάδραση, όπου κάποιες από τις εξόδους του συνδέονται με τις εισόδους του. Στο συγκεκριμένο δίκτυο το διάνυσμα x τροφοδοτεί τις αρχικές συνθήκες (δηλ. y(0)= x). Έτσι οι μελλοντικές έξοδοι του δικτύου υπολογίζονται από τις προηγούμενες εξόδους.

ΚΑΝΟΝΑΣ ΕΚΜΑΘΗΣΗΣ PERCEPTRON Κανόνες Εκμάθησης Αρχιτεκτονική αντίστροφου προτύπου ή επιτηρούμενη εκμάθηση (supervised learning) Αρχιτεκτονική ειδικευμένης εκμάθησης με ανατροφοδοτούμενο σφάλμα (reinforcement learning) Αρχιτεκτονική έμμεσης εκμάθησης (unsupervised learning) Αρχιτεκτονική του Perceptron Κανόνας Εκμάθησης Perceptron

Αρχιτεκτονική αντίστροφου προτύπου ή επιτηρούμενη εκμάθηση Στην περίπτωση αυτή ο κανόνας εκμάθησης περιγράφεται με ένα σύνολο παραδειγμάτων (σύνολο εκπαίδευσης) σωστής συμπεριφοράς του δικτύου {p1,t1},{p2,t2},…,{pQ,tQ} όπου pq είναι μια είσοδος του δικτύου και tq είναι η αντίστοιχη επιθυμητή έξοδος. Καθώς οι είσοδοι εφαρμόζονται στο δίκτυο, οι έξοδοι συγκρίνονται με τις επιθυμητές εξόδους. Ο κανόνας εκμάθησης εφαρμόζεται για να διορθώσει τα συναπτικά βάρη και τις σταθερές πόλωσης του δικτύου με σκοπό την μετακίνηση των εξόδων κοντά στις επιθυμητές εξόδους. Ο κανόνας εκμάθησης perceptron εντάσσεται σ’ αυτήν την κατηγορία εκμάθησης.

Αρχιτεκτονική ειδικευμένης εκμάθησης με ανατροφοδοτούμενο σφάλμα Αυτός ο κανόνας εκμάθησης είναι παρόμοιος με τον προηγούμενο, με τη διαφορά ότι αντί να παρέχεται στο δίκτυο η σωστή έξοδος, ο αλγόριθμος βαθμολογεί το δίκτυο. Ο βαθμός παρέχει ένα μέτρο της απόδοσης του δικτύου επί μιας ακολουθίας εισόδων. Ο παραπάνω κανόνας είναι πιο κατάλληλος σε εφαρμογές συστημάτων αυτομάτου ελέγχου.

Αρχιτεκτονική έμμεσης εκμάθησης Σ’ αυτή την περίπτωση τα συναπτικά βάρη και οι σταθερές πόλωσης μεταβάλλονται μόνο σαν αποτέλεσμα των εισόδων του δικτύου, χωρίς να είναι διαθέσιμες επιθυμητές έξοδοι. Αυτό που στην πραγματικότητα συμβαίνει είναι ότι το δίκτυο πραγματοποιεί κάποιου είδους ομαδοποίηση, «μαθαίνοντας» να κατηγοριοποιεί τα διάφορα είδη εισόδων σε ένα πεπερασμένο αριθμό συνόλων.

Αρχιτεκτονική του Perceptron α=1 α=0 1 Σχήμα ‑ Όριο Απόφασης Perceptron

ΚΑΝΟΝΑΣ ΕΚΜΑΘΗΣΗΣ ΤΟΥ ΗΕΒΒ Γραμμικός Συσχετιστής (Linear Associator) Ο Κανόνας του Hebb Ανάλυση του κανόνα εκμάθησης

Κανόνας Εκμάθησης του Ηebb Όταν ένας άξονας του κυττάρου Α είναι αρκετά κοντά ώστε να ερεθίσει ένα κύτταρο Β και το πυροδοτεί κατ’ επανάληψη, ξεκινά κάποια διαδικασία ανάπτυξης ή μεταβολισμού σε ένα ή και στα δύο κύτταρα, που έχει σαν αποτέλεσμα να αυξάνεται η αποδοτικότητα του Α στο να πυροδοτεί το Β.

Ο Κανόνας του Ηebb Όταν ένας άξονας του κυττάρου Α είναι αρκετά κοντά ώστε να ερεθίσει ένα κύτταρο Β και το πυροδοτεί κατ’ επανάληψη, ξεκινά κάποια διαδικασία ανάπτυξης ή μεταβολισμού σε ένα ή και στα δύο κύτταρα, που έχει σαν αποτέλεσμα να αυξάνεται η αποδοτικότητα του Α στο να πυροδοτεί το Β. Αν εκφράσουμε το αξίωμα του Hebb με διαφορετικό τρόπο, έχει ως εξής: Αν δύο νευρώνες ενεργοποιηθούν ταυτόχρονα και από δύο πλευρές μιας σύναψης, το σθένος της σύναψης θα αυξηθεί. όπου pi,q είναι το στοιχείο j του q κατά σειρά πρωτότυπου διανύσματος εισόδου pq, αi,q είναι το στοιχείο i του διανύσματος εξόδου όταν εφαρμόζεται το q πρωτότυπο διάνυσμα εισόδου και α είναι μια θετική σταθερά, ονομαζόμενη ρυθμός εκμάθησης του δικτύου.

Ο Κανόνας του Ηebb (2)

ΤΕΛΟΣ Ερωτήσεις ;