Εξόρυξη Δεδομένων και Τεχνητά Νευρωνικά Δίκτυα Εξόρυξη Δεδομένων και Τεχνητά Νευρωνικά Δίκτυα Εργαστήριο Νευρωνικών Δικτύων Τμήματος Εφαρμοσμένης Πληροφορικής Πανεπιστημίου Μακεδονίας ΣΕΠΤΕΜΒΡΙΟΣ 2005

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τα τεχνητά νευρωνικά δίκτυα βρίσκουν ευρεία εφαρμογή σε πάρα πολλές εφαρμογές εξόρυξης δεδομένων οι πιο σημαντικές από τις οποίες περιλαμβάνουν ΠΡΟΒΛΕΨΗ ΠΩΛΗΣΕΩΝ ΕΛΕΓΧΟ ΒΙΟΜΗΧΑΝΙΚΩΝ ΔΙΑΔΙΚΑΣΙΩΝ ΕΡΕΥΝΑ ΠΕΛΑΤΩΝ ΕΠΙΚΥΡΩΣΗ ΔΕΔΟΜΕΝΩΝ ΔΙΑΧΕΙΡΙΣΗ ΡΙΣΚΟΥ

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Δομή και λειτουργία τεχνητού νευρώνα Συνάρτηση ενεργοποίησης Φ

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τυπική δομή τεχνητού νευρωνικού δικτύου Ν

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τα τεχνητά νευρωνικά δίκτυα μπορούν να διαχωριστούν σε δύο κατηγορίες Feed-forward ANNs: η πληροφορία ρέει από το επίπεδο εισόδου προς το επίπεδο εξόδου Recurrent ANNs: η πληροφορία επιστρέφει σε προηγούμενο επίπεδο (γνωστό ως context layer) που με τη σειρά του ανατροφοδοτεί το κρυφό στρώμα

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τα νευρωνικά δίκτυα εκπαιδεύονται κυρίως με τρεις διαφορετικούς τρόπους ΕΚΠΑΙΔΕΥΣΗ ΜΕ ΕΠΟΠΤΕΙΑ Το σύνολο προτύπων περιέχει τόσο διανύσματα εισόδου όσο και διανύσματα εξόδου. Ο στόχος της εκπαίδευσης είναι η ελαχιστοποίηση του καθολικού σφάλματος και η προσαρμογή των τιμών των σωστών βαρών με τέτοιο τρόπο ώστε όταν διαβιβάζουμε στο δίκτυο τη σωστή είσοδο αυτό να αναπαράγει τη σωστή έξοδο. ΕΚΠΑΙΔΕΥΣΗ ΧΩΡΙΣ ΕΠΟΠΤΕΙΑ Το σύνολο προτύπων περιέχει μόνο διανύσματα εισόδου τα οποία ομαδοποιούνται με βάση τα κοινά τους χαρακτηριστικά. Ο στόχος είναι και εδώ η ελαχιστοποίηση μιας συνάρτησης σφάλματος. ΕΚΠΑΙΔΕΥΣΗ ΜΕ ΑΝΤΑΓΩΝΙΣΜΟ Οι νευρώνες ανταγωνίζονται για το ποιος θα συμμετάσχει πιο ενεργά στην εκπαίδευση και κάποιος από αυτούς χαρακτηρίζεται ως ο νικητής νευρώνας. Το επιθυμητό αποτέλεσμα είναι η αναπαράσταση μιας κλάσης διανυσμάτων εισόδου από ένα και μοναδικό νευρώνα εξόδου. Με τον τρόπο αυτό η κλάση του κάθε διανύσματος ταυτοποιείται από τον μοναδικό νευρώνα που ενεργοποιείται σε κάθε περίπτωση.

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ BACK PROPAGATION Πολυ-επίπεδο FEED FORWARD νευρωνικό δίκτυο Εκπαίδευση με εποπτεία Εφαρμογή του κανόνα εκμάθησης του Back Propagation Ανατροδοφοτούμενο δίκτυο Back Propagation

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ RBF (RADIAL BASIS FUNCTION NETWORK) Η εκπαίδευση του δικτύου συνίσταται στην ταυτοποίηση των κέντρων ενώ η προσαρμογή των βαρών των νευρώνων του επιπέδου εξόδου πραγματοποιείται με τη μέθοδο των ελαχίστων τετραγώνων.

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ SOM (SELF ORGANIZING MAP) Αποτελείται από ένα επίπεδο εισόδου και ένα επίπεδο εξόδου οι νευρώνες του οποίου είναι τοποθετημένοι στους κόμβους ενός δισδιάστατου πλέγματος Δεν υπάρχει κρυφό στρώμα Είναι Feed Forward δίκτυο και λειτουργεί με εκπαίδευση χωρίς εποπτεία. Στηρίζεται στην αρχή της αυτο-οργάνωσης για την απεικόνιση των διανυσμάτων εισόδου σε ένα τοπολογικό χάρτη Γενίκευση του δικτύου του KOHONEN είναι το δίκτυο LVQ που χρησιμοποιεί εκπαίδευση με εποπτεία

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ SOM (SELF ORGANIZING MAP) Για κάθε πρότυπο είσόδου Ο κάθε νευρώνας του πλέγματος υπολογίζει την έξοδό του Ταυτοποιείται ο νευρώνας που δίνει τη μεγαλύτερη έξοδο Ο εν λόγω νευρώνας χαρακτηρίζεται ως ο νικητής νευρώνας Τα βάρη του νικητή νευρώνα αναβαθμίζονται στις νέες τιμές τους ενώ το ίδιο συμβαίνει και με τα βάρη των νευρώνων που βρίσκονται εντός περιοχής συγκεκριμένης ακτίνας με κέντρο το νικητή νευρώνα Εάν κατά τη διάρκεια της εκπαίδευσης ενεργοποιείται πάντα ο ίδιος νευρώνας χρησιμοποιείται το μέγεθος της συνείδησης Τα δίκτυα του Kohonen είναι ιδιαίτερα χρήσιμα σε προβλήματα εξόρυξης δεδομένων καθώς επιτρέπουν την ταξινόμηση των προτύπων εισόδου σε διάφορες κλάσεις

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΆΛΛΕΣ ΔΟΜΕΣ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Πιθανοκρατικά νευρωνικά δίκτυα Feed Forward ANNs Χρησιμοποιούν εκπαίδευση με εποπτεία Η αναπροσαρμογή των βαρών στηρίζεται στη χρήση μιας νέας κρυφής μονάδας τα βάση της οποίας ταυτίζονται με το τρέχον διάνυσμα εισόδου Adaptive Resonance Theory Ανατροφοδοτούμενα δίκτυα που χρησιμοποιούνται για clustering Στηρίζονται στη χρήση του νικητή νευρώνα όπως και τα δίκτυα SOM Το διάνυσμα βαρών του νικητή υποτίθεται πως κωδικοποιεί το διάνυσμα εισόδου. Εάν αυτό δεν ισχύει ο νικητής ‘καθαιρείται’ και ως νέος νικητής θεωρείται αυτός που βρίσκεται πιο κοντά στον παλαιό ARTMAP Architectures Γενίκευση των δικτύων ART που λειτουργούν υπό συνθήκες εκπαίδευσης με εποπτεία.

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΕΦΑΡΜΟΓΕΣ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΣΕ ΔΙΑΔΙΚΑΣΙΕΣ ΕΞΟΡΥΞΗΣ ΔΕΔΟΜΕΝΩΝ

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΚΡΙΤΗΡΙΑ ΕΠΙΛΟΓΗΣ ΤΟΥ ΚΑΤΑΛΛΗΛΟΥ ΝΕΥΡΩΝΙΚΟΥ ΔΙΚΤΥΟΥ Ταυτοποίηση της Φύση του προβλήματος Κατατάσσουμε το πρόβλημα σε μία από τις παραπάνω κατηγορίες (clustering, classification, modeling, time series approximation) και διαλέγουμε το μοντέλο σύμφωνα με τον παραπάνω πίνακα Έλεγχος του τύπου των δεδομένων Για δυαδικά δεδομένα συνίσταται η χρήση δικτύου ART ενώ για πραγματικές τιμές επιλέγουμε δίκτυα Kohonen. Έλεγχος του μεγέθους των δεδομένων και του τύπου της εκπαίδευσης Για Online training επιλέγουμε ART και RBF διότι είναι πολύ πιο γρήγορα σε σχέση με τα δίκτυα Back Propagation που χαρακτηρίζονται από πολύ αργή σύγκλιση.

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΑΝΤΙΜΕΤΩΠΙΣΗ ΠΡΟΒΛΗΜΑΤΩΝ Εάν το δίκτυο δεν συγκλίνει πραγματοποιούμε κατά σειρά τις παρακάτω διαδικασίες Ελέγχουμε τη μεταβολή του μέσου τετραγωνικού σφάλματος σε συνάρτηση με το χρόνο. Αν παραμένει σταθερό πραγματοποιούμε εκ νέου την εκπαίδευση με διαφορετικές αρχικές τιμές βαρών. Αν ταλαντεύεται ανάμεσα σε δύο τιμές έχει εγλωβιστεί σε τοπικό ελάχιστο και προσπαθούμε να το απεγκλωβίσουμε προσθέτοντας στα βάρη τυχαίο θόρυβο. Τροποποιούμε τη δομή του δικτύου προσθέτοντας κρυφούς νευρώνες ή/και κρυφά στρώματα. Ας σημειωθεί πάντως πως στις πιο πολλές περιπτώσεις η χρήση ενός κρυφού στρώματος είναι αρκετή.

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΑΝΤΙΜΕΤΩΠΙΣΗ ΠΡΟΒΛΗΜΑΤΩΝ Μεταβάλλουμε την αναπαράσταση των δεδομένων προσπαθώντας να τα ανάγουμε σε πιο βέλτιστη μορφή. Ας αναφέρουμε ωστόσο πως αν η επιλογή των δεδομένων προς εκμάθηση δεν έχει γίνει σωστά και υπάρχουν σημαντικές παράμετροι που δεν έχουν ληφθεί υπ’ όψιν, η διαδικασία της εκπαίδευσης ίσως είναι καταδικασμένη σε αποτυχία, ό,τι και εάν κάνουμε. ΠΛΕΟΝΕΚΤΗΜΑΤΑ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Είναι ευλύγιστα, εύκολα παραμετροποιήσιμα και μπορούν να χρησιμοποιηθούν τόσο για πρόβλεψη όσο και για κατηγοριοποίηση Αποδίδουν κατά σε πολύπλοκα προβλήματα εκεί όπου άλλες τεχνικές αποτυγχάνουν. Μπορούν να εφαρμοσθούν εύκολα στην πράξη καθώς υπάρχουν διαθέσιμα προγράμματα προσομοίωσης ακόμη και υπό τη μορφή ανοικτού λογισμικού. ΜΕΙΟΝΕΚΤΗΜΑΤΑ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Χαρακτηρίζονται από μεγάλους χρόνους σύγκλισης ενώ η λύση στην οποία καταλήγουν δεν είναι σίγουρο πως είναι η βέλτιστη.