ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 1 ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ (Τεχνητά Νευρωνικά Δίκτυα και Γενετικοί Αλγόριθμοι) ΣΠΥΡΟΣ ΛΥΚΟΘΑΝΑΣΗΣ, ΚΑΘΗΓΗΤΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ.

Παρουσίαση με θέμα: "ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 1 ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ (Τεχνητά Νευρωνικά Δίκτυα και Γενετικοί Αλγόριθμοι) ΣΠΥΡΟΣ ΛΥΚΟΘΑΝΑΣΗΣ, ΚΑΘΗΓΗΤΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ."— Μεταγράφημα παρουσίασης:

1 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 1 ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ (Τεχνητά Νευρωνικά Δίκτυα και Γενετικοί Αλγόριθμοι) ΣΠΥΡΟΣ ΛΥΚΟΘΑΝΑΣΗΣ, ΚΑΘΗΓΗΤΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΡΓΑΣΤΗΡΙΟ ΑΝΑΓΝΩΡΙΣΗΣ ΠΡΟΤΥΠΩΝ

2 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 2 1. ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ –Στο 1ο κεφάλαιο χρησιμοποιήσαμε τον όρο “γνώση” στον ορισμό ενός νευρωνικού δικτύου χωρίς μία ιδιαίτερη περιγραφή του τι εννοούμε με αυτό. Τώρα ενδιαφερόμαστε γι’ αυτό το θέμα δίνοντας τον ακόλουθο γενικό ορισμό:  Με τον όρο γνώση αναφερόμαστε σε αποθηκευμένη πληροφορία ή σε μοντέλα χρησιμοποιούμενα από ένα άτομο ή μηχανή για να μεταφράσουν, προβλέψουν και κατά προσέγγιση να αντιδράσουν στον εξωτερικό κόσμο, (Fischler and Firschein, 1987).  Η βασική εργασία για ένα νευρωνικό δίκτυο είναι να μάθει ένα μοντέλο του κόσμου (περιβάλλον) στο οποίο είναι εγκατεστημένο και να συντηρήσει το μοντέλο ικανοποιητικά σύμφωνα με τον πραγματικό κόσμο, ώστε να επιτύχει τους στόχους μιας εφαρμογής που ενδιαφερόμαστε.

3 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 3  Η γνώση του κόσμου αποτελείται από δύο είδη πληροφορίας:  1. Η γνωστή κατάσταση του κόσμου, αναπαριστόμενη από παράγοντες σχετικά με το τι είναι και ήταν γνωστό. Αυτός ο τύπος γνώσης αναφέρεται και σαν εκ των προτέρων (prior) πληροφορία.  2. Παρατηρήσεις (μετρήσεις) του κόσμου, που έχουν αποκτηθεί από αισθητήρες σχεδιασμένους να διερευνούν το περιβάλλον στο οποίο το νευρωνικό δίκτυο υποτίθεται ότι λειτουργεί.  Συνήθως αυτές οι παρατηρήσεις περιέχουν από τη φύση τους θόρυβο, καθώς υπόκεινται σε λάθη εξαιτίας των θορύβων του αισθητήρα και των ατελειών του συστήματος.  Σε οποιαδήποτε περίπτωση, οι παρατηρήσεις που αποκτώνται με αυτό τον τρόπο δίνουν το κυρίως μέρος των πληροφοριών, από τις οποίες παίρνονται τα παραδείγματα τα οποία χρησιμοποιούνται για την εκπαίδευση του νευρωνικού δικτύου.

4 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 4  Κάθε παράδειγμα αποτελείται από ένα ζεύγος εισόδου /εξόδου: ένα σήμα εισόδου και η αντίστοιχη επιθυμητή αντίδραση για το νευρωνικό δίκτυο. Γι’ αυτό ένα σύνολο παραδειγμάτων αναπαριστά γνώση σχετικά με το περιβάλλον ενδιαφέροντος.  Θεωρείστε για παράδειγμα το πρόβλημα της αναγνώρισης χειρόγραφων ψηφίων, στο οποίο η είσοδος αποτελείται από μία εικόνα από άσπρα και μαύρα pixels και κάθε εικόνα αναπαριστά ένα από τα δέκα ψηφία τα οποία διαχωρίζονται από το φόντο. χειρόγραφων ψηφίων, στο οποίο η είσοδος αποτελείται από μία εικόνα από άσπρα και μαύρα pixels και κάθε εικόνα αναπαριστά ένα από τα δέκα ψηφία τα οποία διαχωρίζονται από το φόντο.   Σ’ αυτό το παράδειγμα η επιθυμητή αντίδραση ορίζεται από την “ταυτότητα” ενός συγκεκριμένου ψηφίου του οποίου η εικόνα αναπαρίσταται στο νευρωνικό δίκτυο σαν ένα σήμα εισόδου.   Τυπικά το σύνολο των παραδειγμάτων που χρησιμοποιείται για την εκπαίδευση του δικτύου αποτελείται από μια μεγάλη ποικιλία ψηφίων που είναι αντιπροσωπευτικά της πραγματικής εικόνας του ψηφίου.

5 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 5  Δοσμένου ενός τέτοιου συνόλου παραδειγμάτων η σχεδίαση ενός νευρωνικού δικτύου μπορεί να γίνει ως εξής:  Πρώτα επιλέγεται μια κατάλληλη αρχιτεκτονική για το νευρωνικό δίκτυο, με μία είσοδο αποτελούμενη από κόμβους εισόδου ισάριθμους προς τα pixel μιας εικόνας εισόδου και μια έξοδο αποτελούμενη από δέκα νευρώνες (έναν για κάθε ψηφίο). Ένα υποσύνολο παραδειγμάτων χρησιμοποιείται τότε για την εκπαίδευση του δικτύου μέσω ενός κατάλληλου αλγορίθμου. Αυτή η φάση λέγεται εκπαίδευση ή μάθηση.  Μετά ελέγχεται η απόδοση της αναγνώρισης του εκπαιδευμένου δικτύου με δεδομένα που δεν έχουν εισαχθεί πριν. Συγκεκριμένα μια εικόνα εισόδου παρουσιάζεται στο δίκτυο αλλά αυτή τη φορά δεν του λέγεται η ταυτότητα του ψηφίου στο οποίο ανήκει αυτή η συγκεκριμένη εικόνα. Η απόδοση του δικτύου τότε παίρνεται συγκρίνοντας την αναγνώριση του ψηφίου που αναφέρεται από το δίκτυο με την πραγματική ταυτότητα του ψηφίου.   Αυτή η δεύτερη φάση της λειτουργίας του δικτύου ονομάζεται γενίκευση, ένας όρος που είναι δανεισμένος από την ψυχολογία.

6 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 6  Τα παραδείγματα που χρησιμοποιούνται για την εκπαίδευση ενός νευρωνικού δικτύου μπορεί να αποτελούνται και από θετικά και από αρνητικά παραδείγματα. Για παράδειγμα στο πρόβλημα της παθητικής ανίχνευσης με σόναρ για θετικά παραδείγματα δίνονται σαν είσοδο δεδομένα εκπαίδευσης που περιέχουν τον στόχο ενδιαφέροντος (π.χ. υποβρύχιο). Τώρα σ’ ένα παθητικό περιβάλλον σόναρ η πιθανή παρουσία υποβρύχιας ζωής στα δεδομένα ελέγχου προκαλεί περιστασιακούς λάθος συναγερμούς. Για να ανακουφιστεί αυτό το πρόβλημα αρνητικά παραδείγματα (π.χ. ηχώ από υποβρύχια ζωή) περιλαμβάνονται στα δεδομένα εκπαίδευσης ώστε να μάθει το δίκτυο να μην μπερδεύει την υποβρύχια ζωή με το στόχο.  Σ’ ένα νευρωνικό δίκτυο μιας συγκεκριμένης αρχιτεκτονικής η αναπαράσταση γνώσης του περιβάλλοντος ορίζεται από τις τιμές που παίρνουν οι ελεύθεροι παράμετροι δηλ. τα. συναπτικά βάρη και κατώφλια ενεργοποίησης του δικτύου. Ο τύπος αυτής της αναπαράστασης γνώσης αποτελεί τους διαφορετικούς σχεδιασμούς ενός νευρωνικού δικτύου και γι’ αυτό είναι το κλειδί της απόδοσης του.

7 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 7  Το θέμα της αναπαράστασης γνώσης μέσα σ’ ένα τεχνητό νευρωνικό δίκτυο είναι πολύ περίπλοκο.  Το θέμα γίνεται ακόμα πιο πολύπλοκο όταν έχουμε πολλαπλές πηγές πληροφορίας να ενεργούν πάνω στο δίκτυο και αυτές οι πηγές αλληλεπιδρούν μεταξύ τους.  Υπάρχουν 4 κανόνες για αναπαράσταση γνώσης που βασίζονται στην κοινή λογική. Οι κανόνες αυτοί περιγράφονται παρακάτω:  ΚΑΝΟΝΑΣ 1: Παρόμοιες είσοδοι από παρόμοιες ομάδες πρέπει συνήθως να παράγουν παρόμοιες αναπαραστάσεις μέσα στο δίκτυο και πρέπει γι’ αυτό να ταξινομούνται σαν να ανήκουν στην ίδια κατηγορία.  Υπάρχει μια πληθώρα μέτρων για να αποφασιστεί η “ομοιότητα” ανάμεσα σε εισόδους.

8 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 8 Ένα συνηθισμένο μέτρο ομοιότητας βασίζεται στην έννοια της Ευκλείδειας απόστασης. Για να γίνουμε πιο συγκεκριμένοι έστω xi ένα Ν-διάστατο πραγματικό διάνυσμα: που όλα τα στοιχεία είναι πραγματικά, το Τ δηλώνει τον ανάστροφο πίνακα. Το διάνυσμα xj ορίζει ένα σημείο σ’ ένα Ν-διάστατο χώρο που καλείται Ευκλείδειος χώρος και συμβολίζεται με R Ν. Η απόσταση μεταξύ xi και xj ορίζεται σαν: dij = ||xi-xj|| = (1.24) όπου xin και xjn είναι τα Ν-οστά στοιχεία του xi και xj.

9 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 9  Αντίστοιχα η ομοιότητα ανάμεσα στις εισόδους που αναπαρίστανται από τα διανύσματα xi και xj ορίζεται σαν η παλινδρόμηση της Ευκλείδειας απόστασης dij.  Όσο πιο κοντά είναι τα ξεχωριστά στοιχεία των διανυσμάτων εισόδου xi και xj τόσο μικρότερη θα είναι η d ij και τόσο μεγαλύτερη θα είναι η ομοιότητα των xi και xj.   Ο κανόνας 1 δηλώνει ότι αν τα διανύσματα xi και xj είναι παρόμοια τότε θα πρέπει να τοποθετηθούν στην ίδια κατηγορία.  Ένα άλλο μέτρο της ομοιότητας βασίζεται στην ιδέα του dot product ή εσωτερικού γινομένου που το δανειζόμαστε από την γραμμική άλγεβρα.   Δοθέντων δύο διανυσμάτων xi και xj ίδιας διάστασης το εσωτερικό του γινόμενο ορίζεται σαν:

10 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 10 Τα μέτρα ομοιότητας πραγματικά σχετίζονται μεταξύ τους όπως φαίνεται στο σχήμα 1.18. Η Ευκλείδεια απόσταση ||xi-xj|| ανάμεσα στα δύο διανύσματα xi και xj αναπαρίσταται με το μήκος της γραμμής που ενώνει τα άκρα των δύο αυτών διανυσμάτων και το εσωτερικό του γινόμενο αναπαρίσταται με την προβολή του xi πάνω στο διάνυσμα xj. Το σχήμα 1.18. δείχνει καθαρά ότι όσο μικρότερη είναι η Ευκλείδεια απόσταση, και γι’ αυτό είναι ποιο όμοια τα xi και xj, τόσο μεγαλύτερο θα είναι το εσωτερικό τους γινόμενο. Σχήμα 1.18: Σχέση του εσωτερικού γινομένου και Ευκλείδιας απόστασης σαν ομοιότητα μεταξύ προτύπων.

11 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 11  ΚΑΝΟΝΑΣ 2 : Αντικείμενα που κατηγοριοποιούνται σε διαφορετικές ομάδες θα πρέπει να έχουν διαφορετικές αναπαραστάσεις στο δίκτυο. Ο δεύτερος κανόνας είναι αντίθετος του πρώτου.  ΚΑΝΟΝΑΣ 3 : Αν ένα συγκεκριμένο χαρακτηριστικό είναι σημαντικό τότε θα πρέπει να υπάρχει ένας μεγάλος αριθμός από νευρώνες που συμμετάσχουν στην αναπαράσταση αυτού του αντικειμένου στο δίκτυο.  Θεωρείστε για παράδειγμα την εφαρμογή ραντάρ για την ανίχνευση ενός στόχου με την παρουσία θορύβου.  Σύμφωνα με το κριτήριο Neyman-Pearson η πιθανότητα ανίχνευσης μεγιστοποιείται αν το όριο της πιθανότητας λάθος συναγερμού δεν υπερβαίνει μια συγκεκριμένη τιμή.   Σε μια τέτοια εφαρμογή η πραγματική παρουσία ενός στόχου στο λαμβανόμενο σήμα αναπαριστά ένα σημαντικό χαρακτηριστικό της εισόδου.

12 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 12  Ο κανόνας 3 σαν αποτέλεσμα δηλώνει ότι θα πρέπει να υπάρχει ένας πολύ μεγάλος αριθμός νευρώνων ώστε να αποφασιστεί ότι ο στόχος είναι παρών όταν πράγματι είναι.  Κατά τον ίδιο τρόπο θα πρέπει να υπάρχει ένας πολύ μεγάλος αριθμός νευρώνων ώστε να αποφασιστεί ότι υπάρχει μόνο θόρυβος.  Και στις δύο περιπτώσεις ο μεγάλος αριθμός νευρώνων βεβαιώνει το μεγάλο βαθμό ακρίβειας της απόφασης και της απόκλισης εξαιτίας λανθασμένων νευρώνων.  ΚΑΝΟΝΑΣ 4 : Οι εκ των προτέρων (prior) πληροφορίες και οι αμεταβλητότητες θα πρέπει να χτιστούν στον σχεδιασμό ενός νευρωνικού δικτύου απλοποιώντας έτσι τον σχεδιασμό αυτό του δικτύου,το οποίο δεν χρειάζεται να τις μάθει.

13 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 13  Ο κανόνας 4 είναι ιδιαίτερα σημαντικός διότι δίνει ένα νευρωνικό δίκτυο με μια εξειδικευμένη δομή. Αυτό είναι ιδιαίτερα επιθυμητό για διάφορους λόγους:  Βιολογικά, οπτικά και ελεγκτικά δίκτυα είναι γνωστό ότι είναι πολύ εξειδικευμένα.  Ένα νευρωνικό δίκτυο με εξειδικευμένη δομή συνήθως έχει πολύ μικρότερο αριθμό ελεύθερων παραμέτρων διαθέσιμων για κανονικοποίηση απ’ ότι ένα πλήρως συνδεδεμένο δίκτυο.  Συνεπώς ένα εξειδικευμένο δίκτυο απαιτεί λιγότερα δεδομένα εισόδου για εκπαίδευση, μαθαίνει γρηγορότερα και συχνά γενικεύει καλύτερα.  Ο ρυθμός της μετάδοσης πληροφοριών μέσω ενός εξειδικευμένου δικτύου επιταχύνεται.  Το κόστος χτισίματος ενός εξειδικευμένου δικτύου μειώνεται εξαιτίας του μικρότερου μεγέθους σε σύγκριση μ’ αυτό του πλήρως συνδεδεμένου.

14 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 14  Ένα περισσότερο συναρπαστικό παράδειγμα αναπαράστασης γνώσης βρίσκεται σ’ ένα νευρωνικό δίκτυο βιολογικού συστήματος ανίχνευσης (των νυχτερίδων), για τον εντοπισμό του στόχου με ηχώ.  Οι περισσότερες νυχτερίδες χρησιμοποιούν FM σήματα ( σ’ ένα FM σήμα η συχνότητα του σήματος αλλάζει με το χρόνο).  Πιο συγκεκριμένα η νυχτερίδα χρησιμοποιεί το στόμα (πομπός) για να μεταδώσει μικρής διάρκειας FM σήματα και χρησιμοποιεί το ακουστικό σύστημα σαν παραλήπτη (δέκτη).  Η ηχώ από στόχους αναπαριστάται στο ακουστικό σύστημα από την ενέργεια των νευρώνων, που είναι επιλεκτικοί σε διαφορετικούς συνδυασμούς ακουστικών παραμέτρων.  Υπάρχουν τρεις βασικές νευρωνικές διαστάσεις της ακουστικής αναπαράστασης της νυχτερίδας:

15 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 15  Συχνότητα ηχούς: που κωδικοποιείται παράγοντας τον χάρτη συχνοτήτων του κοχλία (αυτιού), διατηρείται μέσα σε όλη την ακουστική οδό, σαν μια διατεγμένη συμφωνία κατά μήκος συγκεκριμένων νευρώνων συντονισμένων σε διαφορετικές συχνότητες.  Πλάτος ηχούς: που κωδικοποιείται από άλλους νευρώνες με διαφορετικές δυναμικές περιοχές. Ορίζεται και σαν ρύθμιση πλάτους.  Καθυστέρηση ηχούς: που κωδικοποιείται μέσω νευρωνικών πληροφοριών που παράγουν επιλεκτικής καθυστέρησης αντιδράσεις. Ορίζεται και σαν ρύθμιση έκτασης ήχου.  Τα δύο βασικά χαρακτηριστικά μιας ηχούς στόχου για σκοπούς διαμόρφωσης εικόνας είναι το φάσμα για το σχήμα του στόχου και η καθυστέρηση του στόχου.  Η νυχτερίδα υπολογίζει το σχήμα με βάση τον χρόνο άφιξης της ηχούς από διαφορετικές ανακλώμενες επιφάνειες στο στόχο.

16 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 16 –ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΚΑΙ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ –Ένα σύστημα τεχνητής νοημοσύνης(ΑΙ) πρέπει να είναι ικανό να κάνει τρία πράγματα:  να αποθηκεύει γνώση,  να εφαρμόζει την αποθηκευμένη γνώση, και  να αποκτά νέα γνώση μέσω εμπειρίας.  Ενα σύστημα τεχνητής νοημοσύνης έχει τρία συστατικά κλειδιά: αναπαράσταση, αιτιολόγηση, και μάθηση (Σχήμα 1.24)

17 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 17  1. ΑΝΑΠΑΡΑΣΤΑΣΗ: Το πιο διαδεδομένο χαρακτηριστικό της τεχνητής νοημοσύνης είναι πιθανόν η διαδεδομένη χρήση μιας γλώσσας συμβολικών δομών για την αναπαράσταση και της γενικής γνώσης σχετικά με ένα πρόβλημα που μας ενδιαφέρει αλλά και της ειδικής γνώσης σχετικά με τη λύση του προβλήματος.  Τα σύμβολα συνήθως σχηματίζονται με γνωστούς όρους, πράγμα το οποίο κάνει τις συμβολικές αναπαραστάσεις της τεχνητής νοημοσύνης σχετικά εύκολες να κατανοηθούν από τον χρήστη. Πραγματικά, η σαφήνεια της τεχνητής νοημοσύνης ευνοεί την επικοινωνία ανάμεσα σε άνθρωπο και μηχανή.  Η “γνώση” όπως χρησιμοποιείται από τους ερευνητές της τεχνητής νοημοσύνης, είναι άλλος ένας όρος για τα δεδομένα. Μπορεί να είναι δηλωτικού ή διαδικαστικού είδους.

18 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 18  Σε μια δηλωτική αναπαράσταση, η γνώση αναπαριστάται σαν μία στατική συλλογή γεγονότων, με ένα μικρό σύνολο διαδικασιών για την διαχείριση των γεγονότων.  Σε μια διαδικαστική αναπαράσταση, από την άλλη μεριά, η γνώση ενσωματώνεται σε έναν εκτελέσιμο κώδικα ο οποίος και δίνει το νόημα της γνώσης.  Και τα δύο είδη γνώσης χρειάζονται στα περισσότερα προβλήματα που μας ενδιαφέρουν.  2. ΑΙΤΙΟΛΟΓΗΣΗ: Στην πιο βασική της μορφή, η αιτιολόγηση είναι η ικανότητα λύσης των προβλημάτων.  Για να έχει ένα σύστημα την ικανότητα να είναι σύστημα αιτιολόγησης, πρέπει να ικανοποιεί ορισμένες συνθήκες:  Το σύστημα πρέπει να είναι ικανό να λύνει τόσο ευρείας κλίμακας προβλήματα και όσο και τύπους προβλημάτων.  Το σύστημα πρέπει να είναι ικανό να αναγνωρίζει ρητές υπονοούμενες πληροφορίες.  Το σύστημα πρέπει να έχει ένα μηχανισμό ελέγχου που να αποφασίζει ποιες λειτουργίες πρέπει να εφαρμόζονται σε ένα συγκεκριμένο πρόβλημα, όταν μια λύση του προβλήματος έχει αποκτηθεί, ή όταν η επιπλέον δουλειά στο πρόβλημα πρέπει να τερματιστεί.

19 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 19  Το πρόβλημα της λύσης θα πρέπει να ειδωθεί σαν ένα ερευνητικό πρόβλημα.  Ένας κοινός τρόπος όταν έχεις να κάνεις με “έρευνα” είναι η χρήση κανόνων, δεδομένων και ελέγχου.  Οι κανόνες ενεργούν πάνω στα δεδομένα και ο έλεγχος ενεργεί πάνω στους κανόνες.  Θεωρείστε για παράδειγμα το πρόβλημα του πλανόδιου πωλητή, όπου η απαίτηση είναι να βρεθεί η μικρότερη διαδρομή από την μια πόλη στην άλλη, με την προϋπόθεση να πάει στις πόλεις μόνο μια φορά.  Σε αυτό το πρόβλημα τα δεδομένα παίρνονται από το σύνολο των πιθανών διαδρομών και τα κόστη τους σε ένα ζυγισμένο γράφο, οι κανόνες ορίζουν τους τρόπους μετακίνησης από πόλη σε πόλη και ο έλεγχος αποφασίζει ποιοι κανόνες και πότε θα εφαρμοστούν.  Σε πολλές περιπτώσεις στην πράξη, η υπάρχουσα γνώση δεν είναι πλήρης ή είναι ανακριβής.  Σε αυτές τις περιπτώσεις χρησιμοποιούνται πιθανοτικές συναρτήσεις, επιτρέποντας έτσι στα συστήματα τεχνητής νοημοσύνης να μειώσουν την αβεβαιότητα αυτού του προβλήματος.

20 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 20  3. ΜΑΘΗΣΗ: Σε ένα απλό μοντέλο μάθησης μηχανής (σχ. 1.25), το περιβάλλον προμηθεύει μερικές πληροφορίες σε ένα στοιχείο μάθησης.  Το στοιχείο μάθησης τότε χρησιμοποιεί αυτή την πληροφορία για να κάνει βελτιώσεις σε μια βάση γνώσης, και τελικά το στοιχείο απόδοσης χρησιμοποιεί τη βάση γνώσης για να κάνει την εργασία του.   Το είδος της πληροφορίας που δίνεται στην μηχανή από το περιβάλλον έχει συνήθως ατέλειες, με αποτέλεσμα το στοιχείο μάθησης να μην ξέρει από πριν πως να συμπληρώσει ή να αγνοήσει ορισμένες λεπτομέρειες που δεν έχουν σημασία.  Η μηχανή γι’ αυτό λειτουργεί μαντεύοντας, και δέχεται επανατροφοδότηση από το στοιχείο απόδοσης.  Ο μηχανισμός επανατροφοδότησης επιτρέπει στην μηχανή να υπολογίσει τις υποθέσεις της και να τις επαναλάβει αν είναι απαραίτητο.  Η μάθηση της μηχανής εμπεριέχει δύο μάλλον διαφορετικά είδη επεξεργασίας πληροφορίας: επαγωγική και συμπερασματική.

21 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 21 Στην επαγωγική επεξεργασία πληροφορίας, γενικά πλαίσια και κανόνες αποφασίζονται από τα ακατέργαστα δεδομένα και την εμπειρία. Στη συμπερασματική επεξεργασία πληροφορίας, από την άλλη μεριά, γενικοί κανόνες χρησιμοποιούνται για να αποφασιστούν συγκεκριμένα γεγονότα.

22 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 22  Μάθηση βασισμένη σε ομοιότητα χρησιμοποιεί επαγωγή, ενώ η απόδειξη ενός θεωρήματος είναι συμπέρασμα από γνωστά αξιώματα και άλλα γνωστά θεωρήματα.  Μάθηση βασισμένη σε εξήγηση χρησιμοποιεί και επαγωγή και συμπέρασμα.  Η σημασία της βάσης γνώσης και οι δυσκολίες της μάθησης έχουν οδηγήσει στην ανάπτυξη διαφόρων μεθόδων για αύξηση της βάσης γνώσης.  Ιδιαίτερα αν υπάρχουν ειδικοί σε ένα ορισμένο πεδίο, είναι ευκολότερο να συλλεχτεί η εμπειρία των ειδικών απ’ ότι να γίνει προσπάθεια να αντιγραφεί η εμπειρία που οδήγησε στην εμπειρογνωμοσύνη.  Αυτή πραγματικά είναι η ιδέα πίσω από τα έμπειρα συστήματα.  Αφού έχουμε εξοικιωθεί με τις συμβολικές μηχανές τεχνητής νοημοσύνης, πως θα μπορούσαμε να τις συγκρίνουμε με τα νευρωνικά δίκτυα σαν γνωστικά μοντέλα.  Για αυτή τη σύγκριση χρησιμοποιούμε τρεις υποδιαιρέσεις: επίπεδο εξήγησης, μορφή επεξεργασίας και δομή αναπαράστασης.

23 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 23  1. ΕΠΙΠΕΔΟ ΕΞΗΓΗΣΗΣ: Στην κλασσική τεχνητή νοημοσύνη η έμφαση είναι στο χτίσιμο των συμβολικών αναπαραστάσεων.  Τυπικά οι αναπαραστάσεις είναι ασυνεχείς και αυθαίρετες: αφηρημένες ιδιότητες και όχι εικόνες.  Από την πλευρά της γνώσης, είναι αναντίρρητο ότι η τεχνητή νοημοσύνη υποθέτει την ύπαρξη νοητών αναπαραστάσεων και μοντελοποιεί την γνώση σαν την ακολουθιακή διαδικασία των συμβολικών αναπαραστάσεων.  Οι υποθέσεις που γίνονται στα νευρωνικά δίκτυα σχετικά με το τι αποτελεί μια ικανοποιητική εξήγηση των γνωστικών διαδικασιών, είναι εντελώς διαφορετικές από αυτές της κλασσικής τεχνητής νοημοσύνης.  Η έμφαση στα νευρωνικά δίκτυα είναι στην ανάπτυξη παράλληλα κατανεμημένων μοντέλων επεξεργασίας (PDP).  Αυτά τα μοντέλα υποθέτουν ότι η επεξεργασία πληροφορίας λαμβάνει χώρα διαμέσου της αλληλεπίδρασης ενός μεγάλου αριθμού νευρώνων, καθένας από τους οποίους στέλνει διεγερτικά και ανασταλτικά σήματα σε άλλους νευρώνες στο δίκτυο.  Επιπλέον τα νευρωνικά δίκτυα δίνουν μεγάλη έμφαση στην νευροβιολογική εξήγηση γνωστικών φαινομένων.

24 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 24  2. ΜΟΡΦΗ ΕΠΕΞΕΡΓΑΣΙΑΣ: Πιθανόν η έμπνευση για ακολουθιακή επεξεργασία προκύπτει από την ακολουθιακή φύση της φυσικής γλώσσας και την λογική καθώς και εξαιτίας της μηχανής von Neumann.  Δε θα πρέπει να ξεχνιέται ότι η κλασσική τεχνητή νοημοσύνη γεννήθηκε λίγο μετά την μηχανή von Neumann, στον ίδιο πνευματικό κύκλο.  Από την άλλη μεριά, η παράλληλη επεξεργασία είναι ένα εξέχον χαρακτηριστικό των νευρωνικών δικτύων.  Πραγματικά, ο παραλληλισμός είναι όχι μόνο εννοιολογικά ουσιαστικός στην επεξεργασία της πληροφορίας στα νευρωνικά δίκτυα, αλλά είναι και η πηγή της ελαστικότητάς τους.  Επιπλέον ο παραλληλισμός μπορεί να είναι μαζικός, το οποίο δίνει στα νευρωνικά δίκτυα μια αξιοσημείωτη ευρωστία.  Με τον παραλληλισμό να απλώνεται σε πολλούς νευρώνες, συνήθως δεν έχει και πολύ σημασία αν οι καταστάσεις ορισμένων νευρώνων αποκλίνουν από τις αναμενόμενες τιμές.  Θορυβώδεις ή μη ολοκληρωμένες είσοδοι μπορούν ακόμα να αναγνωριστούν, ένα δίκτυο με βλάβη μπορεί ακόμα να λειτουργήσει ικανοποιητικά και η μάθηση δεν πρέπει να είναι τέλεια.  Το δίκτυο γίνεται ακόμα πιο ακμαίο λόγω της “τραχείας κωδικοποίησης”, όπου κάθε χαρακτηριστικό απλώνεται σε ένα αριθμό από νευρώνες.  Γι’ αυτό η παράλληλα κατανεμημένη επεξεργασία πλησιάζει την ελαστικότητα ενός συνεχούς συστήματος, σε οξεία αντίθεση με την ακαμψία της συμβολικής διακριτής τεχνητής νοημοσύνης.

25 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 25  Ένα άλλο ενδιαφέρον συμπέρασμα του παραλληλισμού είναι η αυτόματη επεξεργασία της πληροφορίας περιεχομένων. Η γνώση δεν αναπαρίσταται από δηλωτικές εκφράσεις, αλλά από την ποικίλη δομή και την κατάσταση ενεργοποίησης του νευρωνικού δικτύου.  Το απαραίτητο περιεχόμενο για ένα δοσμένο πρόβλημα είναι τότε τίποτα λιγότερο από ολόκληρο το νευρωνικό δίκτυο.  Κάθε νευρώνας πιθανώς επηρεάζεται από την ολική ενέργεια όλων των άλλων νευρώνων, με αποτέλεσμα η διαχείριση του περιεχομένου να γίνεται αυτόματα.  Εν συντομία, η ακολουθιακή επεξεργασία πληροφορίας ευνοεί την κλασσική τεχνητή νοημοσύνη, ενώ η παράλληλη επεξεργασία πληροφορίας ευνοεί τα νευρωνικά δίκτυα.  Παρόλα αυτά, τα συμβολικά συστήματα τεχνητής νοημοσύνης μπορούν να πραγματοποιηθούν και παράλληλα επίσης. Για παράδειγμα, η γλώσσα LISP, που έχει γίνει μια σημαντική γλώσσα που χρησιμοποιείται στην τεχνητή νοημοσύνη, έχει πραγματοποιηθεί σε έναν μαζικά παράλληλο υπολογιστή.  Για τον ίδιο λόγο, δεν υπάρχει λόγος για τον οποίο ακολουθιακή επεξεργασία δεν θα μπορούσε να πραγματοποιηθεί σε μία νευρωνική αρχιτεκτονική.  Στην πραγματικότητα τα νευρωνικά δίκτυα εξομοιώνονται με λογισμικό ακολουθιακά.

26 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 26  3. ΔΟΜΗ ΑΝΑΠΑΡΑΣΤΑΣΗΣ:  Με μία γλώσσα που πιστεύεται ότι είναι ένα μοντέλο κλασσικής τεχνητής νοημοσύνης, βρίσκουμε ότι οι συμβολικές αναπαραστάσεις έχουν μια δήθεν γλωσσολογική μορφή.  Οπως οι εκφράσεις της φυσικής γλώσσας, οι εκφράσεις της κλασσικής τεχνητής νοημοσύνης είναι γενικά πολύπλοκες, φτιαγμένες με ένα συστηματικό τρόπο από απλά σύμβολα.  Δοσμένου ενός μικρού συνόλου συμβόλων, νέες εκφράσεις με νόημα μπορούν να σχηματιστούν λόγω της ικανότητας σύνθεσης των συμβολικών εκφράσεων και την αναλογία ανάμεσα στην συντακτική δομή και την σημαντική.  Η φύση και δομή των αναπαραστάσεων είναι παρόλα αυτά, ένα κρίσιμο πρόβλημα για τα νευρωνικά δίκτυα.  Πραγματικά αυτό το θέμα έχει γίνει ζήτημα διαμάχης στην βιβλιογραφία ανάμεσα σε θεωρητικούς της κλασσικής τεχνητής νοημοσύνης και των νευρωνικών δικτύων.

27 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 27  Οι νοητικές αναπαραστάσεις χαρακτηριστικά εμφανίζουν μια συνδυαστική συντακτική δομή και μια συνδυαστική σημασιολογία.  Οι νοητικές διαδικασίες είναι χαρακτηριστικά ευαίσθητες στην συνδυαστική δομή των αναπαραστάσεων στις οποίες ενεργούν.  Σε ένα νευρωνικό δίκτυο, οι αναπαραστάσεις είναι κατανεμημένες. Δεν έπεται παρόλα αυτά ότι οτιδήποτε είναι κατανεμημένο πρέπει να έχει συστατικά, και το να είναι κατανεμημένο είναι πολύ διαφορετικό από το να έχει σημασιολογική ή συντακτική δομή χαρακτηριστικών.  Δυστυχώς τα περισσότερα από τα μοντέλα νευρωνικών δικτύων που έχουν προταθεί μέχρι σήμερα για κατανεμημένη δομή αναπαραστάσεων είναι μάλλον ad hoc, λύνουν το πρόβλημα για μία συγκεκριμένη κατηγορία που δεν μπορεί να επεκταθεί εύκολα.  Για να κάνουμε έναν απολογισμό, μπορούμε να περιγράψουμε την συμβολική τεχνητή νοημοσύνη σαν την τυπική διαχείριση μίας γλώσσας αλγορίθμων και δεδομένων αναπαραστάσεων με ένα “από την κορυφή προς τη βάση” τρόπο.

28 ΥΝ Ι: Τ.Ν. ΚΑΙ Ν.Δ. 28   Από την άλλη μεριά μπορούμε να περιγράψουμε τα νευρωνικά δίκτυα σαν παράλληλα κατανεμημένους επεξεργαστές με μια φυσική ικανότητα μάθησης και που συνήθως λειτουργούν με ένα “από κάτω προς τα πάνω” τρόπο.  Για την τεκμηρίωση των γνωστικών εργασιών φαίνεται ότι, από το να ψάξουμε λύσεις βασισμένες σε συμβολική τεχνητή νοημοσύνη ή σε νευρωνικά δίκτυα ξεχωριστά, μία πιθανώς πιο χρήσιμη προσέγγιση είναι να χτίσουμε δομημένα συνδετικά μοντέλα που συνδυάζουν και τα δύο.  Κάνοντας αυτό, είμαστε σε θέση να συνδυάσουμε τα επιθυμητά χαρακτηριστικά της προσαρμοστικότητας, ακμαιότητας και ομοιομορφίας που προσφέρονται από τα νευρωνικά δίκτυα με την αναπαράσταση, την ικανότητα εξαγωγής συμπερασμάτων και την καθολικότητα που είναι κληρονομημένα χαρακτηριστικά της συμβολικής τεχνητής νοημοσύνης.

29 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 29  Για να είναι ένα τέτοιο υβριδικό σύστημα επιτυχές παρόλα αυτά, είναι σημαντικό να υπολογίσουμε προσεκτικά της περιοχές στις οποίες κάθε μέθοδος δουλεύει καλύτερα.  Τεχνικές κλασσικής τεχνητής νοημοσύνης είναι καλύτερες για επεξεργασία φυσικής γλώσσας, σχεδίαση και ξεχωριστή αιτιολόγηση, ενώ τα νευρωνικά δίκτυα είναι καλύτερα για χαμηλού επιπέδου αισθητικές διαδικασίες, ταίριασμα προτύπων και συσχετιστικές μνήμες.  Γι’αυτό συνδυάζοντας αυτές τις δύο διαφορετικές μεθόδους μέσα στο ίδιο σύστημα, μπορούμε να συνδυάσουμε τα οφέλη και της κλασσικής τεχνητής νοημοσύνης και των νευρωνικών δικτύων, και να ανακουφίσουμε τις ξεχωριστές αδυναμίες τους.

30 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 30  ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ –ΕΙΣΑΓΩΓΗ –Ανάμεσα στις πολλές ενδιαφέρουσες ιδιότητες ενός νευρωνικού δικτύου αυτή με τη μεγαλύτερη σπουδαιότητα είναι η ικανότητα του να μαθαίνει από το περιβάλλον του και έτσι να βελτιώνει την απόδοσή του μέσω της μάθησης.  Η βελτίωση αυτή γίνεται σταδιακά, με το χρόνο, σύμφωνα με κάποιο καθορισμένο μέτρο.  Η μάθηση επιτυγχάνεται μέσω μιας επαναληπτικής διαδικασίας ρυθμίσεων της τιμής των συναπτικών βαρών και των κατωφλίων (ελεύθερες παράμετροι του δικτύου).  Θεωρητικά, το δίκτυο αποκτά περισσότερη γνώση για το περιβάλλον του μετά από κάθε επανάληψη της διαδικασίας μάθησης.  Για να ορίσουμε μια έννοια όπως αυτή της μάθησης εξαρτάται από ποια σκοπιά θα την εξετάσουμε. Εμείς με σημείο αναφοράς τα νευρωνικά δίκτυα χρησιμοποιούμε τον ορισμό των Mendel και McClaren (1970):

31 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 31  Mάθηση είναι μια διαδικασία με την οποία προσαρμόζονται oι ελεύθεροι παράμετροι ενός νευρωνικού δικτύου μέσω μίας συνεχούς διαδικασίας διέγερσης από το περιβάλλον στο οποίο βρίσκεται το δίκτυο. Το είδος της μάθησης καθορίζεται από τον τρόπο με τον οποίο πραγματοποιούνται oι αλλαγές των παραμέτρων.  Ο παραπάνω ορισμός της διαδικασίας μάθησης υπονοεί την ακόλουθη σειρά βημάτων:  1. Tο νευρωνικό δίκτυο "διεγείρεται" από ένα περιβάλλον.  2. Το νευρωνικό δίκτυο υφίσταται αλλαγές σαν συνέπεια αυτής της διέγερσης.  3. Το νευρωνικό δίκτυο "απαντά" με ένα καινούργιο τρόπο στο περιβάλλον, λόγω των αλλαγών που συνέβησαν στην εσωτερική του δομή.

32 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 32 Πιο συγκεκριμένα ας αναλύσουμε την παραπάνω περιγραφή με ένα παράδειγμα. Θεωρούμε ένα ζεύγος κομβικά σήματα x j και u k που συνδέονται με βάρος σύνδεσης όπως απεικονίζεται στο σχήμα 1. Το x j αναπαριστά την έξοδο του νευρώνα j, ενώ το u k την εσωτερική λειτουργία του νευρώνα k. Με βάση το βάρος σύνδεσης w kj, τα σήματα x j και u k αναφέρονται συχνά σαν προσυναπτική και μετασυναπτική λειτουργία αντίστοιχα. Ας συμβολίσουμε με w kj (n) την τιμή του βάρους σύνδεσης την χρονική στιγμή n.

33 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 33  Tη χρονική αυτή στιγμή γίνεται μια ρύθμιση (διόρθωση) ΔW kj (n) στο βάρος W kj (n) και παράγεται η νέα ενημερωμένη τιμή Wkj(n+1).  Ετσι προκύπτει η εξίσωση :  (1)  όπου W kj (n) και W kj (n+1) η παλιά και η νέα τιμή του βάρους σύνδεσης W kj, αντίστοιχα.  Η εξίσωση (1) συγκεντρώνει την συνολική επίδραση των βημάτων 1 και 2 που προκύπτουν από τον ορισμό της διαδικασίας μάθησης και αναφέρθηκαν παραπάνω.  Πιο συγκεκριμένα η ρύθμιση ΔWkj(n) υπολογίζεται σαν αποτέλεσμα της διέγερσης από το περιβάλλον (βήμα 1) και η ενημερωμένη τιμή W kj (n+1) εκφράζει την αλλαγή που συνέβη στο δίκτυο σαν αποτέλεσμα αυτής της διέγερσης (βήμα 2).  Το βήμα 3 πραγματοποιείται όταν υπολογίζεται η απάντηση του νέου δικτύου που λειτουργεί με το ενημερωμένο σύνολο παραμέτρων {W kj (n+1)}.

34 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 34  Ένα καθορισμένο σύνολο από καλά ορισμένους κανόνες για τη λύση ενός προβλήματος μάθησης καλείται αλγόριθμος μάθησης (learning algorithm).  Όπως είναι φανερό, δεν υπάρχει ένας μοναδικός τέτοιος αλγόριθμος για το σχεδιασμό νευρωνικών δικτύων.  Αντίθετα, υπάρχει ένα σύνολο από εργαλεία που αναπαρίστανται από μια μεγάλη ποικιλία αλγορίθμων μάθησης, καθένας από τους οποίους έχει τα δικά του πλεονεκτήματα.  Βασικά, οι αλγόριθμοι διαφέρουν μεταξύ τους στον τρόπο που εκφράζεται η ρύθμιση στο βάρος σύνδεσης  Ένας ακόμη παράγοντας που πρέπει να εξετάσουμε είναι ο τρόπος που το νευρωνικό δίκτυο σχετίζεται με το περιβάλλον.  Στη συνέχεια όταν αναφερόμαστε σε ένα παράδειγμα μάθησης (learning paradigm) θα εννοούμε το μοντέλο του περιβάλλοντος στο οποίο το δίκτυο λειτουργεί.

35 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 35 –ΜΑΘΗΣΗ ΔΙΟΡΘΩΣΗΣ ΛΑΘΟΥΣ –Aς συμβολίσουμε με d k (n) την επιθυμιτή απόκριση του νεύρωνα k τη χρονική στιγμή n και με y k (n) την αντίστοιχη πραγματική απόκριση του νεύρωνα.  Η απόκριση y k (n) παράγεται από ένα διάνυσμα διέγερσης x(n) που εφαρμόζεται στην στην είσοδο του δικτύου που περιέχεται ο νεύρωνας k. Τυπικά, η πραγματική απόκριση y k (n) του νεύρωνα k είναι διαφορετική από την επιθυμητή d k (n). Ετσι μπορούμε να ορίσουμε ένα σήμα λάθους (error signal) σαν τη διαφορά μεταξύ τους:  (2) (2) Ο απώτερος σκοπός της Μάθησης Διόρθωσης Λάθους (Error Correction Learning - E.C.L.) είναι να ελαχιστοποιήσει το λάθος, δηλαδή να ελαχιστοποιήσει μια συνάρτηση κόστους που βασίζεται στο σήμα λάθους έτσι ώστε η πραγματική απόκριση κάθε νευρώνα εξόδου να πλησιάζει την επιθυμητή απόκριση με την στατιστική έννοια.

36 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 36  Πραγματικά, αφού επιλεγεί μια συνάρτηση κόστους το E.C.L. καταλήγει να είναι απλώς ένα πρόβλημα βελτιστοποίησης που αντιμετωπίζεται με τα συνήθη εργαλεία.  Ένα κριτήριο που χρησιμοποιείται συχνά για τη συνάρτηση κόστους είναι το κριτήριο του μέσου τετραγωνικού λάθους (mean square error critirion) που ορίζεται σαν η μέση τετραγωνική τιμή του αθροίσματος των τετραγώνων των λαθών: (3) όπου η άθροιση γίνεται σε όλους τους εξωτερικούς νευρώνες k του δικτύου. Για να αποφύγουμε όμως τη δυσκολία της γνώσης στατιστικών χαρακτηριστικών που απαιτεί η (3), κάνουμε ένα συμβιβασμό για μια κατά προσέγγιση λύση του προβλήματος βελτιστοποίησης. Συγκεκριμένα χρησιμοποιούμε σαν κριτήριο την στιγμιαία τιμή του αθρoίσματος των τετραγώνων των λαθών: (4)

37 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 37  Το δίκτυο πλέον βελτιστοποιείται ελαχιστοποιώντας την τιμή της Φ(n) σε σχέση με τα βάρη σύνδεσης.  Έτσι σύμφωνα με τον κανόνα E.C.L. (ή delta rule) η ρύθμιση Δw kj (n) που γίνεται στο βάρος σύνδεσης τη χρονική στιγμή n δίνεται από τη σχέση:  (5) όπου n μια θετική σταθερά που καθορίζει την ταχύτητα της μάθησης. Με άλλα λόγια η ρύθμιση που γίνεται στο βάρος σύνδεσης είναι ανάλογη του γινομένου του σήματος λάθους (που μετρήθηκε με βάση μια επιθυμητή τιμή εξόδου του νευρώνα) και του σήματος εισόδου της εξεταζόμενης σύνδεσης. Ας σημειωθεί ότι το σήμα εισόδου ισούται με το σήμα εξόδου του προσυνδεδεμένου νευρώνα που τροφοδοτεί αυτόν που εξετάζουμε.

38 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 38  Συνολικά η μέθοδος E.C.L. βασίζεται στο σήμα λάθους e k (n)προκειμένου να υπολογίσει την διόρθωση Δw kj (n) στο βάρος σύνδεσης, σύμφωνα με την εξίσωση (5).  Το σήμα λάθους υπολογίζεται από την εξίσωση (2), ενώ με την (1) προκύπτει η νέα ενημερωμένη τιμή w kj (n+1) του εξεταζόμενου βάρους σύνδεσης.  Επειδή η μέθοδος E.C.L. συμπεριφέρεται σαν σύστημα κλειστής αναδρομής είναι φανερό ότι πρέπει να επιλεγεί με προσοχή η τιμή της μαθησιακής παραμέτρου n ώστε να εξασφαλιστεί η σταθερότητα της διαδικασίας.  Αυτό γιατί η n έχει μεγάλη επίδραση στην απόδοση της μεθόδου και επιδρά όχι μόνο στην ταχύτητα σύγκλισης της μάθησης αλλά και στην ίδια την κατάληξή της. –Αν η n έχει μικρή τιμή η διαδικασία προχωρά ομαλά αλλά μπορεί να πάρει πολύ χρόνο στο σύστημα να συγκλίνει σε σταθερή λύση. –Αντίθετα, αν η τιμή της n είναι μεγάλη η πορεία της μάθησης επιταχύνεται αλλά υπάρχει κίνδυνος η διαδικασία να αποκλίνει και το σύστημα να γίνει ασταθές.

39 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 39  HEBBIAN ΜΑΘΗΣΗ –Η απόδειξη μάθησης του Hebb είναι ο παλαιότερος και γνωστότερος από όλους τους κανόνες μάθησης.  Ονομάστηκε έτσι προς τιμήν του νευροψυχολόγου Hebb (1949). Από το βιβλίο του Hebb "Organization of behavior" (1949, p.62) μεταφράζουμε:  Όταν ένας άξονας του κυττάρου (cell) Α είναι αρκετά κοντά ώστε να διεγείρει ένα κύτταρο Β και επαναληπτικά ή επίμονα παίρνει μέρος στην πυροδότησή του, κάποια διαδικασία ανάπτυξης ή αλλαγές μεταβολισμού συμβαίνουν στο ένα ή και στα δύο κύτταρα τέτοια ώστε η ικανότητα του Α σαν ένα από τα κύτταρα που πυροδοτούν το Β, να αυξάνεται.  Ο Hebb πρότεινε αυτή την αλλαγή, σαν βάση του associative learning -συσχετιστική μάθηση- (σε cellural επίπεδο).  Η αλλαγή αυτή θα είχε σαν αποτέλεσμα μια διαρκή μεταβολή στο πρότυπο ενεργοποίησης (activity pattern) μιας συνάθροισης από νευρικά κύτταρα διασκορπισμένα στο χώρο.

40 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 40  Οι παραπάνω παρατηρήσεις έγιναν πεδίο της νευροβιολογίας. Μεταφέροντας αυτά στο χώρο των νευρωνικών δικτύων παράγουμε τον ακόλουθο δυσκελή κανόνα:  1. Αν δύο νευρώνες εκατέρωθεν της σύνδεσης ενεργοποιούνται ταυτόχρονα, τότε η ισχύς της σύνδεσης αυξάνεται δηλαδή αυξάνεται η τιμή του βάρους σύνδεσής τους.  2. Αν δύο νευρώνες εκατέρωθεν της σύνδεσης ενεργοποιούνται ασύγχρονα, η σύνδεσή τους εξασθενεί (μειώνεται η τιμή του βάρους σύνδεσης) ή και εξαφανίζεται. Με τον τρόπο αυτό συμπεριλαμβάνουμε και την "αρνητική μάθηση".  Μια σύναψη με αυτά τα χαρακτηριστικά ονομάζεται hebbian synapse και επειδή υπεύθυνος για τις αλλαγές είναι ο συσχετισμός της προσυνδετικής και μετασυνδετικής λειτουργείας,αναφέρεται επίσης και σαν συσχετιστική σύναψη (correlational synapse).

41 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 41  Mαθηματικό μοντέλο  Προκειμένου να διατυπώσουμε το μαθηματικό μοντέλο της μάθησης Hebb ας θυμηθούμε το το σχ.1.  Αυτό παριστά την προσυνδετική λειτουργία x j που συνδέεται με την μετασυνδετική λειτουργία y k με βάρος σύνδεσης w kj  Σύμφωνα με τη μέθοδο που εξετάζουμε η ρύθμιση που εφαρμόζεται στο βάρος σύνδεσης w kj την χρονική στιγμή n εκφράζεται με τη μορφή: Μια ειδική απλοποιημένη μορφή της εξίσωσης (6) είναι η: (7) (6) όπου n μια θετική σταθερά που καθορίζει την ταχύτητα μάθησης. Η εξίσωση (7) είναι ο απλούστερος κανόνας για αλλαγή της τιμής του βάρους σύνδεσης.

42 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 42  Παρατηρούμε όμως, ότι μια επαναληπτική εφαρμογή του σήματος εισόδου x j έχει σαν συνέπεια μια εκθετική αύξηση που μπορεί να οδηγήσει το βάρος σύνδεσης w kj σε κορεσμό.  Mια λύση είναι να εισάγουμε στην εξ.(7) έναν παράγοντα "λήθης" ως εξής: όπου α>0 (8) ή ισοδύναμα: Η εξίσωση αυτή σημαίνει ότι όταν η τιμή της εισόδου ικανοποιεί τη σχέση:, η τιμή του βάρους σύνδεσης μειώνεται ανάλογα με την τιμή της μετασυνδετικής λειτουργίας y k (n). Αντίθετα, όταν: η τιμή του βάρους σύνδεσης αυξάνεται ανάλογα με το y k (n).

43 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 43  ΑΝΤΑΓΩΝΙΣΤΙΚΗ ΜΑΘΗΣΗ  Στην ανταγωνιστική μάθηση -competitive learning- όπως δηλώνει και η ονομασία οι νευρώνες εξόδου ανταγωνίζονται μεταξύ τους ποιος θα είναι ο ενεργός.  Παρατηρούμε δηλαδή, ότι ενώ σε ένα νευρωνικό δίκτυο που βασίζεται στη μάθηση Hebb πολλοί νευρώνες εξόδου μπορούν να είναι ενεργοί ταυτόχρονα, στην ανταγωνιστική μάθηση μόνο ένας νευρώνας εξόδου είναι ενεργός σε κάθε χρονική στιγμή.  Η βασική ιδέα και αυτής της μεθόδου έχει τις ρίζες της σε μελέτες αρχικά της νευροβιολογίας που στην συνέχεια επεκτάθηκαν στο πεδίο των νευρωνικών δικτύων.  Υπάρχουν τρία βασικά στοιχεία σε έναν κανόνα ανταγωνιστικής μάθησης:  Ένα σύνολο νευρώνων που είναι όλοι ίδιοι, αν εξαιρέσουμε μερικά τυχαία διανεμημένα βάρη σύνδεσης και επομένως ανταποκρίνονται διαφορετικά σε ένα δεδομένο σύνολο από δείγματα εισόδου.  Ένα όριο που έχει επιβληθεί στην "ισχύ" κάθε νευρώνα.  Ένας μηχανισμός που επιτρέπει στους νευρώνες να ανταγωνίζονται για τη σωστή αντίδραση σε ένα δεδομένο υποσύνολο εισόδων, έτσι ώστε μόνο ένας νευρώνας εξόδου, ή μόνο ένας ανά ομάδα, να είναι ενεργός σε μια χρονική στιγμή. Ο νευρώνας που νικά σε αυτόν τον ανταγωνισμό καλείται winner-takes-all.

44 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 44 –Έτσι καθένας από τους νευρώνες του δικτύου μαθαίνει να ειδικεύεται σε ένα σύνολο από παρόμοια δείγματα και επομένως λειτουργεί σαν ανιχνευτής χαρακτηριστικών. –Στην απλούστερη μορφή της ανταγωνιστικής μάθησης, το νευρωνικό δίκτυο έχει ένα μοναδικό επίπεδο -layer- από νευρώνες εξόδου καθένας από τους οποίους είναι ενωμένος με όλους τους κόμβους εισόδου. –Το δίκτυο μπορεί να περιλαμβάνει και παράπλευρες συνδέσεις μεταξύ των νευρώνων. –Στην αρχιτεκτονική που περιγράφεται εδώ, οι παράπλευρες συνδέσεις αποτελούν κωλύματα με κάθε νευρώνα να τείνει να εμποδίσει τον νευρώνα με τον οποίο συνδέεται παράπλευρα. –Οι υπόλοιπες συνδέσεις του δικτύου είναι διεγερτικές. Ας υποθέσουμε ότι ο νευρώνας j είναι ο νικητής. –Τότε το εσωτερικό επίπεδο λειτουργίας του, u j για ένα συγκεκριμένο δείγμα εισόδου x πρέπει να είναι το μεγαλύτερο στο δίκτυο. –Έτσι το σήμα εξόδου y j του νικητή νευρώνα j γίνεται ίσο με τη μονάδα, ενώ τα σήματα εξόδου των άλλων νευρώνων που χάνουν στο συναγωνισμό γίνονται μηδέν.

45 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 45 –Συμβολίζουμε με w ji το βάρος σύναψης που συνδέει τον κόμβο εισόδου - i με τον νευρώνα j. –Σε κάθε νευρώνα χορηγείται ένα σταθερό συνολικό ποσό βαρών σύνδεσης (όλα τα βάρη σύνδεσης είναι θετικά) που διανέμεται στους κόμβους εισόδου, οπότε έχουμε: (11) Ο νευρώνας μαθαίνει μεταφέροντας βάρος σύνδεσης από τους αδρανείς στους ενεργούς κόμβους. Αν ο νευρώνας χάσει στον ανταγωνισμό, δεν υπάρχει μάθηση και επομένως δεν συμβαίνει καμία μεταβολή. Αντίθετα, αν ο νευρώνας κερδίσει γίνεται μια ανακατανομή των βαρών σύνδεσης. Κάθε κόμβος εγκαταλείπει κάποιο μέρος του βάρους σύνδεσης, το οποίο μοιράζεται ισόποσα στους ενεργούς κόμβους εισόδου.

46 ΥΝ Ι: ΔΙΑΔΙΚΑΣΙΑ ΜΑΘΗΣΗΣ 46  Σύμφωνα λοιπόν με τον κανόνα ανταγωνιστικής μάθησης, η αλλαγή που εφαρμόζεται στο βάρος σύνδεσης ορίζεται ως εξής: (12) όπου n είναι η παράμετρος ταχύτητας μάθησης. Ο κανόνας αυτός εκφράζει την συνολική επίδραση της προσέγγισης του διανύσματος w ji, που περιλαμβάνει τα βάρη σύνδεσης του νικητή νευρώνα j, στο δείγμα εισόδου x.