ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 1 ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ (Τεχνητά Νευρωνικά Δίκτυα και Γενετικοί Αλγόριθμοι) ΣΠΥΡΟΣ ΛΥΚΟΘΑΝΑΣΗΣ, ΚΑΘΗΓΗΤΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ.

Παρουσίαση με θέμα: "ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 1 ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ (Τεχνητά Νευρωνικά Δίκτυα και Γενετικοί Αλγόριθμοι) ΣΠΥΡΟΣ ΛΥΚΟΘΑΝΑΣΗΣ, ΚΑΘΗΓΗΤΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ."— Μεταγράφημα παρουσίασης:

1 ΥΝ Ι: ΑΝΑΠΑΡΑΣΤΑΣΗ ΓΝΩΣΗΣ 1 ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ (Τεχνητά Νευρωνικά Δίκτυα και Γενετικοί Αλγόριθμοι) ΣΠΥΡΟΣ ΛΥΚΟΘΑΝΑΣΗΣ, ΚΑΘΗΓΗΤΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΡΓΑΣΤΗΡΙΟ ΑΝΑΓΝΩΡΙΣΗΣ ΠΡΟΤΥΠΩΝ

2 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 2 Εισαγωγή  Η Υπολογιστική Νοημοσύνη, αποτελεί κλάδο της Τ.Ν.  Αποτελείται από τεχνικές/μεθόδους εμπνευσμένες από τη φύση.  Τέτοιες μέθοδοι είναι:  1. Τεχνητά Νευρωνικά Δίκτυα  2. Εξελικτικοί/Γενετικοί Αλγόριθμοι  3.Ant Colony  4. Particle Swarm Optimization  Ευρετικές μέθοδοι (Heuristics)

3 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 3 Περιεχόμενα Παρουσίασης  Τεχνητά Νευρωνικά Δίκτυα –Τι είναι; –Το μοντέλο του νευρώνα, –Βασικές Αρχιτεκτονικές – δομές, –Μάθηση, –Αλγόριθμοι Εκπαίδευσης, –Παραδείγματα Εκπαίδευσης, –Πλεονεκτήματα, –Εφαρμογές

4 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 4 Τι είναι;  Είναι απλοποιημένα μοντέλα του Εγκεφάλου.  «Είναι δίκτυα, από διασυνδεδεμένα νευρωνικά υπολογιστικά στοιχεία (νευρώνες), που έχουν την ικανότητα να ανταποκρίνονται σε ερεθίσματα που δέχονται στην είσοδό τους και να μαθαίνουν να προσαρμόζονται στο περιβάλλον τους».

5 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 5 Εγκέφαλος: Το βιολογικό πρωτότυπο  Ο μέσος ανθρώπινος εγκέφαλος: –10 9 νευρώνες, –10 12 συνάψεις, –5-6 φορές αργότερος από τα ηλεκτρονικά κυκλώματα. –Αντισταθμίζει το σχετικά αργό ρυθμό λειτουργίας του με την πολύπλοκη, μαζικά παράλληλη, μη-γραμμική δομή του. –Πολύ πιο γρήγορος από τα ηλεκτρονικά κυκλώματα σε συγκεκριμένες λειτουργίες: όραση, ακοή κ.α

6 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 6 Τεχνητά Νευρωνικά Δίκτυα vs. Εγκέφαλος  Προσομοιάζουν τον εγκέφαλο στα εξής: –Η γνώση αποκτάται μέσα από διαδικασία εκπαίδευσης – μάθησης, –Η γνώση αποθηκεύεται στα συναπτικά βάρη.

7 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 7 Το μοντέλο του Νευρώνα  Είναι η θεμελιώδης μονάδα επεξεργασίας πληροφορίας στα Τ.Ν.Δ.  Αποτελεί το τεχνητό ανάλογο του βιολογικού νευρώνα.

8 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 8 Το μοντέλο του Νευρώνα  Περιγράφεται από τις εξισώσεις: Όπου: x j είναι τα σήματα εισόδου w kj είναι τα βάρη του νευρώνα k u k είναι η έξοδος του γραμμικού συνδυαστή (net input), θ k είναι το κατώφλι, υ k είναι το δυναμικό ενεργοποίησης (activation potential), φ() είναι η συνάρτηση ενεργοποίησης (μπορεί να πάρει διάφορες μορφές – γραμμικές και μη- γραμμικές), y k είναι το σήμα εξόδου του νευρώνα

9 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 9 Βασικές Αρχιτεκτονικές - Δομές  Νευρωνικά Δίκτυα Εμπρόσθιας Τροφοδότησης ενός επιπέδου,  Νευρωνικά Δίκτυα Εμπρόσθιας Τροφοδότησης πολλαπλών επιπέδων, τα οποία μπορεί να είναι πλήρως ή μερικώς συνδεδεμένα.  Αναδρομικά Δίκτυα,

10 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 10 Δίκτυα εμπρόσθιας τροφοδότησης ενός επιπέδου

11 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 11 Δίκτυα εμπρόσθιας τροφοδότησης πολλών επιπέδων

12 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 12 Αναδρομικά Δίκτυα

13 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 13 Μάθηση «είναι μια διαδικασία με την οποία προσαρμόζονται οι ελεύθεροι παράμετροι (δηλαδή τα βάρη και τα κατώφλια) ενός Νευρωνικού Δικτύου μέσω μίας διαδικασίας συνεχούς διέγερσης από το περιβάλλον στο οποίο βρίσκεται το δίκτυο. Το είδος της μάθησης καθορίζεται από τον τρόπο με τον οποίο πραγματοποιούνται οι αλλαγές των παραμέτρων».

14 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 14 Μάθηση Ο ορισμός της διαδικασίας μάθησης υπονοεί την ακόλουθη σειρά βημάτων για το Νευρωνικό Δίκτυο: 1. «διεγείρεται» από το περιβάλλον. 2. υφίσταται αλλαγές ως συνέπεια αυτής της διέγερσης. 3. «απαντά» με έναν καινούργιο τρόπο στο περιβάλλον.

15 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 15 Μάθηση Γενίκευση η δυνατότητα των Νευρωνικών Δικτύων να «εργάζονται» και με παραδείγματα που δεν έχουν χρησιμοποιηθεί κατά τη φάση της εκπαίδευσης τους. Χωρίς αυτήν την ικανότητα τα Νευρωνικά Δίκτυα θα μπορούσαν, απλώς, να επεξεργάζονται πληροφορία που είχαν μάθει και τίποτα παραπάνω.

16 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 16 Αλγόριθμοι Εκπαίδευσης  «Ένα καθορισμένο σύνολο από καλά ορισμένους κανόνες για την επίλυση ενός προβλήματος μάθησης».  Πληθώρα αλγορίθμων εκπαίδευσης.

17 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 17 Παραδείγματα Εκπαίδευσης  Επιβλεπόμενη Εκπαίδευση (Supervised Training),  Ενισχυτική Εκπαίδευση (Reinforcement Training) και  Μη-επιβλεπόμενη Εκπαίδευση (Unsupervised Training)

18 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 18 Επιβλεπόμενη Εκπαίδευση  Υποθέτουμε την παρουσία ενός δασκάλου.  Κάθε δείγμα που χρησιμοποιείται για την εκπαίδευση του δικτύου αποτελείται από ένα δείγμα εισόδου και ένα δείγμα επιθυμητής εξόδου. 1. Σύγκριση μεταξύ της εξόδου που υπολογίζει το δίκτυο και της επιθυμητής εξόδου προκειμένου να καθοριστεί το λάθος. 2. Μεταβολή των ελεύθερων παραμέτρων ώστε να βελτιωθεί η απόδοσή (μειωθεί το λάθος). 3. Επανάληψη της διαδικασίας της διόρθωσης της τιμής των ελευθέρων παραμέτρων έως ότου οι τιμές τους συγκλίνουν σε ένα σύνολο τιμών τέτοιο ώστε το δίκτυο να είναι ικανό να επιτελέσει το έργο για το οποίο εκπαιδευόταν.

19 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 19 Ενισχυτική Εκπαίδευση  Υποθέτουμε ύπαρξη δασκάλου,  Ο δάσκαλος δεν παρέχει στο δίκτυο το επιθυμητό διάνυσμα εξόδου, αντί αυτού, δίνει μια ένδειξη για το αν η έξοδος που υπολογίζεται είναι σωστή ή λάθος.  Το δίκτυο χρησιμοποιεί αυτήν την πληροφορία, προκειμένου να βελτιώσει την απόδοσή του: –δίνεται μια ανταμοιβή, ενισχύοντας τα βάρη των κόμβων που δίνουν σωστή απάντηση –και μια τιμωρία ελαττώνοντας τις τιμές των βαρών σε αυτούς τους κόμβους που δίνουν λάθος απάντηση.

20 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 20 Μη-Επιβλεπόμενη Εκπαίδευση  Δεν υπάρχει δάσκαλος  Τα δείγματα εκπαίδευσης αποτελούνται μόνο από τα δείγματα εισόδου και δεν περιέχουν δείγματα επιθυμητής εξόδου.  Το σύστημα μαθαίνει ανακαλύπτοντας και προσαρμόζοντας τον εαυτό του σε κάποια δομικά χαρακτηριστικά των διανυσμάτων εισόδου. –ενίσχυση επιλεγμένων βαρών προκειμένου το διάνυσμα εξόδου να ταιριάζει σε κεντρικά πρωτότυπα δείγματα εκπαίδευσης που είναι αντιπροσωπευτικά ενός συνόλου από παρόμοια δείγματα.

21 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 21 Πλεονεκτήματα 1. Μη-γραμμικότητα 2. Σχεδιασμός Εισόδου-Εξόδου 3. Προσαρμοστικότητα 4. Αντοχή σε σφάλματα 5. Υλοποιησιμότητα σε VLSI 6. Αναλογία με Νευροβιολογία

22 ΥΝ Ι: ΕΙΣΑΓΩΓΗ 22 Εφαρμογές  Επεξεργασία σημάτων,  Συστήματα ελέγχου,  Αναγνώριση προτύπων,  Ιατρική,  Παραγωγή και αναγνώριση φωνής,  Οικονομικά,  Προβλήματα συνδυαστικής βελτιστοποίησης,