Τεχνητή Νοημοσύνη Ενότητα 10: Μηχανική Μάθηση (Machine Learning) Κατερίνα Γεωργούλη ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ TEI ΑΘΗΝΑΣ.

Slides:



Advertisements
Παρόμοιες παρουσιάσεις
Εξόρυξη Δεδομένων και Αλγόριθμοι Μάθησης
Advertisements

Μηχανική Μάθηση (Machine Learning)
Γειά σας. Say: take a pencil. Πάρε ένα μολύβι. Nick, give me my book.
Εξόρυξη Δεδομένων και Αλγόριθμοι Μάθησης
Present Continuous Ο Present Continuous χρησιμοποιείται για πράξεις που γίνονται τώρα. Π.χ. The girls are swimming now. Κάτι που γίνεται προσωρινά. Π.χ.
ΗΥ Παπαευσταθίου Γιάννης1 Clock generation.
ΟΡΓΑΝΙΣΜΟΣ ΒΙΟΜΗΧΑΝΙΚΗΣ ΙΔΙΟΚΤΗΣΙΑΣ “Preparing Europe for Global Competition” THE NETWORK : The Patent and Trademark Offices.
Προσομοίωση Δικτύων 2n Άσκηση Δημιουργία, διαμόρφωση μελέτη επικοινωνιακών ζεύξεων.
Week 11 Quiz Sentence #2. The sentence. λαλο ῦ μεν ε ἰ δότες ὅ τι ὁ ἐ γείρας τ ὸ ν κύριον Ἰ ησο ῦ ν κα ὶ ἡ μ ᾶ ς σ ὺ ν Ἰ ησο ῦ ἐ γερε ῖ κα ὶ παραστήσει.
WRITING B LYCEUM Teacher Eleni Rossidou ©Υπουργείο Παιδείας και Πολιτισμού.
Lesson 6c: Around the City I JSIS E 111: Elementary Modern Greek Sample of modern Greek alphabet, M. Adiputra,
Διοίκηση Απόδοσης Επιχειρηματικών Διαδικασιών Ενότητα #5: Key result indicators (KRIs), Performance Indicators (PIs), Key Performance Indicators (KPIs)
Lesson 1a: Let’s Get Started JSIS E 111: Elementary Modern Greek Sample of modern Greek alphabet, M. Adiputra,
Lesson 1a: Let’s Get Started JSIS E 111: Elementary Modern Greek Sample of modern Greek alphabet, M. Adiputra,
ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Εκπαιδευτικά Προγράμματα με Χρήση Η/Υ Ι ΘΕΩΡΙΕΣ ΜΑΘΗΣΗΣ ΚΑΙ ΝΕΕΣ ΤΕΧΝΟΛΟΓΙΕΣ (Learning Theories and.
ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Θέματα Διδακτικής των Φυσικών Εννοιών Light, Science and Society The importance of plants for global.
Προσομοίωση Δικτύων 3η Άσκηση Δημιουργία, διαμόρφωση μελέτη σύνθετων τοπολογιών.
Αριθμητική Επίλυση Διαφορικών Εξισώσεων 1. Συνήθης Δ.Ε. 1 ανεξάρτητη μεταβλητή x 1 εξαρτημένη μεταβλητή y Καθώς και παράγωγοι της y μέχρι n τάξης, στη.
Η προοπτική εξέλιξης των προγραμμάτων Ηλεκτρονικής Διά Βίου Μάθησης στην Ελλάδα Συμεών Δ. Ρετάλης & Γ. Κορρές ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΑ ΤΜΗΜΑ ΔΙΔΑΚΤΙΚΗΣ ΤΗΣ.
Διαχείριση Διαδικτυακής Φήμης! Do the Online Reputation Check! «Ημέρα Ασφαλούς Διαδικτύου 2015» Ε. Κοντοπίδη, ΠΕ19.
SCIENCE EDUCATION Οργάνωση εξωσχολικών επισκέψεων/δράσεων Άννα Σπύρτου Άννα Σπύρτου.
Ασκήσεις WEKA Δέντρα αποφάσεων.
Μαθαίνω με “υπότιτλους”
Περιγραφή Γίνεται αναφορά σε σημαντικές έννοιες εξόρυξης δεδομένων (data mining) που αφορούν το μοντέλο k-means cluster (data mining) model. Η διεκπεραίωση.
I watch Do I watch? I don’t watch You watch Do you watch?
SPACE “Exploring the City surrounding our Prison: a glimpse from Inside to the Outside.” SDE DIAVATON.
Αντικειμενοστραφής Προγραμματισμός ΙΙ
THE GOOD WEEK.
Αντίληψη Αντίληψη του φυσικού κόσμου που μας περιβάλλει, μέσω του νευρικού μας συστήματος (sensory perception). Η αντίληψη αποτελεί δημιούργημα του εγκεφάλου.
Λ. Μήτρου, Επικ. Καθηγήτρια – Πανεπιστήμιο Αιγαίου Κανονιστικές και Κοινωνικές Διαστάσεις της Κοινωνίας της Πληροφορίας /3 Χειμερινό εξάμηνο
Matrix Analytic Techniques
Κεφάλαιο 12 Δάση.
ΕΡΕΥΝΗΤΙΚΗ ΕΡΓΑΣΙΑ Β4 Σχ. Έτος:
Αλγόριθμοι Ταξινόμησης – Μέρος 3
Ενότητα 3: Σχεδιασμός Υλοποίησης Ρεπορτάζ
Αναγνώριση Προτύπων (Pattern Recognition)
ΑΓΡΟΤΙΚΗ ΠΟΛΙΤΙΚΗ Οικονομική Ανάλυση.
ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ
JSIS E 111: Elementary Modern Greek
GO.
Η Δομή Επανάληψης Μέχρις_Ότου οι 3 Δομές Επανάληψης ή
Adjectives Introduction to Greek By Stephen Curto For Intro to Greek
Από τη Δομή Επανάληψης Για στην Όσο Πηγή: Τσιωτάκης Παναγιώτης
ΤΕΙ ΚΕΝΤΡΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ Τμήμα Μηχανικών Πληροφορικής ΤΕ
ΟΜΑΔΟΣΥΝΕΡΓΑΤΙΚΗ ΜΑΘΗΣΗ ΔΙΑΧΥΣΗ ΤΗΣ ΓΝΩΣΗΣ ΣΤΗΝ ΤΟΠΙΚΗ ΚΟΙΝΩΝΙΑ
Εξόρυξη δεδομένων και διαχείριση δεδομένων μεγάλης κλίμακας
(ALPHA BANK – EUROBANK – PIRAEUS BANK)
Αντίληψη αντίληψη του φυσικού κόσμου που μας περιβάλλει, μέσω του νευρικού μας συστήματος αποτελεί δημιούργημα του εγκεφάλου και άρα τα χαρακτηριστικά.
Πανεπιστήμιο Θεσσαλίας
JSIS E 111: Elementary Modern Greek
ΥΠΟΥΡΓΕΙΟ ΠΑΙΔΕΙΑΣ ΚΑΙ ΠΟΛΙΤΙΣΜΟΥ
ΔΙΑΧΕΙΡΙΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ ΠΑΓΚΟΣΜΙΟΥ ΙΣΤΟΥ ΚΑΙ ΓΛΩΣΣΙΚΑ ΕΡΓΑΛΕΙΑ
Find: φ σ3 = 400 [lb/ft2] CD test Δσ = 1,000 [lb/ft2] Sand 34˚ 36˚ 38˚
JSIS E 111: Elementary Modern Greek
JSIS E 111: Elementary Modern Greek
aka Mathematical Models and Applications
GLY 326 Structural Geology
Find: angle of failure, α
ΤΙ ΕΙΝΑΙ ΤΑ ΜΟΆΙ;.
νλμ : The Computational Content of Classical Natural Deduction
Find: σ’v at d=30 feet in [lb/ft2]
ΜΕΤΑΦΡΑΣΗ ‘ABC of Selling’. ΤΟ ΑΛΦΑΒΗΤΑΡΙ ΤΩΝ ΠΩΛΗΣΕΩΝ
Find: Force on culvert in [lb/ft]
JSIS E 111: Elementary Modern Greek
Τμήμα Πληροφορικής Α.Π.Θ. Παρουσίαση της Κατεύθυνσης
Find: ρc [in] from load (4 layers)
Εθνικό Μουσείο Σύγχρονης Τέχνης Faceforward … into my home!
ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ ΕΡΓΑΣΤΗΡΙΟ
Μεταγράφημα παρουσίασης:

Τεχνητή Νοημοσύνη Ενότητα 10: Μηχανική Μάθηση (Machine Learning) Κατερίνα Γεωργούλη ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ TEI ΑΘΗΝΑΣ

Επισκόπηση  Εισαγωγή,  Επίλυση προβλημάτων,  Αλγόριθμοι Αναζήτησης,  Αναπαράσταση Γνώσης,  Συστήματα βασισμένα στη γνώση,  Μηχανική Μάθηση – Δένδρα Απόφασης - Παραγωγής – Νευρωνικά Δίκτυα – Γενετικοί Αλγόριθμοι  Νοήμονες πράκτορες. 1

ΟΡΙΣΜΟΣ "Μηχανική Μάθηση (Machine Learning)": Η διαδικασία κατά την οποία ένα σύστημα βελτιώνει τη συμπεριφορά του κατά την εκτέλεση μιας συγκεκριμένης εργασίας, χωρίς να υπάρχει ανάγκη να προγραμματιστεί εκ νέου. 2

Είδη Μηχανικής Μάθησης  Μάθηση με επίβλεψη (supervised learning – learning from examples) όπου ο αλγόριθμος κατασκευάζει μια συνάρτηση που απεικονίζει δεδομένες εισόδους σε γνωστές, επιθυμητές εξόδους (σύνολο εκπαίδευσης), με απώτερο στόχο τη γενίκευση της συνάρτησης αυτής και για εισόδους με άγνωστη έξοδοσυνάρτηση  Μάθηση χωρίς επίβλεψη (unsupervised learning- learning from observations) όπου ο αλγόριθμος κατασκευάζει ένα μοντέλο για κάποιο σύνολο εισόδων χωρίς να γνωρίζει επιθυμητές εξόδους  Ενισχυτική μάθηση (reinforcement learning) όπου ο αλγόριθμος μαθαίνει μια στρατηγική ενεργειών για μια δεδομένη παρατήρηση  Εξελικτική Μάθηση (evolutionary learning) Μίμηση αναπαραγωγικής διαδικασίας 3

Είδη Μηχανικής Μάθησης  Μάθηση με επίβλεψη (supervised learning – learning from examples) όπου ο αλγόριθμος κατασκευάζει μια συνάρτηση που απεικονίζει δεδομένες εισόδους σε γνωστές, επιθυμητές εξόδους (σύνολο εκπαίδευσης), με απώτερο στόχο τη γενίκευση της συνάρτησης αυτής και για εισόδους με άγνωστη έξοδοσυνάρτηση  Μάθηση χωρίς επίβλεψη (unsupervised learning- learning from observations) όπου ο αλγόριθμος κατασκευάζει ένα μοντέλο για κάποιο σύνολο εισόδων χωρίς να γνωρίζει επιθυμητές εξόδους  Ενισχυτική μάθηση (reinforcement learning) όπου ο αλγόριθμος μαθαίνει μια στρατηγική ενεργειών για μια δεδομένη παρατήρηση  Εξελικτική Μάθηση (evolutionary learning) Μίμηση αναπαραγωγικής διαδικασίας 4

Είδη Μηχανικής Μάθησης  Μάθηση με επίβλεψη (supervised learning – learning from examples) όπου ο αλγόριθμος κατασκευάζει μια συνάρτηση που απεικονίζει δεδομένες εισόδους σε γνωστές, επιθυμητές εξόδους (σύνολο εκπαίδευσης), με απώτερο στόχο τη γενίκευση της συνάρτησης αυτής και για εισόδους με άγνωστη έξοδοσυνάρτηση  Μάθηση χωρίς επίβλεψη (unsupervised learning- learning from observations) όπου ο αλγόριθμος κατασκευάζει ένα μοντέλο για κάποιο σύνολο εισόδων χωρίς να γνωρίζει επιθυμητές εξόδους  Ενισχυτική μάθηση (reinforcement learning) όπου ο αλγόριθμος μαθαίνει μια στρατηγική ενεργειών για μια δεδομένη παρατήρηση  Εξελικτική Μάθηση (evolutionary learning) Μίμηση αναπαραγωγικής διαδικασίας 5

Είδη Μηχανικής Μάθησης  Μάθηση με επίβλεψη (supervised learning – learning from examples) όπου ο αλγόριθμος κατασκευάζει μια συνάρτηση που απεικονίζει δεδομένες εισόδους σε γνωστές, επιθυμητές εξόδους (σύνολο εκπαίδευσης), με απώτερο στόχο τη γενίκευση της συνάρτησης αυτής και για εισόδους με άγνωστη έξοδοσυνάρτηση  Μάθηση χωρίς επίβλεψη (unsupervised learning- learning from observations) όπου ο αλγόριθμος κατασκευάζει ένα μοντέλο για κάποιο σύνολο εισόδων χωρίς να γνωρίζει επιθυμητές εξόδους  Ενισχυτική μάθηση (reinforcement learning) όπου ο αλγόριθμος μαθαίνει μια στρατηγική ενεργειών για μια δεδομένη παρατήρηση  Εξελικτική Μάθηση (evolutionary learning) Μίμηση αναπαραγωγικής διαδικασίας 6

Τεχνικές Μάθησης με επίβλεψη Επαγωγική μάθηση:  Μάθηση με Δένδρα Απόφασης  Νευρωνικά Δίκτυα,  Μάθηση κανόνων,  Μάθηση κατά Bayes,  Μάθηση βασισμένη σε περιπτώσεις,  ………… 7

Φάσεις Μηχανικής Μάθησης Υπάρχουσα γνώση Σύνολο εκπαίδευσης εκπαίδευση Νέα γνώση Πιστοποίηση Δεδομένα ελέγχου Εφαρμογή κριτική αποτελέσματα

Ερώτημα "Πώς μπορεί μία μηχανή να δημιουργήσει γενικούς κανόνες από συγκεκριμένα παραδείγματα και πόσο αξιόπιστοι είναι αυτοί οι κανόνες στην πράξη;"  Μάθηση με επίβλεψη όπου ο αλγόριθμος κατασκευάζει μια συνάρτηση που απεικονίζει δεδομένες εισόδους σε γνωστές, επιθυμητές εξόδους (σύνολο εκπαίδευσης), με απώτερο στόχο τη γενίκευση της συνάρτησης αυτής και για εισόδους με άγνωστη έξοδοσυνάρτηση – Εφαρμογή επαγωγικής μάθησης, (μάθησης μέσω παραδειγμάτων) Μέσω της τεχνικής των Δένδρων Απόφασης 9

Μάθηση χτίζοντας Δένδρα Απόφασης για εξαγωγή κανόνων Σε ένα Δένδρο απόφασης (decision tree) :  οι ομάδες πιθανών συμπερασμάτων δημιουργούνται στα φύλλα του δένδρου όταν αυτά περιέχουν δείγματα που ανήκουν στην ίδια κατηγορία έτσι ώστε να επιτρέπουν δημιουργία κανόνων 10

Δένδρα Απόφασης (Decision Trees)  Κατάλληλα για διαχωρισμό γνώσης βάσει χαρακτηριστικών  Κατάλληλα για εξόρυξη γνώσης Βασικές Προϋποθέσεις για τη δημιουργία τους  ύπαρξη επαρκών δειγμάτων στιγμιότυπων (examples) για δημιουργία ενός εκπαιδευτικού συνόλου (training set),  ύπαρξη αντιθέτων χαρακτηριστικών (attributes), αριθμητικών ή λογικών που θα αποτελέσουν τις ιδιότητες (προϋποθέσεις του επιδιωκόμενου προς εξαγωγή κανόνα),  Κατηγοριών ταξινόμησης (classes)(συμπεράσματα του επιδιωκόμενου προς εξαγωγή κανόνα). 11

Δένδρα Απόφασης- Διαχωρισμός Δεδομένων Παράδειγμα: 12 Play 9 Don’t Play 5 Play 2 Don’t Play 3 Play 3 Don’t Play 2 Play 4 Don’t Play 0 Play 2 Don’t Play 0 Play 0 Don’t Play 3 Play 3 Don’t Play 0 Play 0 Don’t Play 2 ΚΑΙΡΟΣ? συννεφιά λιακάδαβροχή ΥΓΡΑΣΙΑ?ΑΝΕΜΟΣ? ναί όχι <=70 >70 Depended Variable: PLAY Για τη δημιουργία ενός δένδρου απόφασης ο αλγόριθμος χρησιμοποιεί την τεχνική «διαίρει και βασίλευε».

Παραδειγματικές περιπτώσεις για δημιουργία Δέντρου Απόφασης 13 OutlookTemperatureHumidityWindyPlay? SunnyHotHighFalseNo SunnyHotHighTrueNo OvercastHotHighFalseYes RainMildHighFalseYes RainCoolNormalFalseYes RainCoolNormalTrueYes OvercastCoolNormalTrueYes SunnyMildHighFalseYes SunnyCoolNormalFalseYes RainMildNormalFalseYes SunnyMildNormalTrueYes OvercastMildHighTrueYes OvercastHotNormalFalseYes RainMildHighTrueYes

Πώς αναπαρίσταται ένα Δένδρο Απόφασης; 14 Available in: /images/google_favicon_128.png Η ρίζα του δένδρου είναι ένα από τα χαρακτηριστικά που ο αλγόριθμος κρίνει προσφορότερο για να επιλέξει πρώτο. Κάθε εσωτερικός κόμβος του δένδρου ονοματίζεται με το όνομα ενός νέου χαρακτηριστικού που δεν έχει ήδη χρησιμοποιηθεί στο συγκεκριμένο κλαδί του δένδρου Κάθε ακμή ονοματίζεται με μια διαφορετική τιμή που μπορεί να πάρει το χαρακτηριστικό του κόμβου από τον οποίο ξεκινάει η ακμή Κάθε φύλλο αντιστοιχεί στο όνομα μιας κατηγορίας ταξινόμησης

Δημιουργία Δέντρου Παραγωγής (παράδειγμα tennis) 15 Play 9 Don’t Play 4 Play 2 Don’t Play 3 Play 3 Don’t Play 2 Play 4 Don’t Play 0 Play 2 Don’t Play 0 Play 0 Don’t Play 3 Play 3 Don’t Play 0 Play 0 Don’t Play 2 OUTLOOK? overcast sunny HUMIDITY? WINDY? TRUEFALSE <=70 >70 Depended Variable: PLAY OUTLOOK overcastsunny rainy HUMIDITY? WINDY? TRUEFALSEHIGH NORMAL YES NO YES rainy

ΦωτότυποςΚάψιμο-μαύρισμαΑντηλιακό 1 Κοκκινόξανθα μαλλιά, γαλλαζοπράσινα μάτια & φακίδες. Καίγεται εύκολα. Δε μαυρίζει ποτέ. 2 Ξανθά μαλλιά, γαλαζοπράσινα μάτια & δεν έχει φακίδες. Καίγεται εύκολα. Μαυρίζει δύσκολα. 3 Έχει καστανά μαλλιά και μάτια. Ανοιχτόχρωμο δέρμα. Καίγεται αρκετά εύκολα. Μαυρίζει δύσκολα. 4 Έχει σκούρα καστανά μαλλιά και μάτια. Σκουρόχρωμο δέρμα. Καίγεται δύσκολα και μαυρίζει πολύ εύκολα. 5 Έχει μαύρα μαλλιά και μάτια. Σοκολατένιο δέρμα. Καίγεται πολύ δύσκολα. 6 Έχει μαύρα μαλλιά και μάτια Δέρμα σαν τον έβενο. Καίγεται πολύ δύσκολα. Συγκέντρωση υποδειγματικών περιπτώσεων 16 Κάηκε?

30 ΔείγματαΕμφανισιακά ΧαρακτηριστικάΑντηλιακό 1 Κόκκινα μαλλιά, Πράσινα μάτια. Άσπρο δέρμα. 2 Ξανθά μαλλιά, Μπλε μάτια Σταράτο δέρμα 3 Καστανά μαλλιά, Μαύρα μάτια Σταράτο δέρμα 4 Καστανά μαλλιά Πράσινα μάτια Άσπρο δέρμα 5 Ξανθά μαλλιά Μαύρα μάτια Σκούρο δέρμα 6 Ξανθά μαλλιά Πράσινα μάτια Σκούρο δέρμα Συγκέντρωση υποδειγματικών περιπτώσεων 17 Κάηκε? 30

Παράδειγμα training set 18 ΌνομαΜαλλιάΎψοςΒάροςΑντηλιακόΑποτέλεσμα ΣάραξανθάμέτριοελαφρύόχιΚΑΗΚΕ ΆνναξανθάψηλόμέτριοναιOXI ΝίκοςκαστανάκοντόμέτριοναιOXI ΆλεξξανθάκοντόμέτριοόχιΚΑΗΚΕ ΝταϊάνακόκκιναμέτριοβαρύόχιΚΑΗΚΕ ΤάκηςκαστανάψηλόβαρύόχιOXI ΚαίτηκαστανάμέτριοβαρύόχιOXI ΓιάννηςξανθάκοντόελαφρύναιOXI

Παράδειγμα δημιουργίας δένδρου παραγωγής (1 από 2) 19 Κάηκε:ΝΑΙ ναι Κάηκε: ΟΧΙ Κανόνας 2ος: ΕΑΝ κάποιος έχει Χρώμα καστανό ΤΟΤΕ όχι (δεν καίγεται) Κανόνας 1ος: ΕΑΝ κάποιος έχει Χρώμα κόκκινο ΤΟΤΕ ναι (καίγεται) Κανόνας 3ος: ΕΑΝ κάποιος έχει Χρώμα ξανθό και δεν βάζει Αντιηλιακό ΤΟΤΕ ναι (καίγεται) Κανόνας 4ος: ΕΑΝ κάποιος έχει Χρώμα ξανθό και βάζει Αντιηλιακό ΤΟΤΕ όχι (δεν καίγεται) Χρώμα μαλλιών Αντηλιακό Νταϊάνα κόκκινο ξανθό Νίκος Τάκης Καίτη Σάρα Άλεξ Άννα Γιάννης καστανό όχιναι

Παράδειγμα δημιουργίας δένδρου παραγωγής (2 από 2) επιλογή σε 1ο επίπεδο: Χρώμα 20 Χρώμα ξανθόκόκκινο καστανό Σάρα Άννα Άλεξ Γιάννης Νταϊάνα Νίκος Τάκης Καίτη επιλογή σε 2ο επίπεδο: Ύψος επιλογή σε 3ο επίπεδο: Βάρος Χρώμα ξανθό κόκκινο καστανό Νίκος Τάκης Καίτη Νταϊάνα Ύψος κοντό μέτριο Άλεξ Γιάννης Βάρος μικρόμέτριο μεγάλο ουδείς Γιάννη Άλεξ Σάρα Άννα ψηλό Σάρα Άννα Άλεξ Γιάννης

ID3 (Iterative Dichotomiser 3) του Quinlan Χαρακτηριστικά: Μεγαλώνει επαναληπτικά ένα μικρό training set από δεδομένα που υπάρχουν σε μία περιορισμένη βάση δειγμάτων στιγμιοτύπων Αφαιρεί χαρακτηριστικά που περιέχονται στην κατηγορία προς ταξινόμηση με σκοπό τη συμπίεση της βάσης Χρησιμοποιεί στατιστικές μεθόδους (Shannon's Information Statistic, μεγέθη entropy και information gain), για να επιλέξει χαρακτηριστικά για διαχωρισμό. 21

Αλγόριθμος ID3 Ολοκλήρωση διαδικασίας δημιουργίας κανόνων από υπάρχοντα Ν δείγματα ΑΡΧΗ Δημιούργησε τυχαίο training set από M<N το πλήθος δείγματα 22 ΟΣΟ υπάρχουν και, χαρακτηριστικά που δεν έχουν εφαρμοστεί μη κατηγοροποιημένα δείγματα εφάρμοσε ένα στατιστικά επιλεγμένο χαρακτηριστικό …… ΤΕΛΟΣ ΑΛΓΟΡΙΘΜΟΥ όλα τα δείγματα μιας κλάσης κατηγοριοποιήθηκαν υπάρχει κανόνας που περιγράφει τα δείγματα της κλάσης ΕΑΝ ΤΟΤΕ ΤΕΛΟΣ ΕΑΝ ΤΕΛΟΣ ΟΣΟ

Αλγόριθμος ID3 23 ΑΡΧΗ Δημιούργησε τυχαίο training set από Μ το πλήθος δείγματα ΟΣΟ υπάρχουν χαρακτηριστικά που δεν έχουν εφαρμοστεί και μη κατηγοροποιημένα δείγματα, εφάρμοσε ένα στατιστικά επιλεγμένο χαρακτηριστικό ΕΑΝ όλα τα δείγματα κατηγοριοποιήθηκαν ΤΟΤΕ τα χαρακτηριστικά που εφαρμόστηκαν περιγράφουν την κατηγορία ΤΕΛΟΣ ΕΑΝ ΤΕΛΟΣ ΟΣΟ ΕΑΝ υπάρχουν μη κατηγοριοποιημένα δείγματα (=> οι ιδιότητες δεν επαρκούν) ΤΟΤΕ EXIT ΑΛΛΙΩΣ πάρε δείγματα εκτός training set ΕΑΝ δεν υπάρχουν εξαιρέσεις ΤΟΤΕ ανέφερε κανόνα ΑΛΛΙΩΣ συμπλήρωσε τις εξαιρέσεις στο training set ΤΕΛΟΣ ΕΑΝ ΤΕΛΟΣ ΑΛΓΟΡΙΘΜΟΥ Ολοκλήρωση διαδικασίας δημιουργίας κανόνων από επιλεχθέντα Μ δείγματα Έλεγχος εγκυρότητας κανόνων Ανάγκη επιλογής άλλων χαρακτηριστικών

Παράδειγμα Αναμονής Εστιατορίου Problem: decide whether to wait for a table at a restaurant, based on the following attributes: 1.Alternate:is there an alternative restaurant nearby? 2.Bar: is there a comfortable bar area to wait in? 3.Fri/Sat: is today Friday or Saturday? 4.Hungry: are we hungry? 5.Patrons: number of people in the restaurant (None, Some, Full) 6.Price: price range ($, $$, $$$) 7.Raining: is it raining outside? 8.Reservation: have we made a reservation? 9.Type: kind of restaurant (French, Italian, Thai, Burger) 10.WaitEstimate: estimated waiting time (0-10, 10-30, , >60) 24 * S Russel & P. Norvig. Artificial Intelligence – A modern Approach, 2nd Edition, 2003.

Αναπαράσταση βασισμένη στις ιδιότητες 25 Classification of examples is positive (T) or negative (F) Ex AttributesTarget Wait AltBarFri Hungry PatPriceRainResTypeEst Χ1Χ1 TFF T Some$$$FTFrench0-10T Χ2Χ2 TFF T Full$FFThai30-60F Χ3Χ3 FTF F Some$FFBurger0-10T Χ4Χ4 TFT T Full$FFThai10-30T Χ5Χ5 TFT F Full$$$FTFrench>60F Χ6Χ6 FTF T Some$$TTItalian0-10T Χ7Χ7 FTF F None$TFBurger0-10F Χ8Χ8 FFF T Some$$TTThai0-10T Χ9Χ9 FTT F Full$TFBurger>60F Χ 10 TTT T Full$$$FTItalian10-30F Χ 11 FFF F None$FFThai0-10F Χ 12 TTT T Full$FFBurger30-60T

Δένδρο Παραγωγής  Ένα πιθανό δένδρο απόφασης  εδώ το Τ αφορά την απόφαση για αναμονή 26 Patrons? WaitEstimate? Alternate?Hungry? Reservation?Fri/ Sat? Alternate? Raining? Bar? TF None Some FT > Full TFT T T F FT Yes NoYes No T Yes No YesNo Yes No

Αλγόριθμος Δημιουργίας Δένδρου Απόφασης  Aim: find a small tree consistent with the training examples  Idea: (recursively) choose "most significant" attribute as root of (sub)tree 27

Επιλογή ιδιότητας (1 από 2)  Η ιδέα: μια καλή ιδιότητα χωρίζει τα παραδείγματα σε υποσύνολα που (ιδανικά) είναι «όλα θετικά" ή «όλα αρνητικά" 28  Patrons? is a better choice Patrons? Type? NoneSomeFull FrenchItalianThaiBurger

 Το δένδρο απόφασης που προέκυψε από τα 12 παραδείγματα: Επιλογή ιδιότητας (2 από 2) 29  Προφανώς μικρός αριθμός παραδειγμάτων δε μπορεί να οδηγήσει σε “ισχυρά” συμπεράσματα Patrons? Hungry? Type? Fri/Sat? TF F T T F YesNo T Yes No NoneSomeFull F FrenchItalianThai

Εφαρμογές Δένδρων Απόφασης  Εξόρυξη γνώσης (knowledge discovery) και μηχανική μάθηση (machine learning)  Εκμάθηση ταξινομητών (learning classifiers)  Ομαδοποίηση (clustering)  Αποκάλυψη συσχετίσεων (association discovery)  Εξόρυξη από τον Παγκόσμιο Ιστό (Web mining) 30

Χρήση Δένδρων Απόφασης στη ΤΝ 31 Επαγωγική Μάθηση- Δ.Α. Δεδομένα εκπαίδευσης Δεδομένα λειτουργίας Σύστημα γνώσης Γνώση Αποτελέσματα λειτουργίας

Συλλογιστική βασισμένη σε Περιπτώσεις (Case-Based Reasoning) Η επίλυση προβλημάτων προκύπτει από την από την επιλογή και ανάκτηση των πλέον σχετικών περιπτώσεων (cases) από μια βάση περιπτώσεωνκαι την προσαρμογή τους ώστε να χαρακτηριστούν κατάλληλες σε νέες καταστάσεις. 32

Συλλογιστική βασισμένη σε Περιπτώσεις (Case-Based Reasoning) Η επίλυση προβλημάτων προκύπτει από την από την επιλογή και ανάκτηση των πλέον σχετικών περιπτώσεων (cases) από μια βάση περιπτώσεωνκαι την προσαρμογή τους ώστε να χαρακτηριστούν κατάλληλες σε νέες καταστάσεις. 33

Διαδικασίες CBR Ένας CBR κύκλος μπορεί να περιγραφεί με τις εξής τέσσερις διαδικασίες: 1.Ανάκτηση της πιο όμοιας περίπτωσης ή περιπτώσεων 2.Επαναχρησιμοποίηση των πληροφοριών και της γνώσης, στη συγκεκριμένη περίπτωση για να λυθεί το πρόβλημα 3.Τροποποίηση της προτεινόμενης λύσης 4.Διατήρηση των τμημάτων αυτών της εμπειρίας που ενδέχεται να φανούν χρήσιμες για μελλοντική επίλυση προβλημάτων 34

Απλός Κύκλος CBR 35 Σύγκριση - Συγκέντρωση Επιλογή πλέον σχετικού Νέα Περίπτωση Πρόβλημα Επιλεγμένη Περίπτωση Βάση Περιπτώσεων

Νέα Περίπτωση Απλός Κύκλος CBR 36 Σύγκριση - Συγκέντρωση Προσαρμογή Επιλογή πλέον σχετικού Νέα Περίπτωση Πρόβλημα Επιλεγμένη Περίπτωση Βάση Περιπτώσεων

Νέα Περίπτωση Απλός Κύκλος CBR 37 Σύγκριση - Συγκέντρωση Προσαρμογή Επιλογή πλέον σχετικού Νέα Περίπτωση Πρόβλημα Επιλεγμένη Περίπτωση Προτεινόμενη λύση Βάση Περιπτώσεων

Προτεινόμενη λύση Νέα Περίπτωση Ολοκλήρωση κύκλου CBR 38 Νέα Περίπτωση Βάση Περιπτώσεων Σύγκριση - Συγκέντρωση Προσαρμογή Επιλογή πλέον σχετικού Πρόβλημα Επιλεγμένη Περίπτωση Επαλήθευση Αποδεκτή λύση

Προτεινόμενη λύση Νέα Περίπτωση Ολοκλήρωση κύκλου CBR 39 Νέα Περίπτωση Βάση Περιπτώσεων Σύγκριση - Συγκέντρωση Προσαρμογή Επιλογή πλέον σχετικού Πρόβλημα Επιλεγμένη Περίπτωση Επαλήθευση Αποδεκτή λύση Μαθημένη Περίπτωση Προσαρμογή & Διατήρηση

ΓενικήΓνώση Προτεινόμενη λύση Νέα Περίπτωση Ολοκλήρωση κύκλου CBR 40 Νέα Περίπτωση Βάση Περιπτώσεων Σύγκριση - Συγκέντρωση Προσαρμογή Επιλογή πλέον σχετικού Πρόβλημα Επιλεγμένη Περίπτωση Επαλήθευση Αποδεκτή λύση Μαθημένη Περίπτωση Προσαρμογή & Διατήρηση

Πλήρης Κύκλος CBR 41 Πηγή: Case-Based Reasoning: Foundational Issues, Methological Variations, and System Approaches (1994).

Συλλογιστική βασισμένη σε Περιπτώσεις (Case-Based Reasoning) (3 από 3) Η CBR χρησιμοποιείται σε δύο περιπτώσεις: διερμήνευση (interpretation), επίλυση προβλημάτων (problem-solving). Με πεδία εφαρμογής σε:  Ιατρική,  Νομική,  Διαχείριση επιχειρήσεων,  Οικονομική διαχείριση,  Ταξινόμηση εργασιών. – Διάγνωση - Τι είδους σφάλμα είναι αυτό; – Πρόβλεψη. 42

Πηγές για CBR  CBR στο διαδίκτυο, – groups.yahoo.com. groups.yahoo.com  CBR Εμπορικές Λύσεις, – Orenge, Orenge – Kaidara Adviser ( – eGain. eGain  Customer Service & Contact Centre Software,  CBR στην εκπαίδευση. – CBR-Works, CBR-Works – ReCall, ReCall – Weka, Weka 43

Τέλος Ενότητας