Μηχανική Μάθηση (Machine Learning)

Μηχανική Μάθηση (Machine Learning)
- - - + + - + + - + + - - - - - ΤΜΗΜΑ ΜΠΕΣ

Μηχανική Μάθηση (Machine Learning)
Μέχρι τώρα έχουμε υποθέσει ότι όλη η “ευφυΐα” ενός πράκτορα παρέχεται στον πράκτορα από τον σχεδιαστή του Μετά ο πράκτορας εκμεταλλευόμενος την ευφυΐα που του δόθηκε προσπαθεί να επιτύχει τους στόχους του σε κάποιο περιβάλλον Όταν όμως ο σχεδιαστής δεν έχει πλήρη γνώση του περιβάλλοντος στο οποίο θα λειτουργήσει ο πράκτορας τότε απαιτείται η δυνατότητα της μάθησης (learning): Ικανότητα πρόσκτησης επιπλέον γνώσης κατά την αλληλεπίδραση με το περιβάλλον Ικανότητα βελτίωσης του τρόπου εκτέλεσης ενεργειών μέσω της επανάληψης ΤΜΗΜΑ ΜΠΕΣ

Μηχανική Μάθηση Μηχανική Μάθηση (machine learning) είναι ο τομέας της ΤΝ που ασχολείται με προγράμματα που μαθαίνουν από τις εμπειρίες τους Βασική ιδέα: Ό,τι προσλαμβάνει ο πράκτορας από το περιβάλλον μπορεί να χρησιμοποιηθεί: για να αποφασίσει τι ενέργειες θα κάνει για να λύσει ένα συγκεκριμένο πρόβλημα ό,τι καλύψαμε μέχρι τώρα στο μάθημα και για να μάθει να κάνει καλύτερες ενέργειες μελλοντικά Η μάθηση είναι αποτέλεσμα της αλληλεπίδρασης του πράκτορα και του γύρω κόσμου ΤΜΗΜΑ ΜΠΕΣ

Πράκτορας Μάθησης (Learning Agent)
Τμήμα Μάθησης υπεύθυνο να βελτιώνει στη συμπεριφορά του πράκτορα Τμήμα Απόδοσης επιλέγει τις ενέργειες Τμήμα Κριτικής λέει στο τμήμα μάθησης “πόσο καλά τα πάει” ο πράκτορας σύμφωνα με κάποιο εξωτερικό κριτήριο απόδοσης Γεννήτρια προβλημάτων προτείνει ενέργειες που θα οδηγήσουν σε νέες και διδακτικές εμπειρίες ΤΜΗΜΑ ΜΠΕΣ

Πράκτορας Μάθησης Περιβάλλον ΠΡΑΚΤΟΡΑΣ κριτήριο απόδοσης Κριτική
αισθητήρες feedback αλλαγές Μάθηση Απόδοση Περιβάλλον γνώση μάθηση στόχων Γεννήτρια Προβλημάτων μηχανισμοί δράσης ΠΡΑΚΤΟΡΑΣ ΤΜΗΜΑ ΜΠΕΣ

Πράκτορας Μάθησης – Παράδειγμα
Ο αυτοματοποιημένος οδηγός ταξί Το τμήμα απόδοσης περιλαμβάνει όλη τη γνώση και τις μεθόδους που διαθέτει ο πράκτορας για να επιλέγει τις ενέργειες οδήγησης Το τμήμα μάθησης σχηματίζει στόχους μάθησης μάθε καλύτερους κανόνες που περιγράφουν τις συνέπειες του φρεναρίσματος μάθε τη γεωγραφία της περιοχής Το τμήμα κριτικής παρατηρεί τον κόσμο και δίνει πληροφορίες στο τμήμα μάθησης π.χ. παρατηρεί τις χειρονομίες άλλων οδηγών μετά από παραβίαση προτεραιότητας Η γεννήτρια προβλημάτων προτείνει ενέργειες πήγαινε από την λεωφόρο Χ αυτή τη φορά, να δούμε αν είναι πιο σύντομη ΤΜΗΜΑ ΜΠΕΣ

Μηχανική Μάθηση Έχουν προταθεί πολλές τεχνικές για την επίλυση προβλημάτων μηχανικής μάθησης Δηλ. πολλές τεχνικές για την υλοποίηση του τμήματος μάθησης ενός πράκτορα μάθησης Η διαφοροποίηση συνίσταται: Στον τρόπο με τον οποίο γίνεται η μάθηση σε ποια στοιχεία του τμήματος απόδοσης επιδρά Στον τρόπο αναπαράστασης της γνώσης Στο feedback που είναι διαθέσιμο Στην ύπαρξη ή όχι αρχικής γνώσης ΤΜΗΜΑ ΜΠΕΣ

Μηχανική Μάθηση Υπάρχουν τρεις βασικές κατηγορίες μηχανικής μάθησης:
Μάθηση με επίβλεψη (supervised learning) μάθηση από παρατήρηση του input και output παραδειγμάτων Μάθηση χωρίς επίβλεψη (unsupervised learning) ή μάθηση από παρατήρηση μάθηση χωρίς να ξέρουμε το output παραδειγμάτων Ενισχυτική μάθηση (reinforcement learning) μάθηση μέσω ενίσχυσης (επιβράβευσης) ΤΜΗΜΑ ΜΠΕΣ

Μηχανική Μάθηση με Επίβλεψη
Το τμήμα απόδοσης μπορεί να περιγραφεί μαθηματικά ως μια συνάρτηση. Π.χ: πληροφορία για τον τρόπο που εξελίσσεται ο κόσμος μπορεί να περιγραφεί ως μια συνάρτηση από μια κατάσταση του κόσμου στην επόμενη κατάσταση του ένας στόχος μπορεί να περιγραφεί σαν μια συνάρτηση από μια κατάσταση σε μια Boolean τιμή (0 ή 1) αναλόγως με το αν η κατάσταση ικανοποιεί τον στόχο Μπορούμε να δούμε τη διαδικασία μάθησης γενικά ως τη διαδικασία μάθησης της αναπαράστασης μιας συνάρτησης ΤΜΗΜΑ ΜΠΕΣ

Επαγωγική Μάθηση Επαγωγική Μάθηση (inductive learning) είναι η μάθηση μιας έννοιας (δηλ. μιας συνάρτησης) μέσω ενός συνόλου παραδειγμάτων Ένα παράδειγμα είναι μια δυάδα (x,f(x)), όπου f είναι μια συνάρτηση, το x είναι η είσοδος, και το f(x) η έξοδος της συνάρτησης όταν εφαρμόζεται στο x Με άλλα λόγια ο στόχος της επαγωγικής μάθησης είναι ο εξής: Δοθέντος ενός συνόλου παραδειγμάτων μιας συνάρτησης f, βρες μια συνάρτηση h που προσεγγίζει την f Η συνάρτηση h ονομάζεται υπόθεση ΤΜΗΜΑ ΜΠΕΣ

Επαγωγική Μάθηση – Παράδειγμα
Έχουμε 5 παραδείγματα (σημεία) και η πραγματική f είναι άγνωστη. Υπάρχουν πολλές επιλογές για την h Διαλέγουμε μια βάση προκατάληψης (bias) Ockham’s razor Η πιο πιθανή υπόθεση είναι η απλούστερη που είναι και συνεπής με όλες τις παρατηρήσεις ΤΜΗΜΑ ΜΠΕΣ

Επαγωγική Μάθηση Μια υπόθεση ονομάζεται συνεπής (consistent) όταν συμφωνεί με όλα τα δεδομένα Για να βρούμε μια συνεπή υπόθεση πρέπει να ψάξουμε στο χώρο των πιθανών υποθέσεων Πως ορίζεται αυτός ο χώρος? πολύ μεγάλος χώρος υποθέσεων => πολύ μεγάλος χώρος αναζήτησης => υψηλή πολυπλοκότητα αν ο χώρος αναζήτησης είναι μικρός υπάρχει περίπτωση να μην εμπεριέχει την λύση ανέφικτο πρόβλημα απαιτείται ισορροπία ΤΜΗΜΑ ΜΠΕΣ

Επαγωγική Μάθηση Ένας απλός αντιδραστικός πράκτορας μάθησης
global examples  {} function Reflex-Performance-Element (percept) returns an action if (percept,a) in examples then return a else h  Induce(examples) return h(percept) procedure Reflex-Learning-Element (percept,action) inputs: percept,feedback percept action, feedback action examples  examples U {(percept,action)} ΤΜΗΜΑ ΜΠΕΣ

Επαγωγική Μάθηση Πως αναπαριστάται η γνώση ?
Η επιλογή του τρόπου αναπαράστασης είναι η πιο σημαντική απόφαση που πρέπει να πάρει ο σχεδιαστής του συστήματος μάθησης. Επηρεάζει: αλγόριθμους μάθησης απόδοση Όπως στη συλλογιστική έτσι και στη μάθηση υπάρχει trade-off μεταξύ εκφραστικότητας της γλώσσας και απόδοσης first order logic ? ΤΜΗΜΑ ΜΠΕΣ

Δέντρα Απόφασης Η επαγωγή με δέντρα απόφασης (decision trees) είναι μια από τις απλούστερες και πιο πετυχημένες μορφές αλγορίθμων μάθησης Ένα δέντρο μάθησης παίρνει ως είσοδο ένα αντικείμενο ή μια κατάσταση που περιγράφονται από ένα σύνολο ιδιοτήτων και επιστρέφει μια ναι ή όχι “απόφαση” τα δέντρα απόφασης αναπαριστούν Boolean συναρτήσεις κάθε εσωτερικός κόμβος αντιστοιχεί σε τεστ της τιμής μιας από τις ιδιότητες ΤΜΗΜΑ ΜΠΕΣ

Δέντρα Απόφασης – Παράδειγμα
Το πρόβλημα ζητάει να αποφασίσουμε αν θα περιμένουμε για τραπέζι σε ένα restaurant Στόχος είναι να μάθουμε τον ορισμό του κατηγορήματος WillWait, εκφρασμένο σαν δέντρο απόφασης Έχουμε τα παρακάτω ορίσματα (attributes): Alternate αν υπάρχει εναλλακτικό restaurant κοντά Bar αν υπάρχει χώρος αναμονής στο bar Fri/Sat αν είναι Παρασκευή ή Σάββατο Hungry αν πεινάμε ΤΜΗΜΑ ΜΠΕΣ

Patrons πόσοι άλλοι είναι στο restaurant (None, Some, Full) Price η τιμές όπου κυμαίνεται το restaurant Raining αν βρέχει έξω Reservation αν έχουμε κάνει κράτηση Type το είδος του restaurant (French, Italian, Chinese, Mexican) WaitEstimate εκτίμηση για την ώρα αναμονής (0-10 λεπτά, 10-30, 30-60, >60) ΤΜΗΜΑ ΜΠΕΣ

Patrons? None Full Some No Yes WaitEstimate? 0-10 >60 30-60 10-30 No Alternate? Hungry? Yes No Yes No Yes Yes Alternate? Reservation? Fri/Sat? No Yes No Yes No Yes Yes Raining? Bar? Yes No Yes No No Yes Yes No Yes No Yes ΤΜΗΜΑ ΜΠΕΣ

Δέντρα Απόφασης Πόσο εκφραστικά είναι τα δέντρα απόφασης?
Κάθε δέντρο απόφαση μπορεί να περιγράψει μόνο ένα αντικείμενο Μπορούν να εκφράσουν πλήρως την προτασιακή λογική  s WillWait(s)  (P1(s)  P2(s)  …  Pn(s)) Δε μπορούν να εκφράσουν πλήρως πιο περίπλοκες γλώσσες π.χ. first order logic  r2 Nearby(r2,r)  Price(r,p)  Price(r2,p2)  Cheaper(p2,p) μπορεί να εκφραστεί με δέντρο απόφασης ? ΤΜΗΜΑ ΜΠΕΣ

Εξαγωγή Δέντρων Απόφασης από Παραδείγματα
Ένα παράδειγμα περιγράφεται από τις τιμές των ορισμάτων και την τιμή που παίρνει το κατηγόρημα στόχου Η τιμή του κατηγορήματος στόχου ονομάζεται κατηγοριοποίηση (classification) του παραδείγματος Αν είναι true, το παράδειγμα είναι θετικό Αν είναι false, το παράδειγμα είναι αρνητικό Το πλήρες σύνολο παραδειγμάτων ονομάζεται σύνολο εκπαίδευσης (training set) ΤΜΗΜΑ ΜΠΕΣ

Example Alt Bar Fri/Sat … Res Type Est Goal WillWait X1 Yes No French 0-10 X2 Chin 30-60 X3 Mex X10 Italian 10-30 X11 X12 ΤΜΗΜΑ ΜΠΕΣ

Στόχος: Να κατασκευάσουμε ένα δέντρο απόφασης από τα παραδείγματα σύμφωνα με το οποίο να μπορούμε να κατηγοριοποιήσουμε μελλοντικά παραδείγματα Εξαγωγή Προτύπων (pattern extraction) Ockham’s razor Η πιο πιθανή υπόθεση είναι η απλούστερη που είναι και συνεπής με όλες τις παρατηρήσεις Εύρεση του μικρότερου δέντρου απόφασης – intractable πρόβλημα! ΤΜΗΜΑ ΜΠΕΣ

+ - + - Χ1,Χ3,Χ4,Χ6,Χ8,Χ12 Χ2,Χ5,Χ7,Χ9,Χ10,Χ11 Χ1,Χ3,Χ4,Χ6,Χ8,Χ12 Χ2,Χ5,Χ7,Χ9,Χ10,Χ11 Patrons? Type? Mex None Some Full French Ita Chin + - Χ3,Χ12 Χ7,Χ9 + - Χ4,Χ8 Χ2,Χ11 + - + - + - Χ4,Χ12 Χ2,Χ5,Χ9,Χ10 + - + - Χ7,Χ11 Χ1,Χ3,Χ6,Χ8 Χ1 Χ5 Χ6 Χ10 Hungry? Yes No + - + - Χ4,Χ12 Χ2,Χ10 Χ5,Χ9 ΤΜΗΜΑ ΜΠΕΣ

Πως κατασκευάζουμε το δέντρο? Αν υπάρχουν θετικά και αρνητικά παραδείγματα, διάλεξε το καλύτερο χαρακτηριστικό για να τα ξεχωρίσεις Αν όλα τα εναπομείναντα παραδείγματα είναι θετικά (ή αρνητικά), τελειώσαμε Αν δεν έχουν μείνει παραδείγματα, επιστρέφουμε μια προκαθορισμένη τιμή Αν δεν έχουν μείνει χαρακτηριστικά αλλά έχουν μείνει θετικά και αρνητικά παραδείγματα, έχουμε πρόβλημα! θόρυβος (noise) στα δεδομένα ή ανεπαρκή χαρακτηριστικά ΤΜΗΜΑ ΜΠΕΣ

Το δέντρο είναι διαφορετικό από το αρχικό Απέτυχε ο αλγόριθμος μάθησης? Patrons? None Full Some No Yes Hungry? Type? No French Mexican Ita Chi Yes No Fri/Sat? Yes No Yes No Yes ΤΜΗΜΑ ΜΠΕΣ

Αλγόριθμος Μάθησης Δέντρων Απόφασης
function Decision-Tree-Learning (examples,attributes,default) returns a decision tree inputs: examples, set of examples, attributes: set of attributes, default: default value for the goal predicate if examples is empty then return default else if all examples have the same classification then return the classification else if attributes is empty then return MajorityValue(examples) else best  ChooseAttribute(attributes,examples) tree  a new decision tree with root test best for each value vi of best do examplesi  {elements of examples with best = vi} subtree  Decision-Tree-Learning(examplesi, attributes-best, MajorityValue(examples)) add a branch to tree with label vi and subtree subtree end return tree ΤΜΗΜΑ ΜΠΕΣ

Ένας αλγόριθμος μάθησης είναι καλός αν παράγει υποθέσεις που προβλέπουν επιτυχώς την κατηγοριοποίηση καινούργιων παραδειγμάτων Συνήθως, όσο περισσότερα παραδείγματα χρησιμοποιούνται για την παραγωγή μιας υπόθεσης τόσο πιο ακριβής είναι η υπόθεση στις προβλέψεις της ΤΜΗΜΑ ΜΠΕΣ

Μεθοδολογία εκτίμησης προβλέψεων Συγκέντρωσε ένα μεγάλο σύνολο παραδειγμάτων Χώρισε το σε δύο σύνολα: το σύνολο εκπαίδευσης και το σύνολο τεστ Τρέξε τον αλγόριθμο μάθησης με το σύνολο εκπαίδευσης ως παραδείγματα για να παράγεις μια υπόθεση Η Μέτρησε το ποσοστό των παραδειγμάτων στο σύνολο τεστ που κατηγοριοποιούνται σωστά από την Η Επανέλαβε τα βήματα 1 ως 4 με διαφορετικά μεγέθη συνόλων εκπαίδευσης και διαφορετικά τυχαία επιλεγμένα σύνολα τεστ ΤΜΗΜΑ ΜΠΕΣ

Επεκτάσεις των Δέντρων Απόφασης
Η μάθηση με δέντρα απόφασης μπορεί να επεκταθεί σε μεγαλύτερη ποικιλία προβλημάτων: Άγνωστα δεδομένα (missing data) Όταν λείπουν τιμές για ορισμένα attributes Ορίσματα με πολλαπλές τιμές (multivalued attributes) π.χ. Όταν κάθε παράδειγμα δίνει διαφορετική τιμή για το attribute Ορίσματα με συνεχή πεδία τιμών (continuous-valued attributes) π.χ. Ύψος, Βάρος ΤΜΗΜΑ ΜΠΕΣ

Συλλογική Μάθηση Στη συλλογική μάθηση (ensemble learning) έχουμε ένα σύνολο από υποθέσεις και συνδυάζουμε τις προβλέψεις τους για να κατηγοριοποιήσουμε το σύνολο τεστ π.χ. μπορούμε να παράγουμε ένα σύνολο δέντρων αποφάσεων και να συνδυάζουμε τα αποτελέσματα τους Η συλλογική μάθηση μειώνει την πιθανότητα λάθους δραστικά οι υποθέσεις δε μπορεί να είναι εντελώς ανεξάρτητες αλλά πρέπει να διαφέρουν Οι πιο γνωστοί αλγόριθμοι συλλογικής μάθησης χρησιμοποιούν σταθμισμένα σύνολα εκπαίδευσης (weighted training sets) ΤΜΗΜΑ ΜΠΕΣ

Αναπαράσταση Μάθησης με Λογική
Μπορούμε να χρησιμοποιήσουμε λογική (FOL) για να αναπαραστήσουμε τη διαδικασία επαγωγικής μάθησης οι υποθέσεις αναπαριστώνται από ένα σύνολο λογικών προτάσεων περιγραφές παραδειγμάτων και κατηγοριοποιήσεις τους είναι επίσης λογικές προτάσεις Με τη χρήση λογικής μπορούμε να εκμεταλλευτούμε προϋπάρχουσα γνώση στη διαδικασία μάθησης και να φτάσουμε σε ισχυρότερους μηχανισμούς μάθησης χρησιμοποιώντας κανόνες συμπερασμού της λογικής ΤΜΗΜΑ ΜΠΕΣ

Είδαμε ότι τα παραδείγματα περιγράφονται από ορίσματα π.χ. Alternate, Bar, Fri/Sat, etc. Στη λογική αναπαράσταση ένα παράδειγμα είναι ένα αντικείμενο που περιγράφεται από μια λογική πρόταση τα ορίσματα γίνονται κατηγορήματα π.χ. Alternate(X1)  Bar(X1)  Fri/Sat(X1)  Hungry(X1)  … η κατηγοριοποίηση του παραδείγματος δίνεται από την πρόταση WillWait(X1) η περιγραφή ενός παραδείγματος Χi συμβολίζεται ως Di(Xi) το κατηγόρημα στόχου συμβολίζεται ως Q Q(Xi) => θετικό παράδειγμα Q(Xi) => αρνητικό παράδειγμα ΤΜΗΜΑ ΜΠΕΣ

Ο χώρος υποθέσεων (hypothesis space) είναι το σύνολο όλων των υποθέσεων που μπορεί να παράγει ένας αλγόριθμος μάθησης Η επαγωγική μάθηση μπορεί να θεωρηθεί ως αναζήτηση για μια καλή υπόθεση στο χώρο όλων των πιθανών υποθέσεων Μπορούμε να δούμε μια υπόθεση ως μια λογική έκφραση για την περιγραφή του κατηγορήματος στόχου υποψήφια ερμηνεία (candidate definition) Αν Q είναι το κατηγόρημα στόχου και Ci μια υποψήφια ερμηνεία, η υπόθεση Hi είναι μια πρόταση της μορφής:  x Q(x)  Ci(x) ΤΜΗΜΑ ΜΠΕΣ

Υποθέσεις – Παράδειγμα
Στο παράδειγμα με το restaurant Το κατηγόρημα στόχου Q είναι το WillWait To αποτέλεσμα του Decision-Tree-Learning αλγόριθμου είναι η υπόθεση Hr:  r WillWait(r)  Patrons(r,Some)  Patrons(r,Full)  ¬Hungry(r)  Type(r,French)  Patrons(r,Full)  ¬Hungry(r)  Type(r,Chinese)  Fri/Sat(r)  Patrons(r,Full)  ¬Hungry(r)  Type(r,Mexican) ΤΜΗΜΑ ΜΠΕΣ

Υποθέσεις Ο χώρος υποθέσεων για τον Decision-Tree-Learning αλγόριθμο είναι όλα τα δέντρα απόφασης που μπορούν να παραχθούν από τα δοθέντα ορίσματα Ένας αλγόριθμος μάθησης πιστεύει ότι μια από τις υποθέσεις είναι σωστή: Η1  Η2  Η3  ... Ηn Επέκταση (extension) του κατηγορήματος στόχου Όλα τα παραδείγματα που ικανοποιούν τον ορισμό της υπόθεσης Δύο υποθέσεις με διαφορετικές επεκτάσεις είναι λογικά ασύμβατες ΤΜΗΜΑ ΜΠΕΣ

Παραδείγματα Ένα παράδειγμα Χi μπορεί να περιγραφεί από μια πρόταση Di(Xi), όπου Di είναι μια λογική έκφραση π.χ. Alternate(X1)  ¬Bar(X1)  ¬Fri/Sat(X1)  Hungry(X1)  … Η κατηγοριοποίηση του παραδείγματος είναι μια πρόταση Q(Xi) αν το παράδειγμα είναι θετικό και ¬Q(Xi) αν είναι αρνητικό π.χ. WillWait(X1) Λανθασμένα αρνητικό (false negative) αν η υπόθεση λέει ότι είναι αρνητικό αλλά είναι θετικό Λανθασμένα θετικό (false positive) αν η υπόθεση λέει ότι είναι θετικό αλλά είναι αρνητικό ΤΜΗΜΑ ΜΠΕΣ

Αλγόριθμοι Μηχανικής Μάθησης
Η επαγωγική μάθηση μπορεί να περιγραφεί ως μια διαδικασία απόρριψης υποθέσεων που είναι μη συμβατές με κάποια παραδείγματα, ώσπου να βρούμε την κατάλληλη υπόθεση αναζήτηση στο χώρο υποθέσεων ο οποίος όμως είναι τεράστιος για να γίνει απλή εξαντλητική αναζήτηση Θα περιγράψουμε δύο πιο προηγμένους αλγόριθμους: Aναζήτηση τωρινής καλύτερης υπόθεσης Aναζήτηση μικρότερης δέσμευσης (ή απαλοιφής υποψηφίων) ΤΜΗΜΑ ΜΠΕΣ

Αλγόριθμος Τωρινής Καλύτερης Υπόθεσης
Η ιδέα πίσω από τον αλγόριθμο τωρινής καλύτερης υπόθεσης (current best hypothesis) είναι να διατηρούμε μια συγκεκριμένη υπόθεση την οποία προσαρμόζουμε για να διατηρείται η εγκυρότητα καθώς έρχονται νέα παραδείγματα Αν έχουμε ένα λανθασμένα αρνητικό παράδειγμα, ο αλγόριθμος κάνει γενίκευση (generalization) η επέκταση αυξάνεται Αν έχουμε ένα λανθασμένα θετικό παράδειγμα, ο αλγόριθμος κάνει εξειδίκευση (specialization) η επέκταση μειώνεται ΤΜΗΜΑ ΜΠΕΣ

- - - - - - - - - + + + + + + + + - + + - + + - + + - - - + + + + + + - - - - - - - - - - - - - - - Μια έγκυρη υπόθεση Λανθασμένα αρνητικό Γενίκευση - - - - - - + + + + + Λανθασμένα θετικό + Εξειδίκευση - + + - + + - - + - + + - + - - - - - - - - - - ΤΜΗΜΑ ΜΠΕΣ

function Current-Best-Learning (examples) returns a hypothesis H  any hypothesis consistent with the first example in examples for each remaining example e in examples do if e is false positive for H then H  choose a specialization of H consistent with examples else if e is false negative for H then H  choose a generalization of H consistent with examples if no consistent specialization/generalization can be found then fail end return H ΤΜΗΜΑ ΜΠΕΣ

Πως υλοποιούνται η γενίκευση και η εξειδίκευση ? Η γενίκευση και η εξειδίκευση είναι λογικές συσχετίσεις μεταξύ υποθέσεων Αν η υπόθεση H1 με ορισμό C1 είναι γενίκευση της H2 με ορισμό C2 τότε πρέπει να ισχύει  x C2(x)  C1(x) Π.χ. Αν το C2(x) είναι Alternate(x)  Patrons(x,Some) τότε μια πιθανή γενίκευση είναι η C1(x) Patrons(x,Some) Απόρριψη συνθηκών (dropping conditions) ΤΜΗΜΑ ΜΠΕΣ

Παράδειγμα Αναμονή ή όχι σε ένα restaurant
Το πρώτο παράδειγμα X1 είναι θετικό, οπότε έχουμε την αρχική υπόθεση: H1 :  x WillWait(x)  Alternate(x) Το δεύτερο παράδειγμα X2 είναι λανθασμένα θετικό. Πρέπει να εξειδικεύσουμε την υπόθεση: H2 :  x WillWait(x)  Alternate(x)  Patrons(x,Some) Το τρίτο παράδειγμα X3 είναι λανθασμένα αρνητικό. Πρέπει να γενικεύσουμε την υπόθεση: H3 :  x WillWait(x)  Patrons(x,Some) ΤΜΗΜΑ ΜΠΕΣ

Παράδειγμα (συνέχεια)
Το τέταρτο παράδειγμα X4 είναι λανθασμένα αρνητικό. Πρέπει να γενικεύσουμε την υπόθεση. Δε μπορούμε να απορρίψουμε το Patrons(x,Some) γιατί θα είχαμε ασυμβατότητα με το X2. Μπορούμε να κάνουμε την υπόθεση διαζευκτική: H4 :  x WillWait(x)  Patrons(x,Some)  (Patrons(x,Full)  Fri/Sat(x)) Υπάρχουν κι άλλες πιθανές υποθέσεις που είναι συμβατές με τα τέσσερα παραδείγματα. Π.χ.  x WillWait(x)  Patrons(x,Some)  (Patrons(x,Full)  WaitEstimate(x,10-30)) ΤΜΗΜΑ ΜΠΕΣ

Ο αλγόριθμος τωρινής καλύτερης υπόθεσης έχει, σε κάθε σημείο, πολλές επιλογές για γενίκευση/εξειδίκευση Μη αιτιοκρατικός Αν μια επιλογή οδηγήσει σε αδιέξοδο (?) ο αλγόριθμος πρέπει να οπισθοδρομήσει και να δοκιμάσει άλλη επιλογή Μειονεκτήματα: Για κάθε γενίκευση/εξειδίκευση πρέπει να τσεκάρει αν υπάρχει συμβατότητα με όλα τα προηγούμενα παραδείγματα Δεν υπάρχουν καλές ευρετικές μέθοδοι για να καθοδηγήσουν την αναζήτηση υπερβολική οπισθοδρόμηση ΤΜΗΜΑ ΜΠΕΣ

Αλγόριθμος Απαλοιφής Υποψηφίων
Η οπισθοδρόμηση συμβαίνει στον αλγόριθμο τωρινής καλύτερης υπόθεσης επειδή κάθε στιγμή έχουμε μόνο μια υπόθεση που «φαίνεται» να είναι η καλύτερη Εναλλακτικά μπορούμε να κρατάμε όλες τις υποθέσεις που είναι συμβατές με τα μέχρι τώρα παραδείγματα κάθε καινούργιο παράδειγμα είτε δεν θα έχει καμιά επίπτωση είτε θα αποκλείσει (απαλείψει) κάποιες υποθέσεις Καθώς έρχονται καινούργια παραδείγματα, ο χώρος υποθέσεων Η1  Η2  Η3  ... Ηn συρρικνώνεται Δε χρειάζεται να εξετάζονται προηγούμενα παραδείγματα σε κανένα βήμα του αλγόριθμου ΤΜΗΜΑ ΜΠΕΣ

Πρόβλημα: Πως μπορούμε να κρατάμε όλες τις υποθέσεις εφόσον το πλήθος τους είναι τεράστιο Λύση: Κρατάμε δύο όρια, το γενικό σύνολο (G-set) και το ειδικό σύνολο (S-set) Το G-set περιέχει όλες τις υποθέσεις που είναι συμβατές με τα παραδείγματα και δεν υπάρχει καμία συμβατή υπόθεση που είναι πιο γενική Το S-set περιέχει όλες τις υποθέσεις που είναι συμβατές με τα παραδείγματα και δεν υπάρχει καμία συμβατή υπόθεση που είναι πιο ειδική Οποιαδήποτε υπόθεση ανάμεσα στα δύο σύνολα είναι σίγουρα συμβατή γιατί? ΤΜΗΜΑ ΜΠΕΣ

Πως ενημερώνονται τα G και S sets καθώς έρχονται καινούργια παραδείγματα? false positive για το Si. Αυτό σημαίνει ότι το Si είναι πολύ γενικό, οπότε το απομακρύνουμε από το S. false negative για το Si. Αυτό σημαίνει ότι το Si είναι πολύ ειδικό, οπότε το αντικαθιστούμε από όλες τις άμεσες γενικεύσεις του. αν είναι πιο ειδικές από κάποιο μέλος του G false positive για το Gi. Αυτό σημαίνει ότι το Gi είναι πολύ γενικό, οπότε το αντικαθιστούμε από όλες τις άμεσες ειδικεύσεις του. αν είναι πιο γενικές από κάποιο μέλος του S false negative για το Gi. Αυτό σημαίνει ότι το Gi είναι πολύ ειδικό, οπότε το απομακρύνουμε από το G. ΤΜΗΜΑ ΜΠΕΣ

Ο αλγόριθμος συνεχίζει μέχρι να γίνει ένα από τα εξής: Έχουμε μόνο μια υπόθεση στο χώρο υποθέσεων, οπότε την επιστρέφει ως τη μοναδική υπόθεση Το S ή G μείνουν άδεια, που σημαίνει ότι δεν υπάρχει καμία συμβατή υπόθεση με το σύνολο εκπαίδευσης Τελειώσουν τα παραδείγματα του συνόλου εκπαίδευσης ενώ έχουν απομείνει αρκετές υποθέσεις, οπότε για να κατηγοριοποιήσουμε καινούργια παραδείγματα βασιζόμαστε στην πλειοψηφία. ΤΜΗΜΑ ΜΠΕΣ

Μηχανική Μάθηση (Machine Learning)

Παρόμοιες παρουσιάσεις

Παρουσίαση με θέμα: "Μηχανική Μάθηση (Machine Learning)"— Μεταγράφημα παρουσίασης:

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια

Είσοδος

Σύνδεση μέσω των κοινωνικών δικτύων:

Μηχανική Μάθηση (Machine Learning)

Παρόμοιες παρουσιάσεις

Παρουσίαση με θέμα: "Μηχανική Μάθηση (Machine Learning)"— Μεταγράφημα παρουσίασης:

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια