Αναγνώριση Προτύπων

Σημερινό Μάθημα Επιλογή Χαρακτηριστικών - Feature selection Αντικειμενική συνάρτηση Φίλτρα Wrappers Διαδικασία Αναζήτησης Σειριακοί αλγόριθμοι Εκθετικοί αλγόριθμοι Τυχαίοι αλγόριθμοι

Feature extraction vs. Feature selection

Επιλογή Χαρακτηριστικών - Feature selection Η Επιλογή χαρακτηριστικών αποκαλείται επίσης Feature Subset Selection (FSS) Αν και η FSS μπορεί να θεωρηθεί ως ειδική περίπτωση της εξαγωγής χαρακτηριστικών είναι πολύ διαφορετικό πρόβλημα Η FSS βλέπει το πρόβλημα της διαστατικότητας από άλλη άποψη Υπάρχει διαφορετικό σετ μεθοδολογιών για την FSS Ερωτήσεις Πως ορίζεται η διαδικασία Επιλογής Χαρακτηριστικών; Σε τι χρησιμεύει;

Ορισμός Δεδομένου ενός σετ XΝ={xi | i=1…N}, επιλέξτε υποσύνολο YM ={xi1, xi2, …, xiM}, με Μ<Ν όπου βελτιστοποιεί μια αντικειμενική συνάρτηση J(Y), ιδανικά, την πιθανότητα σωστής ταξινόμησης (classification)

Επιλογή Χαρακτηριστικών Η επιλογή χαρακτηριστικών είναι αναγκαία σε ορισμένες περιπτώσεις: Μπορεί η διαδικασία επίτευξης των χαρακτηριστικών να είναι ακριβή Μπορεί να θέλουμε να εξάγουμε κανόνες με νόημα Μπορεί τα αρχικά χαρακτηριστικά να μην είναι μετρήσιμα μεγέθη Επιπλέον λιγότερα χαρακτηριστικά σημαίνει Λιγότερες παράμετροι στην αναγνώριση Μειωμένη πολυπλοκότητα Καλύτερο υπολογιστικό χρόνο Ερωτήσεις 1) Σε ποιες περιπτώσεις είναι απαραίτητη η Επιλογή Χαρακτηριστικών και τι πλεονεκτήματα προσφέρει;

Διαδικασία Αναζήτησης Διεξοδική αξιολόγηση των υποσυνόλων χαρακτηριστικών συμπεριλαμβάνει συνδυασμούς για σταθερή τιμή του M και 2Ν συνδυασμούς αν πρέπει να υπολογίσουμε το Μ. Το νούμερο είναι ανέφικτο ακόμα και για μέτριες τιμές των Μ και Ν Για παράδειγμα για Μ=10 και Ν=20 έχουμε 1874756 υποσύνολα Για το λόγο αυτό απαιτείται μια διαδικασία να κατευθύνει το FSS σε όλους τους πιθανούς συνδυασμούς. Ερωτήσεις Τι είναι η διαδικασία αναζήτησης; Για ποιους λόγους είναι απαραίτητη;

Στρατηγική Αναζήτησης και Αντικειμενική συνάρτηση Η επιλογή υποσυνόλου χαρακτηριστικών απαιτεί: Μια διαδικασία αναζήτησης για την επιλογή υποψήφιων υποσυνόλων Μια αντικειμενική συνάρτηση για να αξιολογηθούν οι υποψήφιοι Ερωτήσεις 1) Ποια στάδια περιλαμβάνει η επιλογή υποσυνόλου χαρακτηριστικών;

Στρατηγική Αναζήτησης και Αντικειμενική συνάρτηση Ερωτήσεις Εξηγήστε το σχήμα. Περιγράψτε τη διαδικασία επιλογής χαρακτηριστικών με σχήμα.

Αντικειμενική συνάρτηση Η αντικειμενική συνάρτηση αξιολογεί τα διάφορα υποσύνολα και επιστρέφει ένα μέτρο της καταλληλότητας τους. Υπάρχουν δύο κατηγορίες αντικειμενικών συναρτήσεων: Φίλτρα: Η αντικειμενική συνάρτηση αξιολογεί τα υποσύνολα από την περιεχόμενη πληροφορία, την απόσταση των κλάσεων και τη στατιστική ανεξαρτησία τους Wrappers: Η αντικειμενική συνάρτηση είναι μέθοδος αναγνώρισης προτύπων που αξιολογεί τα υποσύνολα βάσει της προβλεπόμενης ακρίβειας (τεστ). Ερωτήσεις Τι είναι η αντικειμενική συνάρτηση; Ποια είδη αντικειμενικών συναρτήσεων υπάρχουν; Πως λειτουργεί το καθένα;

Φίλτρα Μέτρα απόστασης ή διαχωριστικότητας: αυτές οι μέθοδοι χρησιμοποιούν μέτρα απόστασης για να μετρήσουν τη διαχωριστικότητα των κλάσεων π.χ. Ευκλείδεια απόσταση, SW & SB (LDA) Μέτρα συσχέτισης και πληροφορίας: Αυτές οι μέθοδοι βασίζονται στο σκεπτικό ότι καλά υποσύνολα χαρακτηριστικών περιλαμβάνουν χαρακτηριστικά υψηλά συσχετιζόμενα εντός της ίδιας κλάσης και λιγότερο συσχετιζόμενα με άλλες κλάσεις Ερωτήσεις 1) Τι κριτήρια χρησιμοποιούν τα φίλτρα για να αξιολογήσουν ένα υποσύνολο χαρακτηριστικών;

Φίλτρα vs. Wrappers Φίλτρα Πλεονεκτήματα Γρήγορη Εκτέλεση: γιατί δεν περιλαμβάνουν επαναλήψεις Γενικότητα: γιατί δεν βασίζονται σε ένα συγκεκριμένο ταξινομητή (classifier) Μειονεκτήματα Τάση να επιλέγουν μεγάλα υποσύνολα Ερωτήσεις 1) Συγκρίνετε τα φίλτρα με τους wrappers.

Φίλτρα vs. Wrappers Wrappers Πλεονεκτήματα Ακρίβεια: γιατί βασίζονται στην ιδιαίτερη αλληλεπίδραση μεταξύ του ταξινομητή και της βάσης δεδομένων Ικανότητα γενίκευσης: αποφεύγεται το overfitting εξαιτίας της χρήσης cross-validation Μειονεκτήματα Αργή εκτέλεση: λόγω των επαναλήψεων και τον επανεκπαιδεύσεων που απαιτούνται Έλλειψη γενικότητας ως προς τη μέθοδο αναγνώρισης

Βαθμωτές τεχνικές επιλογής χαρακτηριστικών Αποκοπή outliers Κανονικοποίηση δεδομένων Έλεγχος υποθέσεων: t-test Εναλλακτική υπόθεση Μηδενική Υπόθεση Καμπύλη receiver operating characteristic (ROC) Λόγος Διάκρισης Fisher

Στρατηγικές Αναζήτησης Υπάρχει μεγάλο πλήθος στρατηγικών αναζήτησης που χωρίζονται σε τρεις κατηγορίες: Σειριακοί αλγόριθμοι: προσθέτουν ή αφαιρούν χαρακτηριστικά σειριακά αλλά τείνουν να παγιδεύονται σε τοπικά ελάχιστα Εκθετικοί αλγόριθμοι: αποτιμούν ένα πλήθος υποσυνόλων που αυξάνει εκθετικά με τη διάσταση Τυχαίοι αλγόριθμοι: επιστρατεύουν το τυχαίο στο ψάξιμο τους για να αποφύγουν την παγίδευση σε τοπικά ελάχιστα Ερωτήσεις 1) Τι στρατηγικές αναζήτησης χρησιμοποιούν για τη FS; Πως λειτουργούν;

Απλός σειριακός αλγόριθμος επιλογής Μια τεχνική θα ήταν να εκτιμήσουμε το κάθε χαρακτηριστικό ξεχωριστά και να επιλέξουμε τα Μ καλύτερα Αυτή η στρατηγική θα δουλέψει σπάνια γιατί δεν εξετάζει την μεταξύ τους εξάρτηση των χαρακτηριστικών Ερωτήσεις 1) Πως θα λειτουργούσε ένας απλός αλγόριθμος επιλογής; Πως τον κρίνετε;

Απλός σειριακός αλγόριθμος επιλογής Παράδειγμα Απλός σειριακός αλγόριθμος επιλογής Παράδειγμα Έστω ένα πρόβλημα 4-διάστατο με 5 κλάσεις: Σκοπός είναι να επιλέξουμε το καλύτερο σετ 2 χαρακτηριστικών Μια λογική αντικειμενική συνάρτηση θα έδινε την εξής κατάταξη: J(x1)>J(x2)≈J(x3)>J(x4) όπου: το x1 φαίνεται το καλύτερο χαρακτηριστικό λόγω του ότι διαχωρίζει τις ω1, ω2, ω3 και {ω4, ω5} Τα x2 και x3 έχουν παρόμοια συμπεριφορά αφού διακρίνουν τις κλάσεις σε 3 ομάδες Το x4 μπορεί μόνο να διακρίνει ω4 από ω5 Αν διακρίνουμε με το κριτήριο του αλγορίθμου θα έπρεπε να επιλέξουμε x1 και x2 ή x3. Είναι φανερό όμως ότι η πιο σωστή επιλογή είναι {x1, x4} Αυτή η στρατηγική απέτυχε γιατί δεν εξετάζει τη συμπληρωματική πληροφορία των χαρακτηριστικών

Sequential Forward Selection (SFS) Είναι ο πιο απλός σειριακός greedy αλγόριθμος Ξεκινώντας από ένα άδειο σετ χαρακτηριστικών, προσθέτει σειριακά τα χαρακτηριστικά που βελτιώνουν το αποτέλεσμα σε συνδυασμό με τα υπάρχοντα χαρακτηριστικά Ερωτήσεις Περιγράψτε τον αλγόριθμο SFS. Σε ποια κατηγορία ανήκει;

Sequential Forward Selection (SFS) Αλγόριθμος Όρισε σετ Υ0={ø} Επέλεξε x+: Yk+1=Yk+x+, k=k+1 Επανάληψη από βήμα 2 άδειο σετ γεμάτο σετ

Sequential Forward Selection (SFS) Στην αρχή του αλγορίθμου είναι πολλές οι πιθανές καταστάσεις που μπορούν να εξεταστούν Κοντά στο τέλος η επιλογές στενεύουν Το μεγαλύτερο μειονέκτημα του SFS είναι ότι δεν μπορεί να αφαιρέσει από το σετ χαρακτηριστικά που έχουν ήδη επιλεγεί. Ερωτήσεις 1) Πως κρίνετε τον SFS;

SFS Παράδειγμα Κάνετε SFS θεωρώντας την αντικειμενική συνάρτηση J(X): το xk γίνεται 1 όταν επιλέγεται το χαρακτηριστικό αλλιώς είναι 0.

Sequential Backward Selection (SBS) Η Προς-τα-πίσω Σειριακή Επιλογή λειτουργεί με τον αντίθετο τρόπο από την SFS Ξεκινώντας από το πλήρες σετ, αφαιρεί το χαρακτηριστικό με τη μικρότερη απόδοση στην αντικειμενική συνάρτηση Ερωτήσεις 1) Πως λειτουργεί ο αλγόριθμος SBS;

Sequential Backward Selection (SBS) Ξεκίνα με σετ Υ0=Χ Αφαίρεσε x-: Yk+1=Yk-x-, k=k+1 Επανέλαβε από βήμα 2 άδειο σετ γεμάτο σετ

Sequential Backward Selection (SBS) H SBS δουλεύει καλά όταν το βέλτιστο υποσύνολο έχει πολλά features (τελειώνει γρηγορότερα), καθώς η SBS ξοδεύει περισσότερο χρόνο για να επισκεφτεί μεγάλα υποσύνολα. Το μεγαλύτερο μειονέκτημα είναι η ανικανότητα της SBS να επανεκτιμήσει feature που έχει απορρίψει. Ερωτήσεις 1) Ποια είναι τα χαρακτηριστικά του SBS;

Plus-L Minus-R Selection (LRS) Είναι μια γενίκευση των SFS και SBS Αν L>R, η LRS ξεκινάει από άδειο σετ και επαναλαμβανόμενα προσθέτει ‘L’ features και αφαιρεί ‘R’ features Αν L<R, η LRS ξεκινάει από το γεμάτο σετ και επαναλαμβανόμενα αφαιρεί ‘R’ features ενώ προσθέτει ‘L’ features Ερωτήσεις 1) Πως λειτουργεί ο αλγόριθμος LRS;

Plus-L Minus-R Selection (LRS) ξεκίνα με Υ={ø} Αλλιώς ξεκίνα με Υ=Χ πήγαινε στο 3 Επανέλαβε L φορές Yk+1=Yk+x+, k=k+1 Επανέλαβε R φορές Yk+1=Yk-x-, k=k+1 Πήγαινε στο 2 άδειο σετ γεμάτο σετ

Plus-L Minus-R Selection (LRS) Το LRS προσπαθεί να εξουδετερώσει τις αδυναμίες των SFS και SBS με επαναλήψεις Το μεγαλύτερο του μειονέκτημα είναι ότι δεν υπάρχει τρόπος για να προβλεφθούν τα βέλτιστα L και R Ερωτήσεις 1) Πως κρίνετε τον SBS;

Bidirectional Search (BDS) Η δικατευθυντήρια αναζήτηση είναι μια παράλληλη υλοποίηση των SFS και SBS Εκτελείται SFS για το άδειο σετ και SBS για το γεμάτο Για να εξασφαλίσουμε ότι δίνουν την ίδια λύση πρέπει να εξασφαλίσουμε ότι υπάρχει συμφωνία στις αφαιρέσεις του ενός και στις προσθήκες του άλλου. (έλεγχος σε κάθε προσθήκη ή διαγραφή) άδειο σετ Ερωτήσεις 1) Πως λειτουργεί ο αλγόριθμος BDS; γεμάτο σετ

Bidirectional Search (BDS) Ξεκίνησε SFS με ΥF={ø} Ξεκίνησε SBS με ΥB=X Πήγαινε στο 3

Εκθετικοί αλγόριθμοι Branch and Bound (Β&Β) - διακλάδωση και οριοθέτηση Approximate Monotonicity με Branch and Bound ΑΜΒ&Β Beam Αναζήτηση Ερωτήσεις 1) Πως λειτουργούν οι εκθετικοί αλγόριθμοι; Αναφέρετε μερικούς.

Branch and Bound Ο αλόγριθμος Branch and Bound εγγυάται την ανεύρεση του βέλτιστου υποσυνόλου χαρακτηριστικών υπό το πρίσμα της μονοτονικότητας Η μονοτονικότητα υποστηρίζει ότι η πρόσθεση χαρακτηριστικών μπορεί μόνο να αυξήσει την απόδοση της αντικειμενικής συνάρτησης:

Branch and Bound Ο αλγόριθμος αρχίζει από το πλήρες σετ και αφαιρεί χαρακτηριστικά. Κόμβοι που η αντικειμενική τους συνάρτηση είναι χαμηλότερη από την τρέχουσα δεν εξετάζονται καθώς σύμφωνα με την υπόθεση της μονοτονικότητας δεν αναμένεται να δώσουν καλύτερη λύση Ερωτήσεις 1) Πως λειτουργεί ο αλγόριθμος Branch and Bound;

Branch and Bound Θεωρήστε το υποσύνολο M’=N-M features που έχει ήδη απορριφθεί Καθώς δεν υπάρχει καθορισμένη σειρά θεωρούμε i1<i2<...iM’ Για Ν=6 και Μ=2 έχουμε το δέντρο: g Notice that at the level directly below the root we only consider removing features 1, 2 or 3, since a higher number would not allow sequences (i1< i2< i3< i4) with four indices

Branch and Bound

Approximate Monotonicity με Β&Β Ο AMB&B είναι μια παραλλαγή του κλασσικού αλγορίθμου Β&Β Θεωρήστε ότι τρέχουμε τον Β&Β θέτοντας σαν κριτήριο ένα ποσοστό σφάλματος Ε(Υ)=τ αντί τα Μ χαρακτηριστικά Υπό τον AMB&B, ένα υποσύνολο Υ θα θεωρείται Εφικτό αν Ε(Υ)≤τ Εφικτό υπό συνθήκη εάν Ε(Υ)≤τ(1+Δ) Ανέφικτο αν Ε(Υ)>τ(1+Δ) Ερωτήσεις 1) Πως λειτουργεί ο αλγόριθμος Approximate Monotonicity; Πως σχετίζετε με τον Branch and Bound; ∆ is a tolerance placed on the threshold to accommodate for non-monotonic functions n Rather than limiting the search to feasible nodes (like B&B does), AMB&B allows the search to explore conditionally feasible nodes with the hope that these nodes will lead to a feasible solution g However, AMB&B will not return conditionally feasible nodes as solutions, it only allows the search to explore them! g Otherwise it would not be any different than B&B with a higher threshold of τ(1+∆)

Beam Αναζήτηση (ΒS) Οργανώνεται μια ουρά των καταστάσεων από το καλύτερο προς το χειρότερο Σε κάθε επανάληψη, ο BS αξιολογεί όλες τις πιθανές καταστάσεις που απορρέουν από την προσθήκη ενός feature στο υποσύνολο Αν το μέγεθος της ουράς τεθεί 1 ο BS συμπίπτει με τον SFS Ερωτήσεις 1) Πως λειτουργεί ο αλγόριθμος BS; Ποιον σειριακό αλγόριθμο θυμίζει;

Beam Αναζήτηση (ΒS) - Παράδειγμα Για 4-διάστατο χώρο και ουρά μεγέθους 3 Δεν υπάρχει εγγύηση ότι θα βρεθεί το βέλτιστο g In the example, the optimal is 2-3-4 (J=9), which is never explored g However, with the proper queue size, Beam Search can avoid getting trapped in local minimal by preserving solutions from varying regions in the search space

Τυχαίοι αλγόριθμοι Random Generation plus Sequential Selection (RGSS) Γενετικοί Αλγόριθμοι (GA) Ερωτήσεις 1) Πως λειτουργούν οι τυχαίοι αλγόριθμοι; Αναφέρετε μερικούς.

Random Generation plus Sequential Selection O RGSS είναι μια προσπάθεια εισαγωγής του «τυχαίου» στους αλγόριθμους SFS και SBS για να αποφύγουμε τα τοπικά ελάχιστα. Επανέλαβε για αριθμό επαναλήψεων Δημιούργησε τυχαίο υποσύνολο χαρακτηριστικών 3b.Εκτέλεσε SFS στο υποσύνολο 3c. Εκτέλεσε SBS στο υποσύνολο Ερωτήσεις 1) Πως λειτουργεί ο αλγόριθμος RGSS; Συσχετίστε τον με τους SFS και SBS

Δομή Γενετικού Αλγόριθμου Κατά την διάρκεια της επαναληπτικής εκτέλεσης t, ο ΓA διατηρεί ένα πληθυσμό από πιθανά χαρακτηριστικά: Κάθε χαρακτηριστικό αξιολογείται και δίνει ένα μέτρο της καταλληλότητας του Δημιουργείται ένας νέος πληθυσμός από την επιλογή των πιο κατάλληλων στοιχείων Μερικά µέλη υφίστανται µετατροπές µε µετάλλαξη (mutation) ή διασταύρωση (crossover) σχηµατίζοντας νέες πιθανές λύσεις Ερωτήσεις 1) Πως λειτουργεί ένας γενετικός αλγόριθμος;

Δομή Γενετικού Αλγόριθμου Η διασταύρωση συνδυάζει τα στοιχεία δύο χρωμοσωμάτων γονέων για να δημιουργήσει δύο νέους απογόνους ανταλλάσσοντας κομμάτια Η διασταύρωση εξυπηρετεί την ανταλλαγή πληροφοριών μεταξύ διαφορετικών πιθανών λύσεων Η μετάλλαξη αλλάζει αυθαίρετα ένα ή περισσότερα γονίδια ενός συγκεκριμένου χρωμοσώματος. Η μετάλλαξη εξυπηρετεί την εισαγωγή νέων πιθανών λύσεων Ερωτήσεις 1) Ποιες μετατροπές μπορεί να υποστεί ο πληθυσμός σε ένα γενετικό αλγόριθμο; Πραγµατοποιείται µε τυχαία αλλαγή γονιδίων και µε πιθανότητα ίση µε το ρυθµό µετάλλαξης (mutation rate).

Δομή Γενετικού Αλγόριθμου - Παράδειγμα έστω ότι οι γονείς αναπαριστώντα µε διανύσματα πέντε διαστάσεων: (a1,b1,c1,d1,e1) και (a2,b2,c2,d2,e2) τότε οι απόγονοι µε σημείο διασταύρωσης (crossover point) 2 είναι: (a1,b1,c2,d2,e2) και (a2,b2,c1,d1,e1)

Δομή Γενετικού Αλγόριθμου Ένας ΓA αποτελείται από πέντε τµήµατα: Μια γενετική αναπαράσταση των πιθανών λύσεων Ένα τρόπο δημιουργίας ενός αρχικού πληθυσμού των πιθανών λύσεων Μια αντικειμενική συνάρτηση αξιολόγησης Γενετικούς τελεστές που μετατρέπουν τη σύνθεση των παιδιών Διάφορες παραμέτρους όπως μέγεθος πληθυσμού, πιθανότητες εφαρμογής των γενετικών τελεστών, κ.λπ. Ερωτήσεις 1) Περιγράψτε τα βασικά μέρη ενός Γενετικού αλγορίθμου.

BEGIN /. Γενετικός Αλγόριθμος BEGIN /* Γενετικός Αλγόριθμος */ Δημιουργία αρχικού πληθυσμού Υπολογισμός της αντικειμενικής συνάρτησης για κάθε άτομο WHILE NOT ολοκληρωμένος DO BEGIN /* Δημιουργία νέας γενιάς */ FOR μέγεθος πληθυσμού / 2 DO BEGIN Επιλογή δύο ατόμων από για ζευγάρωμα Συνδυασμός των δύο ατόμων και δημιουργία δύο νέων Εφαρμογή μετάλλαξης σε κάποια από τα νέα άτομα Εισαγωγή των νέων ατόμων στην νέα γενιά END IF ο πληθυσμός συγκλίνει σε επιθυμητό βαθμό THEN ολοκληρωμένος := TRUE END END /* Προτιμούνται τα άτομα με καλύτερη τιμή στην αντικειμενική συνάρτηση */