Αναγνώριση Προτύπων

Η κατάρα της διαστατικότητας Ο όρος εισήχθηκε το 1961 από τον Bellman Αναφέρεται στο πρόβλημα της ανάλυσης δεδομένων πολλών μεταβλητών καθώς αυξάνει η διάσταση. Ερωτήσεις 1) Τι εννοούμε με τον όρο «κατάρα της διαστατικότητας»;

Η κατάρα της διαστατικότητας – παράδειγμα (1D) Θεωρήστε ένα πρόβλημα αναγνώρισης προτύπων 3 κλάσεων Μια απλή προσέγγιση: Χωρίζουμε το χώρο σε τρεις περιοχές Υπολογίζουμε το ποσοστό των παραδειγμάτων για κάθε περιοχή Για κάθε νέο παράδειγμα βρίσκουμε την περιοχή του και εξετάζουμε ποια κλάση υπερτερεί στην περιοχή. Έστω για μια διάσταση:

Η κατάρα της διαστατικότητας – παράδειγμα (2D) Αποφασίζουμε ότι χρειαζόμαστε δύο χαρακτηριστικά (features) ανά διάνυσμα (feature vector) Αποφασίζουμε επίσης να κρατήσουμε τον ίδιο βαθμό διάκρισης ανά άξονα Αυτό σημαίνει από 3 περιοχές στο 1D 32=9 (in 2D) Και εδώ τίθεται το ερώτημα: Διατηρούμε ίδια πυκνότητα δειγμάτων ανά περιοχή; (αύξηση δειγμάτων) Διατηρούμε σταθερό τον αριθμό των δειγμάτων; (μείωση πληροφορίας) Ερωτήσεις Εξηγήστε την κατάρα της διαστατικότητας με ένα παράδειγμα. Τι εναλλακτικές έχουμε αν αυξήσουμε τη διάσταση του διανύσματος χαρακτηριστικών

Η κατάρα της διαστατικότητας – παράδειγμα (2D) Σταθερή πυκνότητα Σταθερά δείγματα

Η κατάρα της διαστατικότητας – παράδειγμα (3D) Αν περάσουμε σε 3-διάστατα χαρακτηριστικά, το πρόβλημα χειροτερεύει Το πλήθος των περιοχών γίνονται 33=27 Για σταθερή πυκνότητα το πλήθος των δειγμάτων γίνονται 81 Για σταθερά δείγματα υπάρχουν περιοχές με μηδαμινή πληροφορία

Η κατάρα της διαστατικότητας - συμπεράσματα Προφανώς η προσέγγιση να χωρίσουμε το χώρο σε ίσες περιοχές ήταν ανεπαρκής μέθοδος Υπάρχουν μέθοδοι λιγότερο ευαίσθητες στην κατάρα της διαστικότητας Πως αντιμετωπίζεται η κατάρα της διαστατικότητας: Ενσωματώνοντας προηγούμενη γνώση Συμβιβαζόμενοι στην ακρίβεια Μειώνοντας τις διαστάσεις Ερωτήσεις 1) Πως μπορεί να αντιμετωπιστεί η κατάρα της διαστατικότητας;

Η κατάρα της διαστατικότητας – συμπεράσμα Στην πραγματικότητα η κατάρα της διαστατικότητας σημαίνει ότι για δεδομένο αριθμό δειγμάτων, υπάρχει μια μέγιστη διάσταση των χαρακτηριστικών διανυσμάτων πάνω από την οποία η απόδοση του ταξινομητή μας θα μειώνεται Ερωτήσεις 1) Πως συσχετίζεται η κατάρα της διαστατικότητας με την απόδοση ενός ταξινομητή;

Η κατάρα της διαστατικότητας – Επιπτώσεις Εκθετική αύξηση στον αριθμό των δειγμάτων που απαιτούνται για να διατηρηθεί η πυκνότητα των δειγμάτων (ΝD) Εκθετική αύξηση της πολυπλοκότητας της συνάρτησης προς υπολογισμό με αυξημένη διαστατικότητα Ενώ για μία διάσταση υπάρχουν πολλές διαθέσιμες συναρτήσεις, για συναρτήσεις πυκνότητας μεγάλων διαστάσεων μόνο η Gauss πολλών μεταβλητών είναι διαθέσιμη Ο άνθρωπος δυσκολεύεται να καταλάβει προβλήματα με περισσότερες από 3 διαστάσεις. Ερωτήσεις 1) Ποιες είναι οι επιπτώσεις της κατάρας της διαστατικότητας;

Μείωση διαστάσεων Ορίζουμε ως εξαγωγή χαρακτηριστικών (feature extraction) τη δημιουργία ενός υποσυνόλου χαρακτηριστικών από συνδυασμό των υπαρχουσών Ερωτήσεις Ποιες τεχνικές Μείωσης διαστάσεων ακολουθούνται στα ΣΑΠ; Τι ονομάζουμε feature extraction;

Μείωση διαστάσεων Ορίζουμε ως επιλογή χαρακτηριστικών (feature selection) τη διαδικασία επιλογής τω χαρακτηριστικών με την περισσότερη πληροφορία. Ερωτήσεις 1) Τι ονομάζουμε feature selection;

y=f(x):RN→RM με M<N Μείωση διαστάσεων Για την εξαγωγή χαρακτηριστικών, δεδομένου δειγματοχώρου με xiRN αναζητούμε αντιστοιχία y=f(x):RN→RM με M<N Τέτοια ώστε το μετασχηματισμένο διάνυσμα να διατηρεί το μεγαλύτερο μέρος της πληροφορίας Η βέλτιστη μετατροπή δεν θα αυξάνει την πιθανότητα σφάλματος. Ερωτήσεις 1) Ποια είναι η διαδικασία κατά την εξαγωγή χαρακτηριστικών και τι επιθυμούμε;

Μείωση διαστάσεων Γενικά η ιδανική αντιστοιχία y=f(x) είναι μη γραμμική συνάρτηση Δεν υπάρχει όμως συστηματική μέθοδος μη γραμμικών μετασχηματισμών Για αυτό η εξαγωγή χαρακτηριστικών περιορίζεται σε γραμμικούς μετασχηματισμούς y=Wx

Αναπαράσταση έναντι Κατηγοριοποίησης Η επιλογή της αντιστοιχίας κατά την εξαγωγή χαρακτηριστικών καθοδηγείται από μία αντικειμενική συνάρτηση Ανάλογα με τα κριτήρια που χρησιμοποιούνται για την αντικειμενική συνάρτηση διακρίνουμε δυο κατηγορίες εξαγωγής χαρακτηριστικών Αναπαράστασης σήματος: Σκοπός είναι η καλύτερη αναπαράσταση των δειγμάτων με ακρίβεια στη μικρότερη δυνατή διάσταση Κατηγοριοποίηση: σκοπός είναι να ενισχυθεί η διακρισιμότητα μεταξύ κλάσεων στη μικρότερη δυνατή διάσταση Ερωτήσεις Σε τι χρησιμεύει η αντικειμενική συνάρτηση σε ένα σύστημα ΣΑΠ; Ποια κριτήρια τη χαρακτηρίζουν;

Αναπαράσταση έναντι Κατηγοριοποίησης Στα πλαίσια της εξαγωγής διανυσμάτων, χρησιμοποιούνται οι τεχνικές: Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis -PCA) κατάλληλη για αναπαράσταση Γραμμική Διαχωριστική Ανάλυση (Linear Discriminant Analysis - LDA) κατάλληλη για κατηγοριοποίηση Ερωτήσεις 1) Πως σχετίζονται τα κριτήρια της αναπαράστασης δειγμάτων και της κατηγοριοποίησης; Αναφέρετε μεθόδους που χρησιμοποιούνται σε κάθε περίπτωση.

PCA - Παράδειγμα

Ανάλυση Κυρίων Συνιστωσών - PCA Θεωρήστε το Ν-διάστατο διάνυσμα x όπως αναπαρίσταται στην ορθοκανονική βάση διανυσμάτων [ϕ1| ϕ2| ... | ϕN]: Ας υποθέσουμε ότι αναπαριστούμε το x με μόνο Μ (Μ<Ν) από τα διανύσματα βάσης, αντικαθιστώντας τις υπόλοιπες συνιστώσες με προ-επιλεγμένες σταθερές Ερωτήσεις 1) Τι είναι η μέθοδος PCA (principal components analysis); Πως εφαρμόζεται και σε ποιες περιπτώσεις;

Ανάλυση Κυρίων Συνιστωσών - PCA Η ιδανική προσέγγιση ενός τυχαίου διανύσματος xΝ από γραμμικό συνδυασμό Μ (Μ<Ν) ανεξάρτητων διανυσμάτων πετυχαίνετε με την προβολή του διανύσματος x στα ιδιοδιανύσματα που αντιστοιχούν στις μεγαλύτερες ιδιοτιμές λi του πίνακα συνδιασποράς Σx

Στατιστικός Χαρακτηρισμός Τυχαίων διανυσμάτων Μέσο διάνυσμα: Covariance matrix – πίνακας συνδιασποράς

Covariance Matric – Πίνακας Συνδιασποράς Ο πίνακας συνδιασποράς δείχνει την τάση των ζευγαριών των διαφόρων στοιχείων του διανύσματος να συν-μεταβάλλονται Σημαντικές ιδιότητες του πίνακα είναι: Αν τα xi και xk τείνουν να αυξάνουν μαζί, τότε cik>0 Αν το xi τείνει να μειώνει όταν το xk αυξάνει, τότε cik<0 Αν τα xi και xk δεν συσχετίζονται, τότε cik=0 |cik|≤σiσk cii = σi2 = VAR(xi)

Ανάλυση Κυρίων Συνιστωσών - PCA Συνεπώς, κάνω ανάλυση ιδιοτιµών του Σx= Ε{xxT} Σxφi= λiφi Τα φ1, ..., φM αντιστοιχούν σε λ1>... > λM Θέτοντας U= [φ1, ...,φΜ] y= UΤx

Ανάλυση Κυρίων Συνιστωσών - PCA Ο κύριος άξονας: έχει την µεγαλύτερη στατιστική διασπορά περιέχει την περισσότερη πληροφορία για το σήµα έχει το µικρότερο σφάλµα Ερωτήσεις 1) Ποια χαρακτηριστικά έχει ο κύριος άξονας κατά την εφαρμογή της μεθόδου PCA;

Ανάλυση Κυρίων Συνιστωσών - PCA Τα κύρια ιδιοδιανύσµατα είναι ορθογώνια Οι κύριες συνιστώσες (ΚΣ) είναι ασυσχέτιστες Η διασπορά της i ΚΣ είναι λi

PCA - Παράδειγμα Έστω η τρισδιάστατη κατανομή Gauss με παραμέτρους Τα τρία ζευγάρια των κυρίων συνιστωσών είναι:

Γραμμική Διαχωριστική Ανάλυση – LDA Ronald A. Fisher, 1936: “Ο μηχανισμός επεξεργασίας που οικοδομήθηκε σε εφαρμογές απείρων δεδομένων, δεν είναι αρκετά ακριβής για απλά εργαστηριακά δεδομένα. Μόνο με συστηματική επιλογή προβλημάτων με λίγα δείγματα, ανάλογα με τα ιδιαίτερα χαρακτηριστικά τους, μπορούμε να έχουμε ακριβή τεστ σε πρακτικά δεδομένα.”

Γραμμική Διαχωριστική Ανάλυση – LDA H Γραμμική Διαχωριστική Ανάλυση ή Linear Discriminant Analysis ή LDA είναι μια τεχνική εξαγωγής χαρακτηριστικών που έχει εφαρμοστεί επιτυχώς σε πολλά στατιστικά προβλήματα αναγνώρισης. Σκοπός της είναι να χωρίσει δείγματα σε ομάδες μεγιστοποιώντας τη μεταξύ κλάσεων διαχωρισιμότητα και την εντός κλάσης μεταβλητότητα. Ερωτήσεις 1) Τι είναι η τεχνική LDA;Σε ποιες περιπτώσεις χρησιμοποιείται και σε τι αποσκοπεί;

Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις Υποθέστε το σετ δεδομένων {x(1, x(2, …, x(N} όπου N1 ανήκουν στην κλάση ω1, και N2 στην ω2.

Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις Για να βρούμε ένα καλό διάνυσμα προβολής, πρέπει να ορίσουμε ένα διαχωριστικό μέτρο μεταξύ των προβολών Αν χρησιμοποιήσουμε τα μέσα διανύσματα των κλάσεων στο x και y διανυσματικό χώρο, έχουμε

Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις Θα μπορούσαμε να επιλέξουμε την απόσταση μεταξύ των προβολών των μέσων: Όμως δεν λαμβάνουμε υπόψη τη διασπορά μεταξύ των κλάσεων Καλύτερη διαχωρισιμότητα Ερωτήσεις 1) Ποια είναι η διαδικασία υλοποίησης της LDA και ποιο είναι το κριτήριο που πρότεινε o Fischer; Μεγαλύτερη απόσταση μέσων

Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις Η λύση που πρότεινε ο Fisher είναι να βρούμε τη συνάρτηση που μεγιστοποιεί την απόσταση μεταξύ των μέσων και κανονικοποιείται από την μεταξύ τάξεων διασπορά: Και ορίζεται ως

Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις Έστω ο μεταξύ κλάσεων πίνακας διασποράς: Και ο εντός κλάσης πίνακας διασποράς xi,j: είναι το n-διάστατο πρότυπο j που ανήκει στην κλάση πi Ni: το πλήθος δειγμάτων εκπαίδευσης από την κλάση πi g: το πλήθος των κλάσεων

Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις Το μέσο δείγμα ανά κλάση η μέση διασπορά και το ολικό μέσο διάνυσμα είναι:

Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις Ο κύριος στόχος της LDA είναι να βρει ένα πίνακα προβολής Plda των δειγμάτων που μεγιστοποιεί το λόγο της ορίζουσας του Sb προς την ορίζουσα του Sw (κριτήριο Fischer):

Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις Αποδεικνύεται ότι ο ζητούμενος πίνακας είναι η λύση της εξίσωσης:

Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις Αν ο Sw είναι ένας πίνακας με διακρίνουσα, τότε το κριτήριο του Fisher μεγιστοποιείται όταν ο πίνακας Plda συνθέτετε από τα μέγιστα ιδιοδιανύσματα του πίνακα

PCA vs LDA

PCA vs LDA Διάκριση μεταξύ 5 ειδών καφέ

PCA vs LDA Διάκριση μεταξύ ειδών καφέ