Στοίχιση & Αναγνώριση Προσώπων ΤΜΗΥΠ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

Αναγνώριση Προσώπου

Στοίχιση Προσώπων

Ιδιοφίλτρα (Eigenfilters) Ας θεωρήσουμε ότι στην στάσιμη, δεύτερης τάξης με την ευρεία έννοια, στοχαστική διαδικασία U(n), με μέση τιμή μηδέν και ακολουθία αυτοσυσχέτισης r(k), προστίθεται, λευκός θόρυβος W(n) διασποράς σw2. Ας θεωρήσουμε επιπλέον ότι: E{U(n)W(n)} = 0. Η υπέρθεση: X (n) =U (n) +W (n) των δύο σημάτων οδηγείται στην είσοδο ενός γραμμικού FIR συστήματος με κρουστική απόκριση h(n) μήκους M.

Ιδιοφίλτρα (Eigenfilters) Η έξοδος του συστήματος δίνεται από την ακόλουθη σχέση: y(n) = h(n) ∗ X (n) = h(n) ∗ U(n) + h(n) ∗ W(n).

Ιδιοφίλτρα (Eigenfilters) Αν R το M × M μητρώο αυτοσυσχέτισης της παραπάνω διαδικασίας, η μέση ισχύς της εξόδου είναι: P0 = hhRh ενώ η μέση ισχύς του θορύβου (γνωστή και ώς κέρδος θορύβου του συστήματος) είναι: N0 = σw2 ||h||2.

Ιδιοφίλτρα (Eigenfilters) Θέλουμε να μεγιστοποιήσουμε το λόγο της ισχύος του σήματος εξόδου προς την ισχύ του θορύβου, δηλαδή θέλουμε να μεγιστοποιήσουμε το: SNR = P0/N0 το οποίο μπορεί να εκφραστεί με την βοήθεια του ακόλουθου προβλήματος βελτιστοποίησης:

Ανάλυση Κύριων Συνιστωσών - PCA ́Εστω η διανυσματική μεταβλητή h ∈ CM και X ∈ CN×M ένα μητρώο τυχαίων μεταβλητών. Χρησιμοποιώντας τις παραπάνω ποσότητες ορίζουμε την διανυσματική τυχαία μεταβλητή Y = Xh. Ο πίνακας συνδιασπορών του Y δίνεται από την ακόλουθη σχέση : CY = E{(Y − E{Y})(Y − E{Y})h} = E{(X − E{X})hhh(X − E{X })h}

Ανάλυση Κύριων Συνιστωσών - PCA Μπορούμε τώρα να ορίσουμε το ίχνος του παραπάνω μητρώου: tr{CY}=hhE{(X−E{X})h(X −E{X})}h=hhGXh όπου: GX = E{(X − E{X})h(X − E{X})}

Γενικευμένο Κριτήριο Διασποράς Μπορούμε τώρα να ορίσουμε το ακόλουθο κριτήριο ή συνάρτηση κόστους: J(h)=tr{CY}=hhGXh και στόχος μας είναι να λύσουμε το ακόλουθο πρόβλημα βελτιστοποίησης: max J(h) h∈CM

Γενικευμένο Κριτήριο Διασποράς Σε περίπτωση που χρειαζόμαστε περισσότερες από μία συνιστώσες τότε, για d συνιστώσες θέλουμε να επιλύσουμε το ακόλουθο πρόβλημα βελτιστοποίησης : max J(h) με συνθήκες hih hj = 0, i,j = 1,2,...,d, i ̸= j h∈CM και η λύση είναι τα d ιδιοδιανύσματα h1, h2, · · ·, hd που αντιστοιχούν στις d μεγαλύτερες ιδιάζουσες τιμές του μητρώου GX

Εξαγωγή Χαρακτηριστικών Εικόνας Αν yk = Axk , k = 1, 2, ..., d όπου τα yk είναι οι κύριες συνιστώσες (διανύσματα) της εικόνας A. ∆ημιουργούμε το μητρώο: B ∈ CN×d, B = [y1 y2...yd] Το οποίο είναι γνωστό ως: μητρώο χαρακτηριστικών (feature matrix) ή εικόνα χαρακτηριστικών (feature image) της εικόνας A.

Το Πρόβλημα της Κατηγοριοποίησης Για την επίλυση του προβλήματος, πρέπει να ορισθεί μία συνάρτηση μέτρου που θα ποσοτικοποιεί την απόσταση μεταξύ δύο μητρώων χαρακτηριστικών Bi, Bj. Η ακόλουθη συνάρτηση είναι μία τέτοια πολύ γνωστή μετρική:

Το Πρόβλημα της Κατηγοριοποίησης Έχοντας ορίσει την απόσταση μεταξύ δύο μητρώων χαρακτηριστικών, είναι πολύ εύκολο να λύσουμε το πρόβλημα της κατηγοριοποίησης. Εστω B1, B2, ..., BK τα μητρώα χαρακτηριστικών του συνόλου εκπαίδευσης και Cl l=1,2,…,L οι κατηγορίες ανάθεσης. Για να προσδιορίσουμε σε ποιά κατηγορία ανήκει ένα δείγμα B, υπολογίζουμε: και αν τότε η τελική απόφαση είναι ότι το

Το Πρόβλημα της Ανακατασκευής Αν B = [y1 y2...yd] και U = [x1x2...xd] τότε, B = AU και ας ορίσουμε το ακόλουθο μητρώο: Το παραπάνω μητρώο θα είναι η d τάξης ανακατασκευή της εικόνας A.

Ιδιοπρόσωπα (Eigenfaces) Αρχική εικόνα Τα 8 πρώτα ιδιοπρόσωπα Ανακατασκευασμένη εικόνα Ανακατασκευασμένη εικόνα και συμπιεσμένη με JPEG

Ιδιοπρόσωπα (Eigenfaces)

Ιδιοπρόσωπα (Eigenfaces)

Ιδιοπρόσωπα (Eigenfaces) Μία εικόνα μπορεί να εκφραστεί από την υπέρθεση μίας μέσης εικόνας mc και ενός αριθμού d-εικόνων qi i=1,2,…,d οι οποίες ονομάζονται ιδιοπρόσωπα, δηλαδή:

Ιδιοπρόσωπα (Eigenfaces) ∆ιαδικασία 1. ́Εστω I1, I2, · · ·, IK οι εικόνες που θα χρησιμοποιήσουμε στη φάση της εκπαίδευσης. Οι εικόνες αυτές θα πρέπει να έχουν κοινό κέντρο και το ίδιο μέγεθος. 2. Εκφράζουμε κάθε εικόνα σε διανυσματική μορφή ci, i= 1, 2, · · ·, K 3. Υπολογίζουμε τη μέση εικόνα χρησιμοποιώντας την ακόλουθη σχέση :

Ιδιοπρόσωπα (Eigenfaces) 4. Αφαιρούμε από κάθε διάνυσμα τη μέση εικόνα: vi = ci − mc, i = 1, 2, · · ·, K. 5.Υπολογίζουμε το ακόλουθο δειγματικό μητρώο συνδιασπορών: C=VVT όπου V=[v1 v2 ··· vK], ένα NM × K μητρώο.

Ιδιοπρόσωπα (Eigenfaces) 6. Σκοπός μας είναι να υπολογίσουμε τα ιδιοδιανύσματα: qi, i = 1, 2, ..., N M του C. Επειδή K ≪ NM το μητρώο C έχει πολύ μεγάλες διαστάσεις και ο απευθείας υπολογισμός των ιδιοδιανυσμάτων του έχει πολύ μεγάλη πολυπλοκότητα. Για την επίλυση αυτού του προβλήματος, θεωρούμε τον πίνακα C = VHV και υπολογίζουμε τα ιδιοδιανύσματά του pi, i = 1, 2, · · ·, K. Στο σημείο αυτό θα πρέπει να τονίσουμε ότι οι διαστάσεις του νέου μητρώου είναι πολύ μικρότερες από αυτές του C, ο υπολογισμός των ιδιοδιανυσμάτων του μητρώου C είναι πολύ πιο οικονομικός.

Ιδιοπρόσωπα (Eigenfaces) α. Είναι πολύ εύκολο να επιβεβαιώσουμε ότι κάθε ζεύγος ιδιοδιανυσμάτων (i = 1, 2, · · ·, K ) των δύο μητρώων, συνδέεται με την ακόλουθη σχέση : qi =Vpi, i=1, 2, ···, K. β. Επίσης είναι πολύ εύκολο να αποδείξουμε ότι οι ιδιοτιμές των μητρώων C και C ταυτίζονται. 7. Στο τελευταίο βήμα, κρατάμε τα d ιδιοδιανύσματα που αντιστοιχούν στις d μεγαλύτερες ιδιάζουσες τιμές, τα οποία ονομάζονται ιδιοπρόσωπα (eigenfaces).

Ιδιοπρόσωπα (Παράδειγμα) Μικρό Δείγμα εικόνων που χρησιμοποιήσαμε στη φάση της εκπαίδευσης.

Ιδιοπρόσωπα (Παράδειγμα) Η Μέση εικόνα:

Ιδιοπρόσωπα (Παράδειγμα) Εικόνες μετά την αφαίρεση της Μέσης εικόνας:

Ιδιοπρόσωπα (Eigenfaces) Το Πρόβλημα της Αναγνώρισης Εικόνας με χρήση των Ιδιοπροσώπων ́Εχοντας στη διάθεσή μας τα d ιδιοδιανύσματα από το τελευταίο βήμα της προηγούμενης διαφάνειας, κάθε εικόνα του συνόλου εκπαίδευσης μπορεί να εκφραστεί ως ακολούθως: wi =[wi1 wi2 ··· wid]T, i=1, 2, ···, K όπου wij =qhjvi.

Ιδιοπρόσωπα (Eigenfaces) Ας ορίσουμε τέλος το W =[w1 w2 ··· wK]T. Ας υποθέσουμε τώρα ότι μας δίδεται η διανυσματική αναπαράσταση c μιας εικόνας, που έχει κοινό κέντρο με τις εικόνες του συνόλου εκπαίδευσης. Τότε, η διαδικασία που θα ακολουθήσουμε για την αναγνώρισή της είναι η ακόλουθη: Υπολογίζουμε το διάνυσμα v = c − mc 2. Το παραπάνω διάνυσμα το προβάλλουμε στο χώρο των ιδιοδιανυσμάτων: wi =qhiv, i=1, 2, ···, d

Ιδιοπρόσωπα (Παράδειγμα)

Ιδιοπρόσωπα (Eigenfaces) 3. ∆ημιουργούμε το διάνυσμα: wv = [w1 w2 ··· wd]t και υπολογίζουμε το ελάχιστο στοιχείο του ακόλουθου διανύσματος : ei⋆ = min||wi−wv||2 , i∈{1,2,...,K } όπου wi είναι η i−στη στήλη του μητρώου WT.

Ιδιοπρόσωπα (Eigenfaces) 4. Τέλος, η εικόνα c ταξινομείται ως η εικόνα ci⋆ από το σύνολο εκπαίδευσης. Επιχειρηματολογήστε αν μπορούμε να χρησιμοποιήσουμε για το σκοπό μας, το μέγιστο στοιχείο του ακόλουθου διανύσματος: ei⋆ = max Wwv i∈{1,2,...,K } όπου, όπως εύκολα μπορούμε να δούμε, σε κάθε στοιχείο του διανύσματος εκφράζεται η συσχέτιση του διανύσματος wv με τις χαμηλών τάξεων αναπαραστάσεις των εικόνων του συνόλου εκπαίδευσης.

Ιδιοπρόσωπα (Παράδειγμα) Αποτέλεσμα αναγνώρισης

Ιδιοπρόσωπα (TIPCA) Όπως είπαμε μία εικόνα μπορεί να εκφραστεί από την υπέρθεση μίας μέσης εικόνας mc και ενός αριθμού d-εικόνων qi i=1,2,…,d οι οποίες ονομάζονται ιδιοπρόσωπα, δηλαδή:

Ιδιοπρόσωπα (TIPCA) Υπόθεση: Η μέση εικόνα και τα d ιδιοπρόσωπα είναι γνωστά Τότε τα βάρη w μπορούν να προκύψουν από την λύση του ακόλουθου προβλήματος βελτιστοποίησης:

Ιδιοπρόσωπα (TIPCA) Υπόθεση: Η μέση εικόνα και τα d ιδιοπρόσωπα είναι άγνωστα Όμως, έχουμε στην διάθεσή μας Ν εικόνες που ανήκουν στην ίδια κατηγορία. Τότε, από την λύση του ακόλουθου προβλήματος βελτιστοποίη-σης: μπορούν να προσδιοριστούν όλες οι αναγκαίες ποσότητες.

Ιδιοπρόσωπα (TIPCA) Όπως είπαμε μία εικόνα μπορεί να εκφραστεί από την υπέρθεση μίας μέσης εικόνας mc και ενός αριθμού d-εικόνων qi i=1,2,…,d οι οποίες ονομάζονται ιδιοπρόσωπα. Όμως η παρακάτω σχέση είναι πιο κοντά στην πραγματικότητα:

Ιδιοπρόσωπα (TIPCA) Λύση του ακόλουθου προβλήματος βελτιστοποίησης: όπου:

Ιδιοπρόσωπα (TIPCA)

Ιδιοπρόσωπα (TIPCA)

Από Κοινού Στοίχιση Εικόνων Congealing: Cox 2008 Έστω ο Cox το 2008 πρότεινε την ακόλουθη συνάρτηση κόστους:

Από Κοινού Στοίχιση Εικόνων Congealing: Nikolikos, Psarakis, Lamprinou 2016 Υπόθεση: Η μέση εικόνα είναι γνωστή Προτείνουν την απλοποιημένη συνάρτηση κόστους: Έστω με και

Από Κοινού Στοίχιση Εικόνων Υπολογιστικό Κόστος Τεχνικών

Από Κοινού Στοίχιση Εικόνων Setup

Από Κοινού Στοίχιση Εικόνων Congealing: Cox Our Cox Our 50 100 150 200 300 2 4 6 8 10

Από Κοινού Στοίχιση Εικόνων Σύγκλιση

Από Κοινού Στοίχιση Εικόνων 2 4 6 8 10

Από Κοινού Στοίχιση Εικόνων Σύγκλιση Ν=50

Από Κοινού Στοίχιση Εικόνων Ψηφία Ν=70000