Computational Imaging Laboratory Υπολογιστική Όραση ΤΜΗΥΠ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

Υπολογιστική Όραση Παραμετρικές Τεχνικές Area-based (direct) τεχνικές – Αντιστοίχιση βασισμένη στην ένταση φωτεινότητας όλων των εικονοστοιχείων της ROI Απευθείας αναζήτηση παραμετρικού μοντέλου Featured-based τεχνικές – Αντιστοίχιση βασισμένη σε επιλεγμένα χαρακτηριστικά (γωνίες, ακμές) της ROI Χρήση τελεστή αναγνώρισης χαρακτηριστικών Αντιστοίχιση κοινών χαρακτηριστικών Χρήση παραμετρικού μοντέλου για τη συνολική αντιστοίχιση δοθείσης της αντιστοίχισης χαρακτηριστικών Παραμετρικό μοντέλο Αντιστοίχιση Παραμετρικό μοντέλο

Παράδειγμα Υπολογιστική Όραση Area-based παραμετρικές τεχνικές Ορισμός παραμετρικού μοντέλου – Βάσει της φύσης και των απαι- τήσεων του προβλήματος Ορισμός συνάρτησης κόστους Βελτιστοποίηση συνάρτησης κόστους – Υπολογισμός των παραμέτρων που βελτιστοποιούν τη συνάρτηση κό- στους

Υπολογιστική Όραση Τεχνικές Βελτιστοποίησης Μέθοδοι πλήρους αναζήτησης (full search) – Αναλυτική αναζήτηση των Ν παραμέτρων στον Ν-Δ χώρο – (-) Υψηλό υπολογιστικό κόστος – (-) Πεπερασμένη ακρίβεια – ( + ) Αντιστάθμιση μεγάλων μετατοπίσεων Μέθοδοι βασισμένες στην κλίση της έντασης των εικόνων (gradient-based) – ( + ) Μεγαλύτερη ακρίβεια (θεωρητικά ίση με το eps της μηχανής) – ( + ) Μικρό υπολογιστικό κόστος – ( + ) Δυνατότητα χρήσης επαναληπτικού σχήματος εγκλωβισμός – (-) Αδυναμία διαχείρισης μεγάλων μετατοπίσεων Χρήση πυραμιδικού σχήματος Υβριδικές μέθοδοι

Υπολογιστική Όραση Γενικό πρόβλημα Ευθυγράμμισης εικόνων Ορισμός παραμετρικού μοντέλου W(x;p) – x=[x,y] t, p=[p 1,p 2,…,p n ] t Ορισμός μέτρου ομοιότητας μεταξύ: εικόνας αναφοράς I R (reference image) και γεωμετρικά παραμορφωμένης εικόνας I W (warped image) – Αντιστάθμιση φωτομετρικών παραμορφώσεων

Υπολογιστική Όραση Αντιστάθμιση φωτομετρικών παραμορφώσεων (contrast-brightness) Lucas – Kanade ‘81 Fuh – Maragos ‘91 ECC ‘08 Επαναληπτικός αλγόριθμος Αξαντλητική Αναζήτηση

Υπολογιστική Όραση Σχέση μεταξύ αλγορίθμων Ελαχιστοποίηση ως προς τις φωτομετρικές παραμορφώσεις (separable variables) – LK : – FM : Κανένα από τα δύο προβλήματα δεν είναι ισοδύναμο με το Μόνη περίπτωση ισοδυναμίας:

Υπολογιστική Όραση Αλγόριθμος ECC – Βασική ιδέα Κανόνας ενημέρωσης: Προσέγγιση η Ιακωβιανή μήτρα του ως προς τις παραμέτρους Ακολουθία υποδεέστερων μη γραμμικών προβλημάτων βελτιστοποίησης

Η συνάρτηση μεγιστοποιείται για Αν τότε το είναι ολικό μέγιστο για όπου Αν τότε το είναι το άκρο ενός διαστήματος και το μπορεί να πάρει οποιαδήποτε τιμή ικανοποιεί τους περιορισμούς Υπολογιστική Όραση Υπολογισμός βέλτιστης λύσης ΘΕΩΡΗΜΑ

Υπολογιστική Όραση Υπολογισμός βέλτιστης λύσης Μια ικανή συνθήκη για να ισχύουν οι περιορισμοί είναι: όπου, ΛΗΜΜΑ

Υπολογιστική Όραση Βήματα Αλγορίθμου FA-ECC Αρχικοποίηση p 0 – j=1 Επαναληπτική διαδικασία 1. Υπολόγισε την εικόνα I w (W(x;p j-1 )) 2. Υπολόγισε την Ιακωβιανή μήτρα G(p j-1 ) 3. Υπολόγισε τη βέλτιστη λύση Δp j σύμφωνα με το θεώρημα και το λήμμα 4. Ενημέρωσε τις παραμέτρους p j =p j-1 +Δp j – Αν ||Δp j ||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

Υπολογιστική Όραση Αντίστροφο πρόβλημα – Σύνθεση μετασχηματισμών Αντίστροφο πρόβλημα [Hager-Belhumeur ’98] – Υπολόγισε πως πρέπει να μετασχηματίσεις την I R για να αντιστοιχιστεί με την I W – Εφάρμοσε τον αντίστροφο μετασχηματισμό στην I W Σύνθεση μετασχηματισμών [Shum-Szeliski ’00] – Κανόνας ενημέρωσης W(x;p j )=W(x;p j-1 ) o W(x;Δp j ) H Hessian μήτρα της βέλτιστης λύσης γίνεται ανεξάρτητη των παραμέτρων H Ιακωβιανή του μετασχηματισμού γίνεται ανεξάρτητη των παραμέτρων

Υπολογιστική Όραση Βήματα Αλγορίθμου IC-ECC Αρχικοποίηση p 0 – j=1 – Υπολόγισε την Ιακωβιανή μήτρα G r (p j-1 ) και τον αντίστροφο (G r T G r ) -1 Επαναληπτική διαδικασία 1. Υπολόγισε την εικόνα I w (W(x;p j-1 ) 2. Υπολόγισε τη βέλτιστη λύση Δp j σύμφωνα με το θεώρημα και το λήμμα 3. Ενημέρωσε τo μοντέλο W(x;p j )=W(x;p j-1 ) o W(x;Δp j ) -1 Αν ||Δp j ||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

Υπολογιστική Όραση Επαναληπτικοί Αλγόριθμοι-Σύγκριση Πολυπλοκότητα (Ν: αριθμός παραμέτρων Κ: αριθμός εικονοστοιχείων) Δυνατότητα Εφαρμογής Ευαισθησία στο θόρυβο Lucas-Kanade ’81 (Forwards Additive LK) O(KN 2 )Οποιοδήποτε μοντέλο Μικρή Haager-Belhumeur ’98 (Inverse Additive LK) O(KN)Γραμμικό 2-ΔΜεγάλη Shum-Szeliski ’00 (Forwards – Compositional LK) O(KN 2 )Ημι-ομάδαΜικρή Baker-Matthews ’04 (Inverse Compositional LK) O(KN)ΟμάδαΜεγάλη FA-ECC (2008)O(KN 2 )Οποιοδήποτε μοντέλο Μικρή IC-ECC (2008)O(KN)ΟμάδαΜεγάλη

Υπολογιστική Όραση Πειραματική Διαδικασία Μετασχηματισμός Συγγένειας – Γραμμικός Ιακωβιανή – Ανεξάρτητη από τις παραμέτρους Μετασχηματισμός Προβολής – Μη-γραμμικός – P≠0 Ιακωβιανή – Συνάρτηση των παραμέτρων

Υπολογιστική Όραση Πειραματική Διαδικασία Δημιουργία εικόνων προς αντιστοίχιση (Simon-Baker ’04) – Θεώρηση συστήματος συντεταγμένων – Επιλογή 4(3) κανονικών σημείων – Προσθήκη θορύβου Ν(0,σ p 2 ) στις συντεταγμένες – Ανάκτηση του μετασχηματισμού προβολής (συγγένειας) p r – Μετασχηματισμός συντεταγμένων και παρεμβολή της αρχικής εικόνας για τη δημιουργία εικόνας αναφοράς – Αρχικοποίση p 0 =0 και εκκίνηση διαδικασίας αντιστοίχισης IwIw IRIR

Σφάλμα αντιστοίχισης – C: σύνολο κανονικών σημείων – Κριτήριο σύγκλισης: Μέτρα αξιολόγησης αλγορίθμων – Μέση τετραγωνική απόσταση MSD (μέση τιμή σφάλματος αντιστοίχισης) ως συνάρτηση του αριθμού επαναλήψεων – Πιθανότητα σύγκλισης (PoC) ως συνάρτηση της απόκλισης σ p Υπολογιστική Όραση Πειραματική αξιολόγηση αλγορίθμων

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Χαρακτηριστικά – Μετασχηματισμός προβολής – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης Υπολογιστική Όραση Αποτελέσματα προσομοίωσης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Απουσία θορύβου – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός συγγένειας – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Μετασχηματισμός προβολής – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 5000 υλοποιήσεις – 15 επαναλήψεις Σύγκριση αλγορίθμων – Γρηγορότερη σύγκλιση – Μεγαλύτερη πιθανότητα σύγκλισης

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 500 υλοποιήσεις – 15 επαναλήψεις – Παραμόρφωση συγγένειας – Υπερ-μοντελοποίηση Πλεονεκτήματα ECC – Καλύτερη συμπεριφορά σε περιπτώσεις υπερ-μοντελοποίησης – Γρηγορότερη και πιθανότερη σύγκλιση

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 500 υλοποιήσεις – 15 επαναλήψεις – Παραμόρφωση συγγένειας – Υπερ-μοντελοποίηση Πλεονεκτήματα ECC – Καλύτερη συμπεριφορά σε περιπτώσεις υπερ-μοντελοποίησης – Γρηγορότερη και πιθανότερη σύγκλιση

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 500 υλοποιήσεις – 15 επαναλήψεις – Παραμόρφωση συγγένειας – Υπερ-μοντελοποίηση Πλεονεκτήματα ECC – Καλύτερη συμπεριφορά σε περιπτώσεις υπερ-μοντελοποίησης – Γρηγορότερη και πιθανότερη σύγκλιση

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 500 υλοποιήσεις – 15 επαναλήψεις – Παραμόρφωση συγγένειας – Υπερ-μοντελοποίηση Πλεονεκτήματα ECC – Καλύτερη συμπεριφορά σε περιπτώσεις υπερ-μοντελοποίησης – Γρηγορότερη και πιθανότερη σύγκλιση

Υπολογιστική Όραση Αποτελέσματα προσομοίωσης Χαρακτηριστικά – Προσθετικός θόρυβος Ν(0,σ i 2 ) (σ i =8 gray levels) – 500 υλοποιήσεις – 15 επαναλήψεις – Παραμόρφωση συγγένειας – Υπερ-μοντελοποίηση Πλεονεκτήματα ECC – Καλύτερη συμπεριφορά σε περιπτώσεις υπερ-μοντελοποίησης – Γρηγορότερη και πιθανότερη σύγκλιση

Υπολογιστική Όραση Φωτομετρικές Παραμορφώσεις-Προσομοίωση Μετασχηματισμός προβολής Φωτομετρική παραμόρφωση: – – Γραμμική (γ=1) – Μη – γραμμική Προσθήκη θορύβου Ν(0,σ i 2 )

Υπολογιστική Όραση Φωτομετρικές Παραμορφώσεις-Προσομοίωση γ=1, σ i =12, α 1 =0,75 Παραμόρφωση εικόνας αναφοράςΠαραμόρφωση εικόνας μετασχηματισμού

Υπολογιστική Όραση Φωτομετρικές Παραμορφώσεις-Προσομοίωση γ=0.9, σ i =12, α 1 =0,75 Παραμόρφωση εικόνας αναφοράςΠαραμόρφωση εικόνας μετασχηματισμού

Υπολογιστική Όραση Φωτομετρικές Παραμορφώσεις-Προσομοίωση Solid: γ =1, σ i =8, α 1 =1 Παραμόρφωση εικόνας αναφοράςΠαραμόρφωση εικόνας μετασχηματισμού Dashed:γ=1, σ i =12, α 1 =1.5

Υπολογιστική Όραση Φωτομετρικές Παραμορφώσεις-Προσομοίωση Solid: γ =0.9, σ i =8, α 1 =1 Παραμόρφωση εικόνας αναφοράςΠαραμόρφωση εικόνας μετασχηματισμού Dashed:γ=0.9, σ i =12, α 1 =1.5

Υπολογιστική Όραση Συμπεράσματα Σύγκριση FA-ECC και FA-LK – Μεγαλύτερη πιθανότητα σύγκλισης – Σύγκλιση σε χαμηλότερο επίπεδο Αρκετά μεγαλύτερη ακρίβεια – Ίδιο υπολογιστικό κόστος – Καλύτερη συμπεριφορά σε περιπτώσεις υπερ-μοντελοποίησης – Ποιο ανθεκτικός σε μη γραμμικές φωτομετρικές παραμορφώσεις Σύγκριση IC-ECC και SIC – Σχετικά παρόμοια ακρίβεια λύσης και πιθανότητα σύγκλισης – Σχετικά μικρότερο υπολογιστικό κόστος Δεν απαιτείται η εκτίμηση φωτομετρικών παραμέτρων – Παρόμοια ευαισθησία στο θόρυβο