Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Computational Imaging Laboratory Υπολογιστική Όραση ΤΜΗΥΠ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ.

Παρόμοιες παρουσιάσεις


Παρουσίαση με θέμα: "Computational Imaging Laboratory Υπολογιστική Όραση ΤΜΗΥΠ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ."— Μεταγράφημα παρουσίασης:

1 Computational Imaging Laboratory Υπολογιστική Όραση ΤΜΗΥΠ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

2 Στερεοσκοπική Αντιστοίχιση  Ανασταλτικοί Παράγοντες  Βασικές Υποθέσεις  Μοντέλο κάμερας  Προβολική Γεωμετρία  Τεχνικές Στερεοσκοπικής Αντιστοίχισης Υπολογιστική Όραση Επισκόπιση Μαθήματος

3 Γενικό πρόβλημα: Αντιστοίχισε το προφίλ αναφοράς I(x,y) με τo προφίλ εισόδου J(x,y) Πρόβλημα I(x,y)I(x,y) J(x,y)J(x,y)Σκοπός Στερεοσκοπική Αντιστοίχιση (Stereo Correspondence) Αριστερή εικόνα L(x,y) Δεξιά εικόνα R(x,y) Χάρτης Ανομοιότητας Υπολογιστική Όραση Στερεοσκοπική Αντιστοίχιση

4 Υπολογιστική Όραση Βασικό ερώτημα ( Γενική Περίπτωση )  Δοθέντων δύο εικόνων, – ποια είναι τα αντίστοιχα σημεία τους;  Αντίστοιχα σημεία: προβολές του ίδιου σημείου της σκηνής στις εικόνες – ποιος είναι ο μετασχηματισμός, που εφαρμοζόμενος στη μία εικόνα, παρέχει την άλλη;  Η γεωμετρία του χώρου και ο προσανατολισμός του(ων) αισθητήρα(ων) όρασης δεν είναι γνωστά  Μόνη πηγή πληροφορίας: η ένταση φωτεινότητας των εικόνων

5 Υπολογιστική Όραση Ανασταλτικοί παράγοντες  Ψηφιακή Εικόνα – Θόρυβος καταγραφής – 1 εικονοστοιχείο αντιστοιχεί σε πολλά σημεία της σκηνής  Προοπτίκη Προβολή – Προβολή 3D σε 2D (απώλεια πληροφορίας)  Κίνηση Κάμερας/Σκηνής – Παραμόρφωση αντικειμένων  Μη ομοιόμορφος (φυσικός) φωτισμός – -Μη λαμπερτιανές επιφάνειες  Ασυνέχειες Βάθους – Ημι-αποκλεισμένες περιοχές  Παραμόρφωση φακού – Ευθείες μετατρέπονται σε καμπύλες Τιμή Pixel Περιοχή pixel Λαμπερτιανή επιφάνεια Μη λαμπερτιανή επιφάνεια

6  Σταθερή ένταση φωτεινότητας (Brightness Constancy Assumption) [Horn and Schunk ‘81] – Ένα σημείο της σκηνής απεικονίζεται με την ίδια ένταση φωτεινότητας σε όλες τις εικόνες – Αδυναμία ισχύος σε πρακτικές εφαρμογές – Καλή προσέγγιση αν t2-t10t2-t10 Δx0Δx0 Δy0Δy0  Video με μεγάλο fps x0,y0x0,y0 ΔxΔx ΔyΔy ROI Υπολογιστική Όραση Βασική Υπόθεση

7 Υπολογιστική Όραση Μοντέλο Κάμερας

8 Υπολογιστική Όραση Προβολική Γεωμετρία f ∏

9 Υπολογιστική Όραση Συμβολισμοί  O – Εστιακό Κέντρο  π – Επίπεδο Εικόνας  Z – Οπτικός Άξονας  f – Εστιακή Απόσταση π (Χ,Υ,Ζ)(Χ,Υ,Ζ)

10 Υπολογιστική Όραση Προβολή f x y Z X Y (Χ,Υ,Ζ)(Χ,Υ,Ζ)

11 Υπολογιστική Όραση Συστήματα Δύο Αισθητήρων Επιπολικές γραμμές  Τυχαίος Προσανατολισμός Αισθητήρων

12 Υπολογιστική Όραση Κανονικό Στερεοσκοπικό Σύστημα  Παράλληλοι οπτικοί άξονες  Οι οριζόντιοι άξονες (x) των δύο συστημάτων ταυτίζονται Επιπολικές γραμμές Οι επιπολικές γραμμές ταυτίζονται με τις γραμμές των εικόνων Κανονικός Προσανατολισμός

13 Υπολογιστική Όραση Κανονική Διάταξη Αισθητήρων  Η Αρχή του Σ.Σ. στο μέσο του Ε.Τ. που ενώνει τα οπτικά κέντρα

14 Υπολογιστική Όραση Ανομοιότητα (Disparity)  Η διαφορά ονομάζεται ανομοιότητα  Το d είναι αντιστρόφως ανάλογο του Ζ  Το d είναι ανάλογο του b

15 Υπολογιστική Όραση Στερεοσκοπική Αντιστοίχιση  Υπολογισμός ανομοιότητας ως προς την εικόνα αναφοράς (π.χ. αριστερή) – Ανομοιότητα: η απόσταση σε εικονοστοιχεία συζυγών ζευγών όταν τοποθετήσουμε τη μία εικόνα πάνω από την άλλη  Αναζήτηση συζυγών ζευγών (αντιστοίχων σημείων) κατά μήκος των επιπολικών γραμμών  Επιλογή κανονικού συστήματος

16 Υπολογιστική Όραση Μέθοδοι Στερεοσκοπικής Αντιστοίχισης  Τοπικές μέθοδοι (pixel-wise) – Απαραίτητη χρήση παραθύρου (window-based) – Επιλογή αντίστοιχου σημείου από πολλά υποψήφια (winner takes all)  Ημι-ολικές μέθοδοι – Δυναμικός προγραμματισμός (row by row) – Αναζήτηση βέλτιστου μονοπατιού στο επίπεδο  Ολικές μέθοδοι – Αναζήτηση βέλτιστης επιφάνειας στο χώρο ανομοιότητας (disparity space image) Χάρτης Ανομοιότητας Ομαλότητα (-) (+) Ακρίβεια (+) (-) Πολυπλοκότητα (+) (-)

17 Υπολογιστική Όραση Τοπικές μέθοδοι L R Ελάχιστο  d(100,50)=4 d(100,50)=4  L(100,50)=R(96,50) E(d)

18 Υπολογιστική Όραση Στερεοσκοπική Αντιστοίχιση  Υπολογισμός ανομοιότητας ως προς την εικόνα αναφοράς (π.χ. αριστερή) – Ανομοιότητα: η απόσταση σε εικονοστοιχεία συζυγών ζευγών όταν τοποθετήσουμε τη μία εικόνα πάνω από την άλλη  Αναζήτηση συζυγών ζευγών (αντιστοίχων σημείων) κατά μήκος των επιπολικών γραμμών  Επιλογή κανονικού συστήματος

19 Υπολογιστική Όραση Περιορισμοί και Υποθέσεις  Περιορισμοί – Μοναδικότητα: κάθε σημείο της αριστερής εικόνας έχει μοναδικό αντίστοιχο στη δεξιά  Υποθέσεις – Σειρά προβολής: η σειρά εμφάνισης δύο σημείων στην αριστερή και δεξιά εικόνα δεν αλλάζει. – Η ανομοιότητα σε γειτονικά σημεία δεν μπορεί να ποικίλει έντονα μειώνει το χώρο αναζήτησης αντίστοιχων σημείων Η υϊοθέτηση περιορισμών και υποθέσεων μπορεί να προκαλέσει διάδοση σφαλμάτων :-) :-(

20 Υπόθεση: Σειράς προβολής Υπολογιστική Όραση Περιορισμοί και Υποθέσεις

21 Υπολογιστική Όραση Υπόθεση Σειρας Προβολής

22 Περιοχές μη έντονης υφήςΑσυνέχειες Βάθους Περιοδικότητες Φωτομετρικές Παραμορφώσεις Υπολογιστική Όραση Προβλήματα-Ανασταλτικοί Παράγοντες

23 Υπολογιστική Όραση Ακρίβεια χάρτη ανομοιότητας  Παρεμβολή στη συνάρτηση έντασης φωτεινότητας – Δημιουργία εικόνων υψηλότερης ανάλυσης  Αντιστοίχιση στο πεδίο συχνοτήτων – Χρήση πληροφορίας φάσης  Παρεμβολή στη συνάρτηση κόστους – Πολυωνυμική παρεμβολή  Διαφορική αντιστοίχηση – Χρήση πληροφορίας παραγώγου/κλίσης Ακρίβεια (-) Υπολογιστικό κόστος (+) (-)(+)

24 Υπολογιστική Όραση Παρεμβολή και Διαφορική Αντιστοίχιση  Παρεμβολή της συνάρτηση κόστους [Anandan ’89] – π.χ. παρεμβολή 2 ου βαθμού – Βέλτιστη ανομοιότητα: d 0 +t  Διαφορική αντιστοίχιση [Lucas-Kanade ’81] – Χρήση Taylor expansion – επαναληπτική διαδικασία d0d0 d0-1d0-1d 0 +1 θέση ελαχίστου t C(d) Αρχικοποίηση: Εκτίμηση: ενημέρωση

25 Υπολογιστική Όραση Τροποποιημένος συντελεστής συσχέτισης-ECC  Συντελεστής συσχέτισης – Ακρίβεια εικονοστοιχείου  Πυρήνας παρεμβολής  Ενσωμάτωση πυρήνα στο συντελεστή συσχέτισης – Ακρίβεια μικρότερη του εικονοστοιχείου – Ανεξαρτησία από γραμμικές φωτομετρικές παραμορφώσεις W 7x7 n m Πρόβλημα Βελτιστοποίησης

26 Υπολογιστική Όραση Βελτιστοποίηση ECC  Συνάρτηση κόστους: όπου,  Δοθέντος d 0,  Κλειστού τύπου λύση οδηγεί σε μηδαμινή αύξηση της πολυπλοκότητας

27 Θεώρημα: Η συνάρτηση παρουσιάζει μοναδικό ακρότατο στη θέση Το ακρότατο αυτό αντιστοιχεί σε ολικό μέγιστο, αν και μόνο αν ο παρανομαστής του είναι αρνητικός. Στην περίπτωση αυτή, η μέγιστη τιμή της συνάρτησης είναι: Υπολογιστική Όραση Υπολογισμός Βέλτιστης Λύσης

28 Υπολογιστική Όραση Αποτελέσματα Προσομοίωσης Form I Form II Τεχνητές εικόνες NCCENCC t i = Ολική Μετατόπιση Εικόνων

29 Υπολογιστική Όραση Στερεοσκοπικές Εικόνες Venus Map Sawtooth Αριστερή εικόναΔεξιά εικόνα Χάρτης Ανομοιότητας Ασυνέχειες Αποκλεισμοί

30  Τύπος μέτρησης σφάλματος – Περιοχή ενδιαφέροντος: : εκτίμηση ανομοιότητας : πραγματική ανομοιότητα : μέγεθος περιοχής ενδιαφέροντος : περιοχή ασυνεχειών : περιοχή αποκλεισμών Αρχικές Εικόνες Φωτομετρικά παραμορφωμένες εικόνες ENCC NCC Λανθασμένες αντιστοιχίσεις (δ=1) χωρίς τη διόρθωση τ Υπολογιστική Όραση Αποτελέσματα Προσομοίωσης

31  Pixel locking effect (Shimizu-Okutomi ’01) – Η τάση της κατανομής εκτιμήσεων να δημιουργεί λοβούς γύρω από ακέραιες τιμές – Μερική ακύρωση του φαινομένου με πρωθύστερη δράση NCC SOMENCC Ground Κατανομή εκτιμήσεων ανομοιότητας στην περιοχή [15-,17+] για την εικόνα Sawtooth SOM: Shimizu-Okutomi Modification Υπολογιστική Όραση Αποτελέσματα Προσομοίωσης

32  Εύρωστη σε φωτομετρικές παραμορφώσεις  Παροχή ανομοιοτήτων με ακρίβεια μικρότερη του εικονοστοιχείου  Μικρό υπολογιστικό κόστος – Κλειστού τύπου λύση  Απαλλαγή από το pixel locking effect  Χρήση της βέλτιστης λύσης ως ανιχνευτή προβληματικών σημείων (ημι-αποκλεισμένες περιοχές) Υπολογιστική Όραση Συμπεράσματα

33 Υπολογιστική Όραση Παραμετρικές Τεχνικές  Area-based (direct) τεχνικές – Αντιστοίχιση βασισμένη στην ένταση φωτεινότητας όλων των εικονοστοιχείων της ROI  Απευθείας αναζήτηση παραμετρικού μοντέλου  Featured-based τεχνικές – Αντιστοίχιση βασισμένη σε επιλεγμένα χαρακτηριστικά (γωνίες, ακμές) της ROI  Χρήση τελεστή αναγνώρισης χαρακτηριστικών  Αντιστοίχιση κοινών χαρακτηριστικών  Χρήση παραμετρικού μοντέλου για τη συνολική αντιστοίχιση δοθείσης της αντιστοίχισης χαρακτηριστικών Παραμετρικό μοντέλο Αντιστοίχιση Παραμετρικό μοντέλο

34 Παράδειγμα Υπολογιστική Όραση Area-based παραμετρικές τεχνικές  Ορισμός παραμετρικού μοντέλου – Βάσει της φύσης και των απαιτήσεων του προβλήματος  Ορισμός συνάρτησης κόστους  Βελτιστοποίηση συνάρτησης κόστους – Υπολογισμός των παραμέτρων που βελτιστοποιούν τη συνάρτηση κόστους

35 Υπολογιστική Όραση Τεχνικές Βελτιστοποίησης  Μέθοδοι πλήρους αναζήτησης (full search) – Αναλυτική αναζήτηση των Ν παραμέτρων στον Ν-D χώρο – (-) Υψηλό υπολογιστικό κόστος – (-) Πεπερασμένη ακρίβεια – ( + ) Αντιστάθμιση μεγάλων μετατοπίσεων  Μέθοδοι βασισμένες στην κλίση της έντασης των εικόνων (gradient-based) – ( + ) Μεγαλύτερη ακρίβεια (θεωρητικά ίση με το eps της μηχανής) – ( + ) Μικρό υπολογιστικό κόστος – ( + ) Δυνατότητα χρήσης επαναληπτικού σχήματος  εγκλωβισμός – (-) Αδυναμία διαχείρισης μεγάλων μετατοπίσεων  Χρήση πυραμιδικού σχήματος  Υβριδικές μέθοδοι

36 Υπολογιστική Όραση Γενικό πρόβλημα Ευθυγράμμισης εικόνων  Ορισμός παραμετρικού μοντέλου W(x;p) – x=[x,y] t, p=[p 1,p 2,…,p n ] t  Ορισμός μέτρου ομοιότητας μεταξύ εικόνας αναφοράς I R (reference image) και γεωμετρικά παραμορφωμένης εικόνας I W (warped image) – Αντιστάθμιση φωτομετρικών παραμορφώσεων

37 Υπολογιστική Όραση Αντιστάθμιση φωτομετρικών παραμορφώσεων (contrast-brightness) Lucas – Kanade ‘81 Fuh – Maragos ‘91 ECC ‘08 Επαναληπτικός αλγόριθμος Αναλυτική Αναζήτηση

38 Υπολογιστική Όραση Σχέση μεταξύ αλγορίθμων  Ελαχιστοποίηση ως προς τις φωτομετρικές παραμορφώσεις (separable variables) – LK : – FM : Κανένα από τα δύο προβλήματα δεν είναι ισοδύναμο με το Μόνη περίπτωση ισοδυναμίας:

39 Υπολογιστική Όραση Αλγόριθμος ECC – Βασική ιδέα  Κανόνας ενημέρωσης:  Προσέγγιση  η Ιακωβιανή μήτρα του ως προς τις παραμέτρους  Ακολουθία υποδεέστερων μη γραμμικών προβλημάτων βελτιστοποίησης

40 Η συνάρτηση μεγιστοποιείται για •Αν τότε το είναι ολικό μέγιστο για όπου •Αν τότε το είναι το άκρο ενός διαστήματος και το μπορεί να πάρει οποιαδήποτε τιμή ικανοποιεί τους περιορισμούς Υπολογιστική Όραση Υπολογισμός βέλτιστης λύσης ΘΕΩΡΗΜΑ

41 Υπολογιστική Όραση Υπολογισμός βέλτιστης λύσης Μια ικανή συνθήκη για να ισχύουν οι περιορισμοί είναι: όπου, ΛΗΜΜΑ

42 Υπολογιστική Όραση Βήματα Αλγορίθμου FA-ECC  Αρχικοποίηση p 0 – j=1  Επαναληπτική διαδικασία 1. Υπολόγισε την εικόνα I w (W(x;p j-1 )) 2. Υπολόγισε την Ιακωβιανή μήτρα G(p j-1 ) 3. Υπολόγισε τη βέλτιστη λύση Δp j σύμφωνα με το θεώρημα και το λήμμα 4. Ενημέρωσε τις παραμέτρους p j =p j-1 +Δp j – Αν ||Δp j ||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

43 Υπολογιστική Όραση Αντίστροφο πρόβλημα – Σύνθεση μετασχηματισμών  Αντίστροφο πρόβλημα [Hager-Belhumeur ’98] – Υπολόγισε πως πρέπει να μετασχηματίσεις την I R για να αντιστοιχιστεί με την I W – Εφάρμοσε τον αντίστροφο μετασχηματισμό στην I W  Σύνθεση μετασχηματισμών [Shum-Szeliski ’00] – Κανόνας ενημέρωσης  W(x;p j )=W(x;p j-1 ) o W(x;Δp j ) H Hessian μήτρα της βέλτιστης λύσης γίνεται ανεξάρτητη των παραμέτρων H Ιακωβιανή του μετασχηματισμού γίνεται ανεξάρτητη των παραμέτρων

44 Υπολογιστική Όραση Βήματα Αλγορίθμου IC-ECC  Αρχικοποίηση p 0 – j=1 – Υπολόγισε την Ιακωβιανή μήτρα G r (p j-1 ) και τον αντίστροφο (G r T G r ) -1  Επαναληπτική διαδικασία 1. Υπολόγισε την εικόνα I w (W(x;p j-1 ) 2. Υπολόγισε τη βέλτιστη λύση Δp j σύμφωνα με το θεώρημα και το λήμμα 3. Ενημέρωσε τo μοντέλο W(x;p j )=W(x;p j-1 ) o W(x;Δp j ) -1  Αν ||Δp j ||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

45 Υπολογιστική Όραση Επαναληπτικοί Αλγόριθμοι-Σύγκριση Πολυπλοκότητα (Ν: αριθμός παραμέτρων Κ: αριθμός εικ/χίων) Δυνατότητα Εφαρμογής Ευαισθησία στο θόρυβο Lucas-Kanade ’81 (Forwards Additive LK) O(KN 2 )Οποιοδήποτε μοντέλο Μικρή Haager-Belhumeur ’98 (Inverse Additive LK) O(KN)Γραμμικό 2DΜεγάλη Shum-Szeliski ’00 (Forwards – Compositional LK) O(KN 2 )Ημι-ομάδαΜικρή Baker-Matthews ’04 (Inverse Compositional LK) O(KN)ΟμάδαΜεγάλη FA-ECC (2007)O(KN 2 )Οποιοδήποτε μοντέλο Μικρή IC-ECC (2008)O(KN)ΟμάδαΜεγάλη


Κατέβασμα ppt "Computational Imaging Laboratory Υπολογιστική Όραση ΤΜΗΥΠ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ."

Παρόμοιες παρουσιάσεις


Διαφημίσεις Google