Ανακατασκευή 3Δ Σκηνής από δυσδιάστατες Φωτογραφίες Βασιλάκης Ανδρέας-Αλέξανδρος Υπεύθυνος Καθηγητής: κ. Φούντος Ιωάννης

Εμφάνιση Προβλήματος Εμφάνιση Προβλήματος  Οι ολοένα αυξανόμενες επιδόσεις των ηλεκτρονικών υπολογιστών οδηγούν στην ευκολότερη αναπαράσταση τρισδιάστατων περιβαλλόντων  Τα εργαλεία τα οποία χρησιμοποιούνται για αυτό το σκοπό προσφέρουν περισσότερες επιλογές και, ως αποτέλεσμα, γίνονται πιο πολύπλοκα και χρονοβόρα στη χρήση τους  Επίσης, πολλά «εικονικά» αντικείμενα έχουν βάση αντίστοιχα πραγματικά  Έτσι, γεννήθηκε το πρόβλημα της ανακατασκευής αντικειμένων σε υπολογιστή από πραγματικά αντικείμενα με βάση φωτογραφίες των τελευταίων  Το πρόβλημα της 3Δ ανακατασκευής τυγχάνει ευρείας χρήσης, όπως σε αρχαία κτήρια, ιστορικά ευρήματα, προγράμματα εικονικής πραγματικότητας, ανακατασκευή ανθρώπινου σώματος, προσώπου κ.ά.

Ορισμός Προβλήματος Ορισμός Προβλήματος  Ο ορισμός του προβλήματος μπορεί να συνοψιστεί ως η προσπάθεια απόκτησης τρισδιάστατων χαρακτηριστικών των αντικειμένων όταν έχουμε διαθέσιμες φωτογραφίες παρμένες από απλές μηχανές.  Οι φωτογραφίες είναι ένα προϊόν μιας μη αμετάτρεπτης προβολής μιας τρισδιάστατης σκηνής σε μία δυσδιάστατη εικόνα.

Πλεονεκτήματα μεθόδου Πλεονεκτήματα μεθόδου  Εύκολη στη χρήση (απαιτούνται μόνο οι φωτογραφίες και ένας ηλεκτρονικός υπολογιστής)  Οικονομική (δεν απαιτείται εξειδικευμένο υλικό, π.χ. 3Δ ψηφοποιητής [χειροκίνητος ή αυτόματος], συσκευή laser)  Ευέλικτη (μπορεί να χρησιμοποιηθεί σε κάθε μορφής και μεγέθους αντικείμενα)  Δεν είναι απαραίτητη η γνώση της θέσης της φωτογραφικής μηχανής στις φωτογραφίες

Διαστρωμάτωση της γεωμετρικής δόμησης Διαστρωμάτωση της γεωμετρικής δόμησης  Η τρισδιάστατη γεωμετρία χωρίζεται σε επίπεδα  Προβολικό - Projective  Συσχετισμένο - Affine  Μετρικό - Metric  Ευκλείδειο - Euclidean  Τα επίπεδα αυτά είναι ορισμένα με βάση κάποιες σταθερές.  Τι είναι σταθερά;  Αναβάθμιση σε υψηλότερο επίπεδο;

Διαστρωμάτωση της γεωμετρικής δόμησης Διαστρωμάτωση της γεωμετρικής δόμησης  Προβολικό  Λιγότερο δομημένο επίπεδο, τομή γραμμών, cross ratio.  Συσχετισμένο  Επίπεδο του απείρου (παραλληλισμός, vanishing points).  Μετρικό  Υψηλότερο επίπεδο ανακατασκευής, απόλυτο κωνικό.  Ευκλείδειο  Απόλυτες αποστάσεις, γωνίες αντί σχετικές.

Αναπαράσταση εικόνας Αναπαράσταση εικόνας  Η εικόνα είναι ένας δυσδιάστατος πίνακας φωτεινότητας (ή χρωμάτων).  Μπορεί να εκφραστεί σαν συνάρτηση:

Μοντέλο της κάμερας Μοντέλο της κάμερας  Προοπτικό μοντέλο κάμερας (ιδανική pinhole κάμερα).

Μοντέλο της κάμερας Μοντέλο της κάμερας  Πίνακας Ρύθμισης (calibration matrix) K (εσωτερικοί παράμετροι) (εσωτερικοί παράμετροι)  Πίνακας Προβολής (projection matrix) P κάμερας (εξωτερικοί παράμετροι) (εξωτερικοί παράμετροι)

Epipolar Γεωμετρία Epipolar Γεωμετρία  Τα pixels που ταιριάζουν στις δύο εικόνες δεν μπορούν να μετακινηθούν αυθαίρετα από την μία εικόνα στην άλλη  Epipolar γραμμή  Έστω πίνακας 3x3 F:  Θεμελιώδης πίνακας (Fundamental matrix)

Epipolar Γεωμετρία Epipolar Γεωμετρία  Άλλος τρόπος…  Epipole σημείο

Θεμελιώδης πίνακας Θεμελιώδης πίνακας  Γραμμική μέθοδος υπολογισμού F (αλγόριθμος των 8 σημείων) (αλγόριθμος των 8 σημείων)  Αν γνωρίζουμε 8 σημεία που ταιριάζουν σε κάθε εικόνα μπορούμε να επιλύσουμε το σύστημα με την SVD μέθοδο ή με την απαλοιφή Gauss.

Βελτίωση αλγορίθμου 8 σημείων Βελτίωση αλγορίθμου 8 σημείων  Αιτία: π.χ. συντεταγμένες σημείου ανήκουν από (0,0) ως (1024,768) Συνεπάγεται μεγάλες ενδιάμεσες τιμές κατά τον υπολογισμό Άρα, μεγάλη πιθανότητα σφαλμάτων.  Λύση (normalization): Μετασχηματισμός των συντεταγμένων ώστε να βρίσκεται από με το τύπο Υπολογισμός του F που αντιστοιχεί στα μετασχηματισμένα σημεία Υπολογισμός του Θεμελιώδη από το τύπο

3Δ Ανακατασκευή 3Δ Ανακατασκευή  Αν θεωρήσουμε ότι το Π.Σ.Σ συμπίπτει με αυτό της 1 ης κάμερας και έστω ένας αυθαίρετος 4x4 πίνακας Η έχουμε: όπου και  Έστω τότε  Αν αναλύσουμε παραπάνω έχουμε  Άρα, προκύπτει

Προβολική ανακατασκευή Προβολική ανακατασκευή  Όπως πριν θεωρούμε ότι το Π.Σ.Σ συμπίπτει με αυτό της 1 ης κάμερας στον προβολικός χώρο  Τότε ισχύει ότι ο πίνακας προβολής της 2 ης κάμερας είναι  Χρησιμοποιώντας την μέθοδο της Τριγωνοποίησης βρίσκουμε την προβολική ανακατασκευή  Έχουμεθέτουμε  Συνεπάγεται το σύστημα το οποίο λύνουμε με SVD.

Συσχετισμένη Ανακατασκευή Συσχετισμένη Ανακατασκευή  Για την αναβάθμιση σε συσχετισμένο από προβολικό επίπεδο πρέπει να υπολογίσουμε τον πίνακα :ώστε  Έχει την ειδική ιδιότητα να προβάλλει όλα τα σημεία του προβολικού χώρου που ικανοποιούν την εξίσωση στις ομογενείς συντεταγμένες  Αυτά τα σημεία σχηματίζουν το επίπεδο του απείρου. Χρειαζόμαστε τρία σημεία (vanishing points) για να το υπολογίσουμε. Μετά εκτελούμε την απαλοιφή Gauss στο σύστημα  Για να υπολογίσουμε τα vanishing points xρησιμοποιούμε τον παραλληλισμό των γραμμών στις εικόνες.

Ευκλείδεια ανακατασκευή Ευκλείδεια ανακατασκευή  Για την αναβάθμιση από συσχετισμένο σε ευκλείδειο επίπεδο πρέπει να υπολογίσουμε τον πίνακα :ώστε  Για τον υπολογισμό του Κ χρησιμοποιούμε το απόλυτο κωνικό  Υποθέτοντας ότι τα pixel έχουν s=0 και είναι τετράγωνα τότε  Επίσης ισχύει για τα vanishing points (λόγω ορθογωνικότητας) :  Έχουμε από πριν 3 vanishing points, άρα επιλύουμε το σύστημα με απαλοιφή Gauss και υπολογίσουμε Κ. Από κει υπολογίζουμε πίνακα αναβάθμισης

Εφαρμογή Εφαρμογή Παράθυροαλληλεπίδρασης:

 Παράδειγμα: Epipolar γραμμές

Πειραματικά αποτελέσματα Πειραματικά αποτελέσματα ΚΥΒΟΣΕικόνες: Επιλεγμένα σημεία:

Πειραματικά αποτελέσματα Πειραματικά αποτελέσματα  Προβολική ανακατασκευή:  Συσχετισμένη ανακατασκευή:

Βιβλιογραφία Βιβλιογραφία [1] Γ. Δ. Ακρίβης, Β. Α. Δουγάλης, ''Εισαγωγή στην Αριθμητική Ανάλυση'', [1] Γ. Δ. Ακρίβης, Β. Α. Δουγάλης, ''Εισαγωγή στην Αριθμητική Ανάλυση'', [2] Θ. Θεοχάρης, Α. Μπεμ, ''Γραφικά, Αρχές και Αλγόριθμοι'', [2] Θ. Θεοχάρης, Α. Μπεμ, ''Γραφικά, Αρχές και Αλγόριθμοι'', [3] Gilbert Strang, ''Linear Algebra and its Applications'', 2001 [3] Gilbert Strang, ''Linear Algebra and its Applications'', 2001 [4] Mason Woo, Jackie Neider, Tom Davis, ''OpenGL programming guide : the official guide to learning OpenGL, version 1.1'', Addison Wesley, nd Edition [4] Mason Woo, Jackie Neider, Tom Davis, ''OpenGL programming guide : the official guide to learning OpenGL, version 1.1'', Addison Wesley, nd Edition [5] Yi Ma, Stefano Soatoo, Jana kosecka, Shankar S. Satry, ''An Invitation to 3-D Vision: From Images to Geometric Models'', 2004 [5] Yi Ma, Stefano Soatoo, Jana kosecka, Shankar S. Satry, ''An Invitation to 3-D Vision: From Images to Geometric Models'', 2004 [6] Mark Pollefys, ''Tutorial on 3D Modeling from images: Lecture Notes'', In conjunction with ECCV 2000, Dublin, Ireland, 26 June 2000 [6] Mark Pollefys, ''Tutorial on 3D Modeling from images: Lecture Notes'', In conjunction with ECCV 2000, Dublin, Ireland, 26 June 2000 [7] P. Beardsley, A. Zisserman and D. Murray, ''Sequential Updating of Projective and Affine Structure from Motion'', International Journal of computer Vision (23), No. 3, Jun-Jul 1997, Springer Verlag, pp [7] P. Beardsley, A. Zisserman and D. Murray, ''Sequential Updating of Projective and Affine Structure from Motion'', International Journal of computer Vision (23), No. 3, Jun-Jul 1997, Springer Verlag, pp [8] G. Golub and C. Van Loan, ''Matrix Computations'', John Hopkins Univercity Press, [8] G. Golub and C. Van Loan, ''Matrix Computations'', John Hopkins Univercity Press, [9] R. Hartley, ''In defence of the eight-point algorithm'', IEEE Trans. On Pattern Analysis and machine Intelligence, 19(6): , June1997. [9] R. Hartley, ''In defence of the eight-point algorithm'', IEEE Trans. On Pattern Analysis and machine Intelligence, 19(6): , June1997. [10] R. Hartley, P. Sturm, ''Triangulation'', Computer Vision and Image Understanding, 68(2): , [10] R. Hartley, P. Sturm, ''Triangulation'', Computer Vision and Image Understanding, 68(2): , 1997.

Τέλος Παρουσίασης