“Στερεοσκοπικά Συστήματα ‘Ορασης” Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Στερεοσκοπική Όραση  Οι εικόνες περιέχουν δισδιάστατη πληροφορία 2-D, (x,y)  3η διάσταση : Βάθος (Depth or Range) οδηγεί στον σχηματισμό τρισδιάστατης αναπαράστασης, (x,y,z)  Ο υπολογισμός της απόστασης ενός τυχαίου σημείου σε σχέση με την θέση μίας κάμερας αποτελεί ένα από τα σημαντικά καθήκοντα ενός συστήματος Όρασης Μηχανής (Machine Vision System) Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Στερεοσκοπική Όραση  Τεχνικές υπολογισμού Βάθους  Stereo Vision : Δύο κάμερες τοποθετημένες κατά γνωστή απόσταση (baseline) η μια από την άλλη. - Κοινές αρχές λήψης βάθους : Triangulation - Η φωτεινότητα των εικόνων χρησιμοποιείται για την εξαγωγή βάθους  Δύο οι περισσότερες εικόνες από κινούμενη κάμερα.  Range Images: f(απόσταση από σένσορ) = τιμή του pixel - Κοινές αρχές λήψης βάθους : Radar και Triangulation - Range εικόνες χρησιμοποιούνται για την εξαγωγή βάθους. Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Τριγωνισμός  Ο τριγωνισμός επιτρέπει μέτρηση βάθους  Δύο Βήματα : 1)Εύρεση αντίστοιχων σημείων (conjugate pair) 2)Υπολογισμός βάθους 2)Υπολογισμός βάθους  Περιορισμοί : Epipolar geometry constraint restricts the space of solutions Left camera lens center Right camera lens center Scene object point (x,y,z) P Left camera axis Right camera axis MN Left image plane X’ l X’r LR ClCl CrCr b plpl prpr f Focal Length z Right image plane Από τα όμοια τρίγωνα PMC l και p l LCl : x / z =x’ l / f (1) Από τα όμοια τρίγωνα PΝC r και p r RC r : x-b / z = x’ r / f (2) Από (1) και (2) Z = bf / (x’ l – x’ r ) Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Στερεοσκοπική Αντιστοιχία  Η ανίχνευση των συζυγή σημείων (conjugate pairs) σε στέρεο εικόνες αποτελεί ένα εξαιρετικά ενδιαφέρον ερευνητικό πρόβλημα γνωστό ως “Πρόβλημα αντιστοίχησης” (correspondence problem).  Ορισμός: Για κάθε σημείο στην αριστερή εικόνα, να βρεθεί το αντίστοιχο σημείο στην δεξιά εικόνα.  Το σημείο που θα αντιστοιχιστεί, θα πρέπει να είναι ευκρινώς διαφορετικό από τα γειτονικά του, αλλιώς π.χ. σε μια ομογενή περιοχή φωτεινοτήτων κάθε σημείο θα μπορούσε να αποτελεί έναν καλό υποψήφιο.  Κατάλληλη εκλογή χαρακτηριστικών για ταίριασμα (matchable features): Π.χ. Ακμές (edges), περιοχές (region) και πληροφορία χρώματος χαρακτηριστικά έχουν χρησιμοποιηθεί για stereo matching  Επίπτωση χρήσης ενός υπο-σετ των pixels της εικόνας για ταίριασμα είναι ότι υπολογίζεται το βάθος μόνο σε σημεία που ανιχνεύονται χαρακτηριστικά. Το βάθος στα υπόλοιπα σημεία υπολογίζεται έπειτα χρησιμοποιώντας τεχνικές παρεμβολής (interpolation) Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Disparity Maps (Χάρτες Βάθους)  Πυκνοί (Dense)  Αραιοί (Sparse) Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Σχεδιασμός ηλεκτρονικού συστήματος υπολογισμού χαρτών βάθους σε πραγματικό χρόνο Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Υλοποίηση ηλεκτρονικού συστήματος υπολογισμού χαρτών βάθους σε πραγματικό χρόνο σε FPGA Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Χαρακτηριστικά Υλοποιημένου Συστήματος Device Total Combinational Functions Total Registers Total(%) Total LABs(5) Total pins(%) ALTERA EP2S180 84, (84,307/143,520)83(7484/8970)3(25/743) Πίνακας 1. Χαρακτηριστικά υλοποίησης Επίπεδα Ανομοιομορφίας 80 Μέγεθος Εικόνας 320x240640x480800x x x1024 Πλαίσια/δευτερόλεπτο Πίνακας 2. Ταχύτητα εξόδου συστήματος Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Tsukuba (Επίπεδα Ανομοιομορφίας=16) Venus (Επίπεδα Ανομοιομορφίας=20) Ακρίβεια(%) Προτεινόμενη Μέθοδος [3] [4] [1] [2] Tsukuba (384x288) (Επίπεδα Ανομοιομορφίας=16) Venus (434x383) (Επίπεδα Ανομοιομορφίας=20) Χρόνος(ms) ΠροτεινόμενηΜέθοδος [2][2][2][2]42109 [1][1][1][1]62156 [3][3][3][3] [4][4][4][4]600013,100 Πίνακας 3. Ποιοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Πίνακας 4. Ποσοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Χαρακτηριστικά Υλοποιημένης Μεθόδου Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Ποιοτικά Αποτελέσματα μεθόδου Στερεοσκοπικά ζεύγη εικόνων Χάρτες Βάθους Acc=45% Acc=63% Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Σχεδιασμός ηλεκτρονικού συστήματος ασαφούς λογικής για υπολογισμό χαρτών βάθους σε πραγματικό χρόνο Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Υλοποίηση ηλεκτρονικού συστήματος υπολογισμού χαρτών βάθους σε πραγματικό χρόνο σε FPGA Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Χαρακτηριστικά Υλοποιημένου Συστήματος Device Total block memory bits Total Registers Total ALUTs(%) Total LABs(5) Total pins(%) Altera EP3SL340 H1152C3 <1(6,912/16,662,528)15,62477(208,940/270,400)96(12,914/13,520)8(57/744) Πίνακας 5. Χαρακτηριστικά υλοποίησης Επίπεδα Ανομοιομορφίας 80 Μέγεθος Εικόνας 320x240640x480800x x x1024 Πλαίσια/δευτερόλεπτο Πίνακας 6. Ταχύτητα εξόδου συστήματος Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Tsukuba (Επίπεδα Ανομοιομορφίας=16) Venus (Επίπεδα Ανομοιομορφίας=20) Ακρίβεια(%) [3][3][3][3] [4][4][4][4] [1][1][1][1] Προτεινόμενη Μέθοδος [2][2][2][2] Tsukuba (384x288) (Επίπεδα Ανομοιομορφίας=16) Venus (434x383) (Επίπεδα Ανομοιομορφίας=20) Χρόνος(ms) ΠροτεινόμενηΜέθοδος [2][2][2][2]42109 [1][1][1][1]62156 [3][3][3][3]1,0005,000 [4][4][4][4]6,00013,000 Πίνακας 7. Ποιοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Πίνακας 8. Ποσοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Χαρακτηριστικά Υλοποιημένης Μεθόδου Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Ποιοτικά Αποτελέσματα μεθόδου Στερεοσκοπικά ζεύγη εικόνων Χάρτες Βάθους Acc=82% Acc=83% Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Τρέχουσα και μελλοντική έρευνα εργαστηρίου  Βαθμονόμηση στερεοσκοπικής κεφαλής (Stereo calibration)  Διόρθωση στερεοσκοπικής γεωμετρίας (image rectification) (image rectification)  Υπολογισμός μέγιστων επιπέδων ανομοιομορφίας σε πραγματικό χρόνο Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Βαθμονόμηση στερεοσκοπικής κεφαλής Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Διόρθωση στερεοσκοπικής γεωμετρίας Original left Rectified left Original right Rectified right Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

Υπολογισμός μέγιστων επιπέδων ανομοιομορφίας σε πραγματικό χρόνο Υπολογισμός μέγιστων πιθανών επιπέδων ανομοιομορφίας Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

[1]M. Gong, Y.H. Yang, Fast unambiguous stereo matching using reliability-based dynamic programming, IEEE Trans. Pattern Anal. Mach. Intellig. 27 (6) (2005) 998–1003. [2]M. Gong, Y.H. Yang, Near real-time reliable stereo matching using programmable graphics hardware, in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2005, pp. 924–931. [3]O. Veksler, Dense features for semi-dense stereo correspondence, Int. J. Comput. Vis. 47 (1–3) (2002) 247–260. [4]O. Veksler, Extracting Dense Features for Visual Correspondence with Graph Cuts, in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2003, pp. 689–694. Βιβλιογραφία Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ