Παρουσίαση πτυχιακής εργασίας Σαλιάρη Αικατερίνη Επιβλέπων καθηγητής: Αθανάσιος Νικολαΐδης

Η δημιουργία πανοραμικών εικόνων είναι η διαδικασία κατά την οποία συνδυάζονται πολλαπλές εικόνες με μερική επικάλυψη θέας προκειμένου να παραχθεί μια εικόνα υψηλής ανάλυσης!

1. Εντοπισμός σημείων ενδιαφέροντος ανα δύο διαδοχικές εικόνες με μερική επικάλυψη 2. Αντιστοίχιση υποψήφιων σημείων μεταξύ των διαδοχικών εικόνων με κάποιο κριτήριο ομοιότητας 3. Γεωμετρικός μετασχηματισμός των σημείων διαδοχικών εικόνων 4. Ένωση εικόνων/δημιουργία πανοραμικής εικόνας

Βασίζεται σε μια καινοτομία που εφαρμόζει πολλαπλούς περιορισμούς μέχρι να καταλήξει στο τελικό ταίριασμα των εικόνων: > Ανίχνευση γωνιών στην κάθε εικόνα. > Πίνακας ομοιότητας γωνιών δύο διαδοχικών εικόνων > Αρχικό σύνολο από ζεύγη αντίστοιχων γωνιών. > Πολλαπλοί περιορισμοί πάνω στα ζεύγη > RANSAC (γεωμετρικός μετασχηματισμός των σημείων διαδοχικών εικόνων). Πιο αποδοτική δημιουργία πανοράματος.

MATLAB (m-files με συναρτήσεις) Image Processing Toolbox (βιβλιοθήκη του Matlab με έτοιμες συναρτήσεις για την επεξεργασία εικόνας) GUIDE (πλατφόρμα του Matlab για δημιουργία γραφικού περιβάλλοντος)

ΕΠΙΛΟΓΗ ΓΩΝΙΩΝ Γωνία = Μεγάλες μεταβολές της συνάρτησης φωτεινότητας της εικόνας. Αλγόριθμος Harris & Stephens: Η βασική λογική είναι ότι για κάθε σημείο ελέγχεται η συνάρτηση φωτεινότητας ή αλλιώς έντασης (intensity) για μικρές μετακινήσεις γύρω από αυτό. R > κατωφλίου λ τότε Υποψήφια Γωνία

ΠΙΝΑΚΑΣ ΟΜΟΙΟΤΗΤΑΣ Αντιστοίχιση γωνιών = πρότυπο ομοιότητας = αλγόριθμος NCC για τη δημιουργία πίνακα ομοιότητας: > Η κανονικοποιημένη συσχέτιση υπολογίζεται μεταξύ ενός παραθύρου ή αλλιώς μιας ορισμένης περιοχής εικόνας και μιας αρχικής εικόνας. > Τιμές απο -1 (ασυσχέτιστα) εως 1 (τέλεια συσχέτιση). > Εξοδος είναι ένας πίνακας τιμών κανονικοποιημένης συσχέτισης διαστάσεων N 1 × N 2.

ΠΕΡΙΟΡΙΣΜΟΙ *Η απόλυτη διαφορά μεταξύ των y συντεταγμένων των δύο επιλεγμένων γωνιών δεν είναι μεγαλύτερη απο H/3. *Η συντεταγμένη του x της αριστερής γωνίας είναι μεγαλύτερη ή ίση απο αυτήν της δεξιάς γωνίας. *Υπάρχει υψηλή συσχέτιση της έντασης φωτεινότητας μεταξύ των δύο γωνιών. Επιπλέον, Το παράθυρο ομοιότητας (similarity window) είναι μεγέθους (2w+1)x(2w+1) [7x7]. λn: τιμή κατωφλίου (ένας πραγματικός αριθμός μεγαλύτερος απο 0.75)

Υπολογισμός αρχικού συνόλου ζευγών-γωνιών Αφού υπολογιστεί ο πίνακας ομοιότητας sim(i,j) μεγέθους N1 x N2 (N1,N2 το πλήθος γωνιών στην αριστερή & δεξιά εικόνα αντίστοιχα), υπολογίζεται το αρχικό σύνολο με τα ζεύγη-γωνιών που έχουν μεγάλη ομοιότητα μεταξύ τους και ο πίνακας ομοιότητας θα αναθεωρηθεί εκ νέου με την εξής διαδικασία:

ΠΟΛΛΑΠΛΟΙ ΠΕΡΙΟΡΙΣΜΟΙ ΣΤΑ ΑΝΤΙΣΤΟΙΧΑ ΖΕΥΓΗ

ΤΕΛΙΚΟ ΣΥΝΟΛΟ ΑΠΟ ΑΝΤΙΣΤΟΙΧΑ ΖΕΥΓΑΡΙΑ Απο το σύνολο των ζευγαριών γωνιών βρίσκεται ένα ιδιαίτερο ζευγάρι t, το οποίο έχει την μεγαλύτερη συσχέτιση μεταξύ όλων των υπόλοιπων ζευγαριών. Έπειτα απο τον πίνακα που προέκυψε προηγουμένως βρίσκονται όλα τα αρχικά ζευγάρια που έχουν κάποια συσχέτιση με το ζευγάρι t. Τ: είναι το τελικό μειωμένο σύνολο ζευγαριών γωνιών.

ΑΛΓΟΡΙΘΜΟΣ RANSAC Η βασική ιδέα του αλγορίθμου είναι ότι τα δεδομένα εισόδου του αποτελούνται από «inliers», δηλαδή από δεδομένα που η κατανομή τους μπορεί να εξηγηθεί βάσει κάποιων παραμέτρων ενός μοντέλου και από «outliers», δηλαδή από δεδομένα που δεν ταιριάζουν σε ένα συγκεκριμένο μοντέλο. Οι κύριες παράμετροι του αλγορίθμου RANSAC είναι: η πιθανότητα p σε μια επανάληψη να επιλέξει ο αλγόριθμος δεδομένα που είναι όλα inliers, ο αριθμός των επαναλήψεων του αλγορίθμου και ο αριθμός των επαναλήψεων του αλγορίθμου για την εύρεση ενός μη-εκφυλισμένου σετ δεδομένων.

ΣΥΝΟΠΤΙΚΑ ΒΗΜΑΤΑ:  Επιλέγει τυχαίο σετ 8 σημείων (inliers)  Υπολογίζει πίνακα F (3x3) μέσω αλγόριθμου 8- σημείων και Sampson  Αξιολογείται ο F και επιστρέφει τον βέλτιστο πίνακα με τα σημεία. ΔΗΜΙΟΥΡΓΙΑ ΠΑΝΟΡΑΜΑΤΟΣ Βάση των παραμέτρων που προέκυψαν απο τον αλγόριθμο Ransac, γίνεται το ταίριασμα των εικόνων χαρτογραφώντας τις συντεταγμένες των pixel της μία εικόνας στο σύστημα συντεταγμένων της άλλης.

Ο αλγόριθμος λειτουργεί πολυ αποδοτικά όταν πρόκειται για εικόνες ανάλυσης 1280 x 720. Όταν πρόκειται για απλούς χρήστες που τραβάνε φωτογραφίες σε πραγματικό χρονο, είναι πολύ εύκολο να μην τηρηθούν κάποιοι περιορισμοί. Ο RANSAC λειτουργεί με βάση την πιθανότητα. Για αυτόν ακριβώς το λόγο η πιθανότητα να μην φέρει το επιθυμητό αποτέλεσμα είναι πάντα παρούσα. Πρόκειται για έναν αποδοτικό και έξυπνα προσαρμοσμένο αλγόριθμο που όμως λειτουργεί υπο πολύ συγκεκριμένες συνθήκες, σχεδόν αμετάβλητες για ένα τέλειο αποτέλεσμα. Με παραπάνω πληροφορίες και πιο έμπειρους προγραμματιστές, το αποτέλεσμα του αλγορίθμου που προτείνεται θα είναι πιο αξιόπιστο.

1. Minchen Zhu, Weizhi Wang, Binghan Liu and Jingshan Huang, A Fast Image Stitching Algorithm via Multiple- Constraint Corner Matching, as/additional-material-harris-detector.pdf as/additional-material-harris-detector.pdf 5. Martin A. Fischer, Robert C. Bolles, Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, st/ransacfithomography.m st/ransacfithomography.m 7. Notes and Codes/Matlab Notes.pdf Notes and Codes/Matlab Notes.pdf

ακολουθεί επίδειξη της εφαρμογής...