ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ: ΤΑΞΙΝΟΜΗΣΗ ΨΗΦΙΑΚΩΝ ΕΙΚΟΝΩΝ ΜΕ ΧΩΡΙΚΗ-ΣΗΜΑΣΙΟΛΟΓΙΚΗ ΑΝΤΙΣΤΟΙΧΗΣΗ ΣΠΟΥΔΑΣΤΗΣ : ΦΩΤΙΑΔΗΣ ΚΥΡΙΑΚΟΣ Α.Μ ΕΠΙΒΛΕΠΩΝ : Δρ. ΝΙΚΟΛΑΙΔΗΣ ΑΘΑΝΑΣΙΟΣ ΕΠΙΚΟΥΡΟΣ ΚΑΘΗΓΗΤΗΣ ΣΕΡΡΕΣ, ΦΕΒΡΟΥΑΡΙΟΣ 2015

Τεχνητή όραση  Συστήματα ασφαλείας  Συστήματα ρομποτικής όρασης  Μηχανές αναζήτησης που αναγνωρίζουν αντικείμενα από φωτογραφίες  Αναγνώριση οδικών σημάτων

SSM (semantic-spatial matching) Ταξινόμηση ψηφιακών εικόνων με χωρική-σημασιολογική αντιστοίχιση

Προγενέστεροι μέθοδοι  BoVW (bags of visual words - σάκος οπτικών λέξεων)  SPM (spatial pyramid matching – χωρική ταξινόμηση πυραμίδας)

BoVW  Εξάγονται τοπικά χαρακτηριστικά από ένα σετ εικόνων  Κατηγοριοποιούνται με k-Means(codebook)  Εξάγονται τοπικά χαρακτηριστικά για κάθε εικόνα  Εντοπίζεται σε ποια κλάση(k) βρίσκεται πιο κοντά κάθε χαρακτηριστικό(Ευκλείδεια Απόσταση)  Δημιουργείται ιστόγραμμα χαρακτηριστικών

SPM  Διαίρεση της εικόνας σε υπό-περιοχές  Κατασκευή ιστογραμμάτων χαρακτηριστικών για κάθε υπό-περιοχή  Ευθυγράμμιση όλων των ιστογραμμάτων για το τελικό διάνυσμα  Αριθμός περιοχών: 4 L

ΘΕΩΡΗΤΙΚΟ ΥΠΟΒΘΡΟ  k-Means  Αλγόριθμος SIFT  SVM(support vector machines)

Αλγόριθμος κατηγοριοποίησης k-Means  Είσοδοι: Δεδομένα, αριθμός κλάσεων k  Έξοδοι: Δεδομένα κατηγοριοποιημένα, κέντρα κάθε κλάσης

Αλγόριθμος εξαγωγής χαρακτηριστικών Αλγόριθμος SIFT(scale-invariant feature transform)  Ανίχνευση ακρότατων στο χώρο και στη κλίμακα  Εντοπισμός σημείων κλειδιών  Ανάθεση προσανατολισμού  Περιγραφείς των σημείων κλειδιών  Ένας περιγραφέας προσδιορίζεται από τη τοποθεσία, τη κλίμακα και το προσανατολισμό και περιγράφεται από ένα διάνυσμα μήκους 128

Μηχανισμοί διανυσμάτων υποστήριξης SVM(support vector machines)  Δυαδικός Ταξινομητής  Χωρίζει τα δεδομένα γραμμικά

Μηχανισμοί διανυσμάτων υποστήριξης SVM(support vector machines)  Αν δεν είναι γραμμικά διαχωριζόμενα μεταφέρονται σε υψηλότερο επίπεδο με συναρτήσεις kernel  Με Μ ταξινομητές svm πετυχαίνουμε ταξινόμηση Μ κλάσεων 1. One versus all  M svms 2. One versus one  M(M-1)/2 svms

SM(semantic matching)  Διαίρεση εικόνας όπως στην SPM  Κατασκευή ιστογραμμάτων  Κατασκευή σημασιολογικού χώρου(κατηγοριοποίηση ιστογραμμάτων ολόκληρου του σετ με k-Means), κάθε εγγραφή του σημασιολογικού χώρου είναι μια σημασιολογική ετικέτα

SM(semantic matching)  Απόδοση μιας ετικέτας σε κάθε ιστόγραμμα  Πρόσθεση ιστογραμμάτων με ίδια ετικέτα  Ευθυγράμμιση των ιστογραμμάτων σύμφωνα με την ετικέτα τους (s1 → s2 →, ・ ・ ・,→ sK)  Ετικέτες που δεν ανατέθηκαν σε κανένα ιστόγραμμα προστίθενται ως μηδενικά  Μέγεθος τελικού διανύσματος: μέγεθος ιστογράμματος* αριθμός ετικετών

SSM(semantic-spatial matching)  Η SSM είναι ο γραμμικός συνδυασμός της SPM και της SM με ένα συντελεστή επιρροής κάθε μεθόδου SSM=a*SPM+(1-a)*SM

SVMs multi classification  Περίπλοκη διαδικασία  Κλιμακωτά δεδομένα  Κατάλληλοι παράμετροι  Αριθμός κλάσεων

Πειράματα  Codebook=400  Σημασιολογικές ετικέτες= 300  Συντελεστής επιρροής=0.5  Διαίρεση εικόνας = επίπεδο 3(level 2)  200 εικόνες ανά κατηγορία(100 προς εκπαίδευση, 100 προς ταξινόμηση)

Αποτελέσματα %85%87%85%83% 40088%89%95%85%84%

Αποτελέσματα Αριθμός κλάσεωνΠοσοστό επιτυχίας %

Αποτελέσματα ανά κατηγορία