Ανάπτυξη και Υλοποίηση Νέων Τεχνικών Ανάκτησης Εικόνων με τη Χρήση Πληροφορίας Χρώματος Ανάπτυξη Έρευνας της Διδακτορικής Διατριβής του Κωνσταντίνου Κωνσταντινίδη Επιβλέπων Καθηγητής: Ιωάννης Ανδρεάδης Εργαστήριο Ηλεκτρονικής Δημοκρίτειο Πανεπιστήμιο Ξάνθης, Οκτώβριος 2006

Ερευνητικές Δραστηριότητες (Αναγκαία Συστατικά ενός Συστήματος Ανάκτησης Εικόνων) Χρωματικοί Χώροι  RGB  HSV  CIELab (L*a*b*)  CIELCH Μέθοδοι Σύγκρισης Ιστογραμμάτων  Histogram Intersection  Euclidean Distance (L2)  Bhattacharyya Distance  Matusita Distance  Divergence

Block Diagram Συστήματος Ανάκτησης Εικόνων προαιρετικό

Αποτελέσματα για 4 ανακτήσεις με απλά ιστογράμματα Ερώτηση 1 η RGBHSIL*a*b*LCH Ευκλείδεια Bhattacharyya Matusita Παράγοντας Απόκλισης Histogram Intersection Ερώτηση 2 η RGBHSIL*a*b*LCH Ευκλείδεια Bhattacharyya Matusita Παράγοντας Απόκλισης Histogram Intersection Ερώτηση 3 η RGBHSIL*a*b*LCH Ευκλείδεια Bhattacharyya Matusita Παράγοντας Απόκλισης Histogram Intersection Ερώτηση 4 η RGBHSIL*a*b*LCH Ευκλείδεια Bhattacharyya Matusita Παράγοντας Απόκλισης Histogram Intersection

Σύγκριση χρονικού κόστους

Συμπεράσματα (Με βάση 2500 εικόνες) 1. Τα γενικά ιστογράμματα είναι πιο γρήγορα από τα τοπικά αλλά υστερούν σε ακρίβεια. 2. Η αλγόριθμοι που χρησιμοποιούν το RGB είναι πιο γρήγοροι από τους υπόλοιπους αλλά και πιο ευαίσθητοι σε αλλαγές φωτισμού + Εσφαλμένη αναγνώριση παρόμοιων χρωμάτων ->Φτωχά Αποτελέσματα 3. Η αλγόριθμοι που χρησιμοποιούν τα HSV, L*a*b* and LCH είναι πιο αργοί αλλά και πιο ακριβείς καθώς η φωτεινότητα σε αυτές της περιπτώσεις υπονομεύεται. 4. Ιεραρχία Ακριβείας: LCH, HSV, L*a*b*, RGB Ιεραρχία Ταχύτητας: RGB, HSV, L*a*b*, LCH 5. Ταχύτερος Αλγόριθμος: Συνεργασία RGB με Ευκλείδεια -> Φτωχά Αποτελέσματα 6. Ο πιο αξιόπιστος και πιο εύρωστος χρωματικός χώρος είναι ο LCH αλλά είναι πάρα πολύ αργός στη χρήση του Γενικά, ο πιο αποδοτικός συνδυασμός εξαρτάται απόλυτα από την εφαρμογή και την βάση με την οποία δουλεύουμε.

Πρόσθετες Εφαρμογές Εισαγωγή θορύβου Salt and Pepper στην αρχική εικόνα (Σε μια από τις περιπτώσεις η εικόνα σχεδόν αλλοιώνεται ολοκληρωτικά) Αλλαγή του φωτισμού της αρχικής εικόνας Θόλωμα της αρχικής εικόνας Το πιο αξιόπιστο σύστημα: Συνεργασία του LCH με την απόσταση Matusita

Υπολογιστικό Φορτίο Οι περισσότερες πράξεις γίνονται στην μετατροπή ανάμεσα στους χρωματικούς χώρους -> Συστήματα που χρησιμοποιούν τους HSV, L*a*b* και LCH είναι πιο αργοί από αυτούς που χρησιμοποιούν το RGB Ταξινόμηση ανάλογα με την καταπόνηση  Πράξεις Μεταφοράς ανάμεσα στους χώρους  Αλγόριθμος Ομαλοποίησης  Μέθοδοι Σύγκρισης Μέθοδοι Γενικών Ιστογραμμάτων  Εκτεταμένη ανάλυση Υπολογισμών (Πίνακας Πράξεων) Μέθοδοι Τοπικών Ιστογραμμάτων  Υπερβολικά αυξημένος αριθμός πράξεων σε σχέση με τις μεθόδους γενικών ιστογραμμάτων

Συστήματα που Αναπτύχτηκαν 1. Ανάκτηση Εικόνας βασισμένη στην Επεξεργασία Ιστογράμματος Χρώματος με τη χρήση Ασαφούς Λογικής 2. Ανάκτηση Εικόνας βασισμένη στα Ιστογράμματα Χρώματος εμπλουτισμένα με Χωρική Πληροφορία 3. Συνεργεία χρώματος και υφής 4. Κυψελιδωτά Αυτόματα 5. Ανάκτηση εικόνων με τη χρήση ενός Peer-to-peer δικτύου 6. Ανάκτηση εικόνων επηρεασμένη από το φαινόμενο ‘watercolor’ 7. Σύγκριση Ιστογραμμάτων με τη χρήση ασαφούς λογικής

Ανάκτηση Εικόνας βασισμένη στην Επεξεργασία Ιστογράμματος Χρώματος με τη χρήση Ασαφούς Λογικής 1 ο Σύστημα

Περιγραφή Fuzzy Συστήματος Fuzzy System L*’s Membership Functions a*’s Membership Functions b*’s Membership Functions Defuzzification Membership Functions

Παραδείγματα

Μέθοδος Σύγκρισης Ιστογραμμάτων Histogram Intersection (M.J. Swain and D.H. Ballard, Color Indexing, International Journal of Computer Vision 7 (1991) 11-32) Η Q και H C είναι τα ιστογράμματα της εικόνας αναζήτησης και οποιασδήποτε εικόνας στη βάση αντιστοίχως. N είναι ο αριθμός των bins. Η μέθοδος αυτή παράγει έναν αριθμό (0,1). Όσο πιο μεγάλος ο αριθμός (τείνει στο 1) τόσο πιο παρόμοια τα ιστογράμματα.

Αποτελέσματα Η βάση εικόνων που χρησιμοποιείται είναι 1100 εικόνες, όλες μετασχηματισμένες σε 50x50 pixels Image Set Swain & Ballard Classic L*a*b* Histogram Tico (HSV) Tico (L*a*b*) Liang (RGB) Liang (HSV) Fuzzy Linking (L*a*b*) 180%75% 55%70%90%95% 270%75%70%75%50%67%85% 390% 75%90%65%80%95% Χρόνος (sec)

2ο Σύστημα Ανάκτηση Εικόνας βασισμένη στα Ιστογράμματα Χρώματος εμπλουτισμένα με Χωρική Πληροφορία

Στόχος Ανάκτηση Εικόνας βασισμένη στα Ιστογράμματα Χρώματος εμπλουτισμένα με Χωρική Πληροφορία Ανάκτηση Εικόνας με τη Χρήση Χωροχρωματικών Ιστογραμμάτων Αποτέλεσμα

Σχεδιάγραμμα της Ιδέας του Συστήματος Εξαγωγής του Χωροχρωματικού Ιστογράμματος

Παραδείγματα

Μέθοδος Σύγκρισης Χωροχρωματικών Ιστογραμμάτων Απόσταση Bhattacharyya (K. Fukunaga, Introduction to Statistical Pattern Recognition (Academic Press, Inc., 2nd edition, 1990)) Η Q και H C είναι τα ιστογράμματα της εικόνας αναζήτησης και οποιασδήποτε εικόνας στη βάση αντιστοίχως.

Αποτελέσματα Image Set Swain & Ballard Tico (HSV) Tico (L*a*b*) Liang (RGB) Liang (HSV) Classic L*a*b* Histogram Spatially- biased Histogram 175%45%60%40%65% 100% 270% 75%50%67%75%85% 390%75%90%65%80%90%100% Χρόνος (sec)

Παράδειγμα του Συστήματος Ανάκτησης Εικόνων με τη χρήση Χωροχρωματικών Ιστογραμμάτων

3ο Σύστημα Ανάκτηση Εικόνων με τη Συνέργεια χρώματος και υφής

Συνεργεία Χρώματος με Υφή (1) Η εξαγωγή της υφής γίνεται με χρήση των μασκών του Laws που προκύπτουν από τους 25 συνδυασμούς των παρακάτω διανυσμάτων: L5 =[14641] E5 =[-2021] S5 =[020 ] W5=[20-21] R5 =[1-46 1] Αντί για την κλασική εξαγωγή της υφής από την φωτεινότητα μιας εικόνας, εξάγουμε την χρωματική της υφή μέσω των συνιστωσών a* και b* από τον χρωματικό χώρο L*a*b*

Συνεργεία Χρώματος με Υφή (2) Λόγω του ότι δεν είναι δυνατόν να χρησιμοποιηθούν και οι 25 συνδυασμοί, για κάθε εικόνα, μόνο το αποτέλεσμα της μάσκας που απορρέει την μεγαλύτερη ενέργεια από τις χρωματικές συνιστώσες παραμένει για την περαιτέρω ανάκτηση: όπου ENa* και ENb* είναι οι ανάλογες ενέργειες για την χρωματική υφή της κάθε συνιστώσας Η χρωματική υφή αυτή, σε συνεργεία με την χρωματική πληροφορία που εξάγεται από την συνιστώσα του Hue (από το HSV) χρησιμοποιούνται για να παραχθεί το τελικό ιστόγραμμα που έχει 256 bins (8*8*4)

Αποτελέσματα % Opponent Histogram with Intersection Spatial Colour Information Chromaticity Moments Colour Texture Moments L*a*b* Histogram (Matusita) Colour Texture (FAST) Set 180%60%45%35%70%95% Set 227%25%23%10%15%67% Set 335%40%15%5%40%65% Set 445%40%5%35%40%55% Set 5100%70%40%35%75%100% Set 6100%85%50%55%80%100% Χρόνος (sec)

Παράδειγμα Ανάκτησης με τη συνεργία Χρώματος-Υφής

4ο Σύστημα Ανάκτηση Εικόνων με τη χρήση Κυψελιδωτών Αυτόματων

Ανάκτηση Εικόνων με τη Χρήση Κυψελιδωτών Αυτόματων Images Query Image FeatureExtraction SelectedFeature FeatureExtraction SelectedMetrics Matching QueryFeatures FeatureDatabase RetrievedImages A Priori CA Classification Σε αυτή την περίπτωση τα κυψελιδωτά χρησιμοποιούνται σαν μια αρχική ταξινόμηση των εικόνων στη βάση, σε σχέση με την ομοιότητα τους ως προς την αρχική εικόνα

Κυψελιδωτά Αυτόματα (Γειτονιά) Η γειτονιά του προτεινόμενου κυψελιδωτού είναι αυτή του Moore: Τη θέση των κυψελίδων παίρνουν τα εικονοστοιχεία της εκάστοτε εικόνας Moore

Σχεδιάγραμμα του αλγόριθμου της μεθόδου Images Query Image L*a*b* Cellular Automata Histogram Bhattacharyya Distance Comparison 100 Classified Images HSV HSV Histograms RetrievedImages Bhattacharyya Distance Comparison

Παράδειγμα της εφαρμογής του Κ.Α. για ένα εικονοστοιχείο

Κυψελιδωτά Αυτόματα (Αρχική Ταξινόμηση, 1 ο στάδιο) Το κυψελιδωτό αυτόματο εφαρμόζεται στις συνιστώσες a* και b* του χρωματικού χώρου L*a*b* για 5 εποχές, ή μέχρι όλα τα εικονοστοιχεία της εικόνας να αποκτήσουν μια εκ των πεπερασμένων τιμών (i.e. -128, 0 or 127) Στο τέλος κάθε εποχής δημιουργείται ένα ιστόγραμμα με 16 bins για κάθε χρωματική συνιστώσα, δημιουργώντας έτσι 2D ιστογράμματα τα οποία μπορούν και να φτάσουν ένα μέγιστο της τάξης των 96 bins (αρχικό + ανάλογα με τις εποχές)  Εικόνες που έχουν ιστογράμματα με διαφορετικό αριθμό bins σε σχέση με της αρχικής εικόνας απορρίπτονται άμεσα Κάθε ιστόγραμμα από την βάση συγκρίνεται με της αρχικής χρησιμοποιώντας την απόσταση Bhattacharyya Οι πρώτες 100 εικόνες με τις μικρότερες αποστάσεις περνάνε στην επόμενη φάση της τελικής ταξινόμησης

Τελική Ταξινόμηση (2 ο στάδιο) Από της 100 εικόνες που κρατήθηκαν εξάγεται ένα απλό ιστόγραμμα με 32 bins από την συνιστώσα Hue του HSV Κάθε ιστόγραμμα από τις 100 εικόνες συγκρίνεται με της αρχικής χρησιμοποιώντας την απόσταση Bhattacharyya Τελικά οι 20 (το νούμερο μπορεί να μεταβληθεί μέχρι το 100) πιο παρόμοιες εικόνες (μικρότερη απόσταση) παρουσιάζονται στο χρήστη

Αποτελέσματα Σέτ Εικόνων Χρόνος (sec) Ακρίβεια (Accuracy) Μεθόδου Κ.Α. (%) Ακρίβεια Μεθόδου Απλού Ιστογράμματος (%)

Παράδειγμα Ανάκτησης με τη χρήση κυψελιδωτού αυτόματου

5ο Σύστημα Ανάκτηση εικόνων με τη χρήση ενός Peer-to- peer δικτύου

Ανάκτηση σε 2 στάδια με τη χρήση των fuzzy και spatial συστημάτων αντίστοιχα, εντός ενός CAN δικτύου (Content-Addressable- Network) στον Καρτεσιανό χώρο Τα bins που προκύπτουν από το fuzzy ιστόγραμμα είναι και οι συντεταγμένες του peer γύρω από του οποίου την γειτονιά θα γίνει το ψάξιμο

Δρομολόγηση της ανάκτησης στο δίκτυο (1 ο στάδιο) Ο χρήστης (main peer) κάνει μια ερώτηση στο δίκτυο προκειμένου να βρει παρόμοιες εικόνες. 1. Όλοι οι peers έχουν μια βάση με fuzzy ιστογράμματα (με το που εγκαθιστά ο χρήστης το πρόγραμμα στον υπολογιστή του, το σύστημα εξάγει τα ιστογράμματα των εικόνων που έχει, fuzzy και spatial) 2. Τα ιστογράμματα του καθενός δεν φυλάσσονται στον ίδιο αλλά προηγείται μια αυτόματη ταξινόμηση όλων των ιστογραμμάτων, όλων των χρηστών κατά την οποία δημιουργούνται κλάσεις στο δίκτυο ανάλογα με τα ιστογράμματα που υπάρχουν εκείνη την στιγμή Η δρομολόγηση της ερώτησης γίνεται σύμφωνα με το fuzzy ιστόγραμμα της εκάστοτε εικόνας

Ψάξιμο στην Γειτονιά (1 ο στάδιο) Από την στιγμή που θα γίνει η δρομολόγηση της ερώτησης και θα φτάσει στον peer που έχει παρόμοια ιστογράμματα με εκείνα του χρήστη, η ερώτηση μεταδίδεται στους τριγύρω peers και ανακτώνται μόνο τα 100 πλησιέστερα ιστογράμματα με τη χρήση του histogram intersection. Τα 100 αυτά ιστογράμματα περνούν στο 2 ο στάδιο

Χωροχρωματικά Ιστογράμματα (2 ο Στάδιο) Το δεύτερο στάδιο αποτελείται από την σύγκριση των ανάλογων χωροχρωματικών ιστογραμμάτων των 100 εικόνων που πέρασαν το πρώτο στάδιο με την χρήση της απόστασης Bhattacharyya. Στο τέλος γίνεται η αντίστροφη δρομολόγηση. Ανάλογα με το ποιες εικόνες θα ανακτηθούν, το σύστημα ξέρει από ποιους peers να τις τραβήξει και να τις παρουσιάσει στον χρήστη  Η βάση που χρησιμοποιήθηκε περιείχε εικόνες.

6ο Σύστημα Ανάκτηση εικόνων βασισμένη στο φαινόμενο ‘watercolor’

Αλγόριθμος ανάκτησης εικόνας βασισμένος στο φαινόμενο “watercolor” Αρχική ιδέα, να χρησιμοποιήσουμε χρωματική πληροφορία γύρω μόνο από τις ακμές. Ο χρωματικός χώρος που προτιμήθηκε είναι ο HSV γιατί: i. Το Hue περιέχει όλη τη χρωματική πληροφορία. ii. Το Value αντιπροσωπεύει τη φωτεινότητα της εικόνας => εύκολη εξαγωγή ακμών.

Φαινόμενο “Watercolor” Η οπτική παραίσθηση που παρατηρείται είναι η εντύπωση πως το πορτοκαλί έχει ‘κατακλείσει’ την άσπρη περιοχή ανάμεσα στις ακμές.

Τεχνική κατασκευής ιστογράμματος Χρωματικός χώρος HSV. Φιλτράρισμα του value (έχει αναχθεί σε τιμές [0,1]) με το φίλτρο ανταγωνισμού. Η νέα εικόνα περιέχει τιμές στο [-1,1]. Όσο πιο κοντά η τιμή του κάθε εικονοστοιχείου στα άκρα, τόσο πιθανότερο το εικονοστοιχείο να βρίσκεται σε περιοχή ακμής. Παίρνουμε απόλυτη τιμή, αφού δεν μας ενδιαφέρει εάν το κέντρο ή η περιφέρεια είναι φωτεινότερη , , ,

Χαρακτηριστικά φίλτρου Τα εννέα εικονοστοιχεία του κέντρου πολλαπλασιάζονται με θετικό βάρος, ενώ τα υπόλοιπα με αρνητικό. Οι τιμές του κέντρου έχουν άθροισμα 1 και της περιφέρειας -1. Τα βάρη του κέντρου είναι ίσα, πράγμα που δεν συμβαίνει με τα βάρη της περιφέρειας. Αυτό γίνεται διότι θέλουμε να δώσουμε μεγαλύτερη συμμετοχή στα εικονοστοιχεία που βρίσκονται κοντά στο κέντρο της μάσκας και μικρότερη σε αυτά που απέχουν αρκετά από αυτό, το οποίο συμβαίνει και σε άλλες μάσκες εξαγωγής ακμών. Η απόδοση βαρών έγινε με τον εξής κανόνα. Το άθροισμα των εξωτερικών εικονοστοιχείων (με τιμή ), είναι το μισό του αθροίσματος των εσωτερικών εικονοστοιχείων (με τιμή ).

Συμμετοχή εικονοστοιχείων στο ιστόγραμμα Βαθμός συμμετοχής του κάθε εικονοστοιχείου ορίστηκε να είναι η τιμή της συνέλιξης του φίλτρου με την εικόνα. Οι τιμές των bin του ιστογράμματος δεν είναι πλέον ακέραιες αλλά δεκαδικοί αριθμοί. Εκμεταλλευόμαστε πληροφορία μόνο από το Hue. Μετρική σύγκρισης Matusita.

Αποτελέσματα Image Set Swain & Ballard Walczak L*a*b* Histogram Pass & Zabih CSH 180%60%90%80%90% 265%75%65%55%100% 370%30% 65%75% 495%55%95% 90% 540%30%10%35%55% Χρόνος (sec)

Παράδειγμα Ανάκτησης (“Watercolor”)

7ο Σύστημα Σύγκριση Ιστογραμμάτων με τη χρήση προσαρμόσιμης ασαφούς λογικής

Η ιδέα είναι εξαιρετικά απλή Οι είσοδοι στο fuzzy σύστημα είναι δύο ιστογράμματα και η έξοδος είναι η fuzzy διαφορά τους Η τελική διαφορά λαμβάνεται από το άθροισμα των fuzzy διαφορών τους Οι συναρτήσεις συμμετοχής εξαρτώνται και μεταβάλλονται ανάλογα με το μεγαλύτερο ιστό του ιστογράμματος της εικόνας ερώτησης

Αποτελέσματα % Euclidean distance Matusita distance Histogram Intersection Bhattacharya distance Earth Mover’s Distance FAST Set Set Set Set Set Χρόνος (sec)

Ευχαριστώ