Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας Μακεδόνας Ανδρέας Μεταδιδακτορικός Ερευνητής Τμ. Φυσικής, Εργαστήριο Ηλεκτρονικής

Στον κόσμο την πληροφορίας υπάρχει ένας ενιαίος τρόπος για να μετρήσουμε την απόσταση μεταξύ:  Δύο κειμένων;  Δύο αλυσίδων DNA;  Δύο (πιθανός λογο-κλεμμένων) προγραμμάτων;  Δύο εικόνων;  Δύο ηχητικών κομματιών; Ένα απλό ερώτημα

Μια τέτοια γενική θεώρηση θα πρέπει:  Να είναι ανεξάρτητη της εφαρμογής,  Ανεξάρτητη της κατάτμησης της πληροφορίας,  Να υπερισχύει όλων των άλλων θεωριών,  Να είναι χρήσιμη στην πράξη. Απάντηση: Information Distance!!! Ένα απλό ερώτημα

Πιθανολογική  Συσχέτιση πληροφορίας με την αβεβαιότητα  Shannon Entropy: Υπολογισμός της μέσης αβεβαιότητας της Χ Υπολογισμός των bits που χρειάζονται για την περιγραφή της X Είναι υπολογίσιμη Αλγοριθμική  Συσχέτιση πληροφορίας με την πολυπλοκότητα  Kolmogorov Complexity: Υπολογισμός του μικρότερου προγράμματος q ανάμεσα σε Qx προγράμματα από το οποίο μπορεί να ανακατασκευαστεί η ακολουθία x. Μέτρηση της δυσκολίας ανακατασκευής της χ ακολουθίας χωρίς να υπάρχει προηγούμενη γνώση. Είναι μη υπολογίσιμη. Προσεγγίσεις της Απόστασης της Πληροφορίας

Kolmogorov Complexity  K(x): μέγεθος της μικρότερης περιγραφής του x.  K(x|y): μέγεθος της μικρότερης περιγραφής του x δεδομένου του y.  K(x)-K(x|y): είναι η πληροφορία του το y γνωρίζει για το x.  Θεώρημα (Mutual Information). K(x)-K(x|y) = K(y)-K(y|x) Προσεγγίσεις της Απόστασης της Πληροφορίας

Normalized Information Distance (NID): Με άλλα λόγια: Νορμαλισμένο μέγεθος του μικρότερου προγράμματος υπολογισμού του x, γνωρίζοντας το y, καθώς επίσης και του υπολογισμού του y, γνωρίζοντας το x. Ερώτημα: Μπορεί να γίνει ο υπολογισμός της; Απάντηση: Όχι. Μπορούμε μόνο να την προσεγγίσουμε. Προσεγγίσεις της Απόστασης της Πληροφορίας

Normalized Compression Distance (NCD): Με άλλα λόγια: Αν δύο ακολουθίες συμπιέζονται καλύτερα μαζί από ότι μεμονωμένα, σημαίνει ότι μοιράζονται κοινή πληροφορία, επομένως μοιάζουν!!! Πλεονεκτήματα  Είναι σχεδόν ανεξάρτητη παραμέτρων (data-driven)  Εφαρμόζεται σχεδόν παντού!!! Προσεγγίσεις της Απόστασης της Πληροφορίας

Εξέλιξη των Compression Based Similarity Measures (CBSM) 1993 Ziv & Merhav  Χρήση της εντροπίας για την ταξινόμηση κειμένων Frank et al., Khmelev  Πρώτα πειράματα ταξινόμησης κειμένων με χρήση μεθόδων συμπίεσης Benedetto et al.  Διαισθητικός καθορισμός της σχετικής εντροπίας βάση της συμπίεσης  Ανακίνηση του ενδιαφέροντος για μεθοδολογίες βασισμένες στη συμπίεση 2002 Watanabe et al.  Pattern Representation based on Data Compression (PRDC)  Πρώτη κατηγοριοποίηση δεδομένων διαφόρων πηγών με ένα πρώτο στάδιο μετατροπής τους σε ακολουθίες μίας διάστασης NCD  Θεωρητική θεμελίωση της Αλγοριθμικής Θεωρίας της Πληροφορίας 2005 – σήμερα: Περαιτέρω εξέλιξη και εφαρμογές  Chen-Li Metric for DNA classification (Chen & Li, 2005)  Compression-based Dissimilarity Measure (Keogh et al., 2006)  Cosine Similarity (Sculley & Brodley, 2006)  Dictionary Distance (Makedonas et al., 2008)  Fast Compression Distance (Cerra and Datcu, 2010)  Normalized Multi-set Distance (Besiris et al., 2012)

Βασικοί Ορισμοί Ακολουθία: σύνολο λέξεων που η μία διαδέχεται την άλλη. Λέξη: μικρότερη δυνατή ακολουθία, η οποία δεν μπορεί να αναλυθεί περαιτέρω. Χαρακτήρας: μικρότερο δομικό συστατικό μιας λέξης. Λεξικό: σύνολο των μονοσήμαντα ορισμένων λέξεων που εμφανίζονται σε μια ακολουθία.

Ιδιότητες Λεξικού 1.Ταυτοδυναμία: και, όπου λ μια κενή ακολουθία. 2.Μονοτονία: 3.Αντιμεταθετικότητα: 4.Επιμεριστικότητα:

Normalized Dictionary Distance (NDD)

Παράγοντες που επηρεάζουν την NDD:  Χαρακτήρες που χρησιμοποιούνται κατά την κωδικοποίηση,  Μετατροπή μιας πολυδιάστατης ακολουθίας σε μονοδιάστατη,  Μέγεθος των υπό εξέταση ακολουθιών. Normalized Dictionary Distance (NDD)

Με ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών σε k ισόχωρες περιοχές. Με κβάντιση του χώρου των χαρακτηριστικών με τέτοιο τρόπο ώστε όλοι οι χαρακτήρες να έχουν την ίδια ακριβώς πιθανότητα εμφάνισης. Ενσωμάτωση της πληροφορίας σε χαρακτήρες

Ενσωμάτωση της χρωματικής πληροφορίας ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών

Από τις 2 διαστάσεις σε 1 Σάρωση ανά γραμμή ή ανά στήλη

Από τις 2 διαστάσεις σε 1 Σάρωση πάνω στη γραμμή Hilbert

Από τις 2 διαστάσεις σε 1 Quad Tree Transform (QTT)

Από τις 2 διαστάσεις σε 1 Quad Tree Transform (QTT)

Από τις 2 διαστάσεις σε 1 Άλλοι πιθανοί τρόποι σάρωσης  Εστίαση σε περιοχές ενδιαφέροντος που δίνονται από άλλες πηγές αλληλεπίδρασης ανθρώπου – υπολογιστή (π.χ. χρήση δεδομένων από eye- tracker)  Κωδικοποίηση περιοχών μεγαλύτερων του ενός pixel (χρήση mega-pixels)

Από τις 2 διαστάσεις σε 1 Ερώτημα: Υπάρχει τρόπος να ανεξαρτητοποιηθεί η μονοδιάστατη ακολουθία από το αρχικό σημείο του πολυδιάστατου χώρου των χαρακτηριστικών που ξεκινά, καθώς και από το μονοπάτι που ακολουθείται για την κατασκευή της; Απάντηση: Όχι.-

Burrows-Wheeler Transform (BWT) Ονομάζεται επίσης block-sorting compression algorithm. Αλλάζει τη σειρά των χαρακτήρων όχι τις τιμές τους. Είναι αντιστρεπτός μετασχηματισμός. Εμφανίζει καλύτερη συμπεριφορά όσο μεγαλύτερη είναι η υπό συμπίεση ακολουθία. Αναδεικνύει την επανάληψη περιοδικοτήτων σε μια ακολουθία.

Burrows-Wheeler Transform (BWT)

Εξαγωγή του λεξικού της ακολουθίας Χρήση του αλγορίθμου συμπίεσης LZW Χρήση 8bits για την κωδικοποίηση

Εφαρμογή σε διαδικασίες ανάκτησης εικόνας. Database used: Μέρος της Corel 15 κατηγορίες 50 εικόνες ανά κατηγορία Σύνολο: 750 εικόνες

Εφαρμογή σε διαδικασίες ανάκτησης εικόνας. Επίδραση του πλήθους των χρησιμοποιούμενων χρωματικών χαρακτήρων.

Εφαρμογή σε διαδικασίες ανάκτησης εικόνας. Επίδραση του μεγέθους της υπό συμπίεσης ακολουθίας.  χαρακτήρες  4200χαρακτήρες

Παρατηρήσεις Κάθε λεξικό χτίζεται δυναμικά χωρίς να επηρεάζεται από τη δημιουργία του άλλου!!! Τα κοινά χαρακτηριστικά που μοιράζονται τα προς σύγκριση λεξικά είναι:  Ο τρόπος κβάντισης των προς κωδικοποίηση ακολουθιών.  Η μέθοδος μετατροπής της αρχικής πληροφορίας σε μονοδιάστατη ακολουθία. Ερώτημα: τι θα συμβεί αν χρησιμοποιήσουμε κάποιο προκατασκευασμένο λεξικό για την συμπίεση της κάθε ακολουθίας;

Κατηγοριοποίηση ακολουθιών με χρήση προκατασκευασμένων λεξικών Στάδια διαδικασίας:  Δημιουργία k αυτόνομων λεξικών, ένα για κάθε κατηγορία  Από είδη γνωστές κατηγοριοποιημένες ακολουθίες  Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών  Συμπίεση των υπό εξέταση ακολουθιών με κάθε ένα από τα k αυτόνομα λεξικά και εξαγωγή δεικτών συμπίεσης.  Κατάταξη των υπό συμπίεση ακολουθιών σε μια από τις k κατηγορίες.

Δημιουργία αυτόνομων λεξικών Από είδη γνωστές κατηγοριοποιημένες ακολουθίες  Επιλέγονται c ακολουθίες που γνωρίζουμε την κατηγορία στην οποία ανήκουν.  Από κάθε μία εξάγεται το λεξικό της.  Τα c λεξικά ενώνονται σε ένα κοινό λεξικό που χαρακτηρίζει την κατηγορία.

Δημιουργία αυτόνομων λεξικών Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών.

Ερώτημα: ποια λέξη θα αναζητηθεί πρώτα; Α. αυτή που εμφανίζεται τις περισσότερες φορές; Β. αυτή που δημιουργείται από τους περισσότερους χαρακτήρες; Γ. ο συνδυασμός των Α και Β; Δ. δεν ξέρω, δεν απαντώ!!! (απάντηση: είμαι μεταξύ του Γ και λιγότερο του Δ!!! ) Συμπίεση με χρήση των προκατασκευασμένων λεξικών

Ερωτήσεις?