Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Επιβλέπων Καθηγητής: Δρ. Αναστάσιος Ντελοπουλος Παρουσίαση Διπλωματικής Εργασίας Σύστημα Αναζήτησης Εικόνων με βάση μεταδεδομένα IPTC και βαθμολογίες Εννοιών Ξηρουχάκης Μιχαήλ ΑΕΜ 4816

Εισαγωγή  Ιστορική αναδρομή  Δημοφιλείς τεχνολογίες

Χρήση της εικόνας  Αναλογική Εικόνα Εφεύρεση χημικής φωτογραφίας το 1820 Χρήση σε υγεία, εκπαίδευση, εμπόριο, άμυνα, κ.α.  Δεκαετία 1960 Εφεύρεση Ψηφιακού Η/Υ Ψηφιοποίηση της εικόνας Δημιουργία μεγάλων συλλογών αναλογικών εικόνων Συλλογές ψηφιακών εικόνων

Διατύπωση του προβλήματος «Πως θα ανακτήσουμε εικόνες, με συγκεκριμένα επιθυμητά χαρακτηριστικά, από μια μεγάλη ψηφιακή συλλογή;» Συστήματα Υπολογιστών για Αναζήτηση και Ανάκτηση Εικόνων (Image Retrieval Systems)

Μέθοδοι αναζήτησης [1] Αναζήτηση βάσει κειμένου σχολιασμού  Στηρίζεται στα λεκτικά μεταδεδομένα των εικόνων  Τα πεδία έχουν προδιαγραφεί στα πρότυπα IPTC: ΧΧρησιμοποιείται από τα παραδοσιακά συστήματα αναζήτησης ΗΗ προσθήκη σχολίων χειρωνακτικά είναι χρονοβόρα, επίπονη και δαπανηρή Όνομα ΠεδίουΠεριγραφή ΠεδίουΤύπος Δεδομένων captionΛεζάντα εικόναςString cityΕικονιζόμενη πόληString ΌΜΩΣ!

Μέθοδοι αναζήτησης [2] Αναζήτηση βάσει περιεχομένου εικόνας  Στηρίζεται στο περιεχόμενο της εικόνας: χρώματα, σχήματα, υφή κ.α.  Χρησιμοποιεί τεχνικές από στατιστική, αναγνώριση προτύπων, επεξεργασία σήματος και όραση υπολογιστών  Δυνατότητα ανάκτησης φωτογραφιών που δεν έχουν IPTC μεταδεδομένα είτε γιατί δεν πρόσθεσε ο δημιουργός, είτε γιατί οι φωτογραφίες λαμβάνονται αυτόματα και είναι αδύνατος ο χειρωνακτικός σχολιασμός τους π.χ. κάμερες ασφαλείας

ΣΥΣΤΗΜΑ Μέθοδοι αναζήτησης [3] Υλοποιήσεις Content-Based I.R. Αναζήτηση με παράδειγμαΕννοιολογική Αναζήτηση Ο χρήστης παρέχει στο ΣΣ μια εικόνα-παράδειγμα Εξάγει τα χαρακτηριστικά της Ιστόγραμμα χρώματος, πρότυπα υφής, σχήματα, κ.α. Αναζήτηση ομοιότητας στη συλλογή, βάσει αυτών ΌΧΙ ΦΙΛΙΚΗ προς τον μέσο χρήστη Το ΣΣ εξάγει σημασιολογικά χαρακτηριστικά για όλες τις εικόνες της συλλογής sky sea sand female ΦΙΛΙΚΗ Ο χρήστης χρησιμοποιεί τη φυσική γλώσσα ώστε να περιγράψει τις οπτικές έννοιες που αναζητά

Παρουσίαση Συστήματος  Υλοποιημένες τεχνικές αναζήτησης  Επίδειξη λειτουργίας συστήματος  Σχολιασμός απόκρισης συστήματος

~ Εικόνες Παρουσίαση Συστήματος Δεδομένα ΣΣ και Μέθοδοι αναζήτησης Μεταδεδομένα IPTC Πρότυπο IIM 57 έννοιες Αναζήτηση βάσει κειμένου σχολιασμού Εννοιολογική Αναζήτηση Πιθανότητα Παρουσίας Ελλιπή Μικτή Αναζήτηση

Αναζήτηση βάσει IPTC [1] Τρόποι σύγκρισης πεδίων IPTC για δυαδικά ερωτήματα Πεδία IPTC για ερωτήματα συνάφειας π.χ. το πεδίο city «Έχει τραβηχτεί η εικόνα Χ στη Στουτγάρδη;» Απάντηση: Αλήθεια (1) ή Ψέμα (0) π.χ. το πεδίο caption (λεζάντα) «Αναφέρεται η εικόνα Χ στο ποδόσφαιρο;» Απάντηση: Δείκτης συνάφειας, στο [0,1] Δείχνει πόσο σχετική είναι η caption με το «ποδόσφαιρο» city countryname byline κ.α. caption headline κ.α.

Αναζήτηση βάσει IPTC [2] Παράδειγμα ερωτημάτων με IPTC μεταδεδ. Δυαδικό Ερώτημα Ερώτημα Συνάφειας caption sample text1 city sample string1 country name sample string2 STUTTGART = samplestring1 ? ΑΛΗΘΕΙΑΨΕΜΑ sample string1 = NULL

δηλαδή ΜΟΝΟ ΕΑΝ samplestring2!=NULL OR sampletext1!=NULL Δεν λαμβάνει πόντο Αναζήτηση βάσει IPTC [3] Πιθανά αποτελέσματα δυαδικού ερωτήματος ΑΛΗΘΕΙΑΨΕΜΑ sample string1 = NULL Η imageX.JPG Συμπεριλαμβάνεται στο αποτέλεσμα Λαμβάνει +1 πόντο Η imageX.JPG ΔΕΝ συμπεριλαμβάνεται στο αποτέλεσμα Συμπεριλαμβάνεται ΜΟΝΟ ΕΑΝ τουλάχιστον ένα εκ των caption, countryname της imageX.JPG ΔΕΝ είναι κενό

δηλαδή ΜΟΝΟ ΕΑΝ samplestring1!=NULL OR samplestring2!=NULL Δεν λαμβάνει πόντο δηλαδή ΜΟΝΟ ΕΑΝ samplestring2!=NULL OR sampletext1!=NULL Δεν λαμβάνει πόντο Αναζήτηση βάσει IPTC [4] Πιθανά αποτελέσματα ερωτήματος συνάφειας ΑΛΗΘΕΙΑΨΕΜΑ sample string1 = NULL Η imageX.JPG Συμπεριλαμβάνεται στο αποτέλεσμα Λαμβάνει +1 πόντο Η imageX.JPG ΔΕΝ συμπεριλαμβάνεται στο αποτέλεσμα Συμπεριλαμβάνεται ΜΟΝΟ ΕΑΝ τουλάχιστον ένα εκ των caption, countryname της imageX.JPG ΔΕΝ είναι κενό Ερώτημα Συνάφειας ? + Δείκτη Συνάφειας sample text1 = NULL Συμπεριλαμβάνεται ΜΟΝΟ ΕΑΝ τουλάχιστον ένα εκ των city, countryname της imageX.JPG ΔΕΝ είναι κενό

Αναζήτηση βάσει IPTC [5] Βαθμολόγηση εικόνας ΠεδίαΚριτήριαΜεταδεδομένα Y.JPG Πόντοι Y.JPG captionTRAINING Κείμενο N λέξεων 1 x λέξη «TRAINING» 0.9 citySTUTTGART 1 country name GERMANYNULL Βαθμός Y.JPG 1.9 / 3 = 0.633

Αναζήτηση βάσει IPTC [6] Παράδειγμα αναζήτησης & απόκρισης ΣΣ caption FC Barcelona's Ronaldinho (R) with Lionel Messi during a training session in Stuttgart 01 October, prior to Tuesday's Champions League match against VfB Stuttgart. citySTUTTGART country name GERMANY caption STUTTGART, GERMANY: Italian cyclist Danilo Di Luca during a training of the Italian team at the track of the UCI Road Cycling World Championships in Stuttgart, Germany, Friday 28 September citySTUTTGART country name GERMANY Αποτελέσματα 1-16 (Σύνολο 72) Αποτελέσματα 25-40

Εννοιολογική αναζήτηση [1] Πιθανότητες – Βαθμολογίες εννοιών airplane anchor animal baseball basketball 57 έννοιες beach bicycle bird boat building κ.α. P{airplane}=

Εννοιολογική αναζήτηση [2] Φιλτράρισμα και ταξινόμηση αποτελέσματος Ένα σύνολο από Μ έννοιες όπου Μ<=57 Οι εικόνες με ΤΟΥΛΑΧΙΣΤΟΝ μια εκ των ζητούμενων εννοιών Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητα της να έχει ΤΟΥΛΑΧΙΣΤΟΝ μια εκ των ζητούμενων εννοιών Κριτήρια αναζήτησης: ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ P{E1 OR E2 OR E3 OR … OR E M }

Εννοιολογική αναζήτηση [3] Αλγόριθμος υπολογισμού πιθαν. ένωσης P{E1 OR E2} = P{E1} + P{E2} – P{E1 AND E2} P{E1 OR E2 OR E3} = P{(E1 OR E2) OR E3} P{E1 OR E2 OR E3} P{E1 OR E2} = P{E1} + P{E2} – P{E1}*P{E2} Παραδοχή: E1, E2 στατιστικά ανεξάρτητα } E12 P{E12}= προσεταιριστική ιδιότητα = P{E12} + P{E3} – P{E12 AND E3} P{E12} P{E12} P{E1 OR E2 OR E3} = P{E12} + P{E3} – P{E12} *P{E3}

Εννοιολογική αναζήτηση [4] Αλγόριθμος εννοιολογικής αναζήτησης Παράδειγμα:BICYCLE OR OUTDOOR Α) Ανάκτηση δεδομένων από τη ΒΔ Επιστρέφονται οι γραμμές πίνακας αποθήκευσης εννοιών εικόναέννοιαπιθαν. imgXBICYCLE0.73 imgXOUTDOOR0.94 imgYFEMALE0.69 imgYBICYCLE0.91 imgYSKY0.99 Β) Υπολογισμός της ένωσης των γεγονότων Για την imgX υπολογίζεται η P{BICYCLE OR OUTDOOR} Για την imgY η πιθανότητα αυτή ισούται με την P{BICYCLE}=0.91 καθώς P{OUTDOOR}=0 Γ) Ταξινόμηση του αποτελέσματος Οι εικόνες ταξινομούνται σύμφωνα με τη P{BICYCLE OR OUTDOOR} τους

Κριτήρια Αναζήτησης: ENTERTAINMENT OUTDOOR BICYCLE Εννοιολογική αναζήτηση [5] Παράδειγμα βαθμολόγησης και ταξινόμησης images1/ jpg P{ENTERTAINMENT}=0.73 P{OUTDOOR}=0.97 P{BICYCLE}= Βήμα 1: P{ENTERTAINMENT OR OUTDOOR}=0.993 Βήμα 2: P{ENTERTAINMENT OR OUTDOOR OR BICYCLE}= Αποτελέσματα 1-16 (Σύνολο 89998)

Μικτή Αναζήτηση [1] Περιγραφή αλγορίθμου Μικτή Αναζήτηση ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ:  Εικόνες με τουλάχιστον μια εκ των ζητούμενων εννοιών.  Απορρίπτονται οι εικόνες με έστω και ένα μη-επιθυμητό μεταδεδομένο. Το κενό (NULL) θεωρείται ως επιθυμητή τιμή. ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ: Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητα της να έχει τουλάχιστον μια εκ των ζητούμενων εννοιών. Ακριβώς όπως στην εννοιολογική αναζήτηση.

Μικτή Αναζήτηση [2] Παράδειγμα αναζήτησης και ταξινόμησης Αποτελέσματα 1-16 (Σύνολο 106) P{ENTERTAINMENT} P{OUTDOOR} P{BICYCLE} captionπεριέχει 1x «TRAINING» citySTUTTGART country name GERMANY Μόνο Φιλτράρισμα Φιλτράρισμα & Ταξινόμηση ΟΚ ΟΚ ΟΚ ΟΚ ΟΚ ΟΚ P{ENT OR OUT OR BIC}= IPTC ΕΝΝΟΙΕΣ

Μικτή Αναζήτηση [2] Παράδειγμα αναζήτησης και ταξινόμησης Αποτελέσματα 1-16 (Σύνολο 106) P{ENTERTAINMENT} P{OUTDOOR} P{BICYCLE} captionπεριέχει 1x «TRAINING» citySTUTTGART country name GERMANY Μόνο Φιλτράρισμα Φιλτράρισμα & Ταξινόμηση ΟΚ ΟΚ ΟΚ ΟΚ ΟΚ ΟΚ P{ENT OR OUT OR BIC}= IPTC ΕΝΝΟΙΕΣ Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία στην «αντίστοιχη» εννοιολογική αναζήτηση. Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488 η στις 89998).

Μικτή Αναζήτηση [2] Παράδειγμα αναζήτησης και ταξινόμησης Αποτελέσματα 1-16 (Σύνολο 106) P{ENTERTAINMENT} P{OUTDOOR} P{BICYCLE} captionπεριέχει 1x «TRAINING» citySTUTTGART country name GERMANY Μόνο Φιλτράρισμα Φιλτράρισμα & Ταξινόμηση ΟΚ ΟΚ ΟΚ ΟΚ ΟΚ ΟΚ P{ENT OR OUT OR BIC}= IPTC ΕΝΝΟΙΕΣ Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία στην «αντίστοιχη» εννοιολογική αναζήτηση. Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488 η στις 89998). Στην «αντίστοιχη» αναζήτηση βάσει IPTC, η βαθμολογία είναι εντελώς διαφορετική ( ) καθώς αυτή υπολογίζεται βάσει ομοιότητας με τα IPTC μεταδεδομένα. Ομοίως και η ταξινόμηση! (63 η στα 72)

Παρουσίαση Υπομονάδων ΣΣ Administrator Tools  Δυναμική τροποποίηση της Φόρμας Αναζήτησης από τον Διαχειριστή ΣΣ  Εισαγωγή βαθμολογιών εννοιών στο ΣΣ  Εισαγωγή IPTC μετα- δεδομένων στο ΣΣ  Δημιουργία και αρχικοποίηση ΣΣ  Καταστροφή ΣΣ

Προγραμματιστικά Εργαλεία  Apache Web Server  HTML & CSS  PHP  MySQL

Επίλογος  Χρόνος Απόκρισης ΣΣ  Συμπεράσματα

Χρόνος Απόκρισης ΣΣ [1] Περιγραφή Πειράματος Μέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες Βήμα 1: airplane Βήμα 2: airplane anchor Βήμα 3: airplane anchor animal Βήμα 4: airplane anchor animal baseball … Βήμα 57: airplane anchor (…) vegetation walking Βήμα 1: walking Βήμα 2: walking vegetation Βήμα 3: walking vegetation usa_flag Βήμα 4: walking vegetation usa_flag tennis … Βήμα 57: walking vegetation (…) anchor airplane A - Z Z - A

Χρόνος Απόκρισης ΣΣ [2] Σχέση πλήθος εννοιών - χρόνος απόκρισης Η αύξηση του πλήθους των εννοιών αυξάνει το χρόνο απόκρισης του ΣΣ Μέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες OUTDOOR ENTERTAINMENT ENTERTAINMENT OUTDOOR πλήθος εννοιών OUTDOOR: εικόνες ENTERTAINMENT: Και (AND) τις δυο: χρόνος απόκρισης

Χρόνος Απόκρισης ΣΣ [3] Σχέση πλήθος εννοιών – αποτελεσμάτων πλήθος εννοιών χρόνος απόκρισης πλήθος αποτελεσμάτων OUTDOOR ENTERTAINMENT ENTERTAINMENT OUTDOOR προσθέτουν τις κοινές εικόνες στο σετ αποτελέσματος υ π ο λ ο γ ι σ μ ό ς π ι θ α ν ο τ ή τ ω ν έ ν ω σ η ς εμφάνιση μιας νέας πιθανότητας για κάθε μια εκ των κοινών εικόνων

Χρόνος Απόκρισης ΣΣ [4] Σχέση πλήθος αποτελεσμάτων - χρόνος απ. Αναμένουμε έντονα παραβολική σχέση ανάμεσα στο πλήθος αποτελεσμάτων της αναζήτησης και τον χρόνο απόκρισης του ΣΣ X:πλήθος αποτελεσμάτων, Y:χρόνος απόκρισης A - ZZ - A

Χρόνος Απόκρισης ΣΣ [5] Σχέση πλήθος εγγραφών - χρόνος απόκρ. X:πλήθος ανακτημένων εγγραφών, Y:χρόνος απόκρισης A - ZZ - A Επειδή κάθε ανακτημένη εγγραφή από την ΒΔ (Βήμα 1) προκαλεί συνήθως ένα νέο υπολογισμό πιθανότητας ένωσης γεγονότων Αναμένουμε μια γραμμική ή ελαφρώς παραβολική σχέση ανάμεσα στο πλήθος των ανακτημένων εγγραφών και τον χρόνο απόκρισης

Συμπεράσματα  Η χρήση μόνο «Αναζήτησης βάσει κειμένου σχολιασμού» είναι ανεπαρκής  Η χρήση μόνο «Εννοιολογικής αναζήτησης» είναι συχνά επίσης ανεπαρκής Αυτό συμβαίνει διότι:  Ο σχολιασμός, ιδιαίτερα σε πεδία ελεύθερου κειμένου (headline, caption, κ.α.), είναι υποκειμενικός καθώς βασίζεται στην κρίση του σχολιαστή.  Συνήθως πολλά πεδία μεταδεδομένων έχουν μείνει κενά (NULL) απ’ τον σχολιαστή. Για διαφορετικούς όμως λόγους: Η χρήση μιας έννοιας (BICYCLE) μας φέρνει 4662 αποτελέσματα. Μεγάλο σετ αποτελέσματος για να πλοηγηθεί ο μέσος χρήστης! Η απλή απαίτηση οι εικόνες που ζητάμε έχουν τραβηχτεί στην ΓΕΡΜΑΝΙΑ (πεδίο countryname: GERMANY) κατεβάζει το σετ στα 411 αποτελέσματα! Ομοίως: Η χρήση τριών εννοιών (ENTERTAINMENT, OUTDOOR, BICYCLE) θα μας δώσει αποτελέσματα, ενώ η γνώση ότι ψάχνουμε για εικόνες στην Δρέσδη (city: DRESDEN) θα μας κατεβάσει το σετ στα 472 αποτελέσματα!

Συμπεράσματα  Η χρήση μόνο «Αναζήτησης βάσει κειμένου σχολιασμού» είναι ανεπαρκής  Η χρήση μόνο «Εννοιολογικής αναζήτησης» είναι συχνά επίσης ανεπαρκής  Η χρήση πολλών εννοιών από κοινού δεν έχει πάντα θετικά αποτελέσματα Αν π.χ. ψάχνουμε «ποδηλάτες», η χρήση μόνο της έννοιας BICYCLE ενδείκνυται σε σχέση με την χρήση από κοινού των OUTDOOR, BICYCLE και ENTERTAINMENT 4662 αποτελέσματα Χιλιάδες δεν έχουν καμία σχέση με BICYCLE! Ακόμα και στις πρώτες εκατοντάδες του αποτελέσματος βρίσκουμε εικόνες χωρίς BICYCLE.

Συμπεράσματα  Η χρήση μόνο «Αναζήτησης βάσει κειμένου σχολιασμού» είναι ανεπαρκής  Η χρήση μόνο «Εννοιολογικής αναζήτησης» είναι συχνά επίσης ανεπαρκής  Η χρήση πολλών εννοιών από κοινού δεν έχει πάντα θετικά αποτελέσματα  Σχετικά φτωχή η αξία των αποτελεσμάτων όταν οι βαθμολογίες των εικόνων σε σχέση με π.χ. δυο έννοιες διαφέρουν κατά πολύ Στο ερώτημα με GOLF και SKY λαμβάνουμε 3210 αποτελέσματα. Όμως η πρώτη εικόνα που σχετίζεται (και) με την GOLF ταξινομείται 81η θέση! Βαθμολογίες SKY >> Βαθμολογίες GOLF