«Ανάκτηση εικόνας με βάση το περιεχόμενο» (Content-Based Image Retrieval) Πέτσας Δημήτριος Παρουσίαση στο μάθημα: Ψηφιακές Βιβλιοθήκες Καθηγητής: κ. Καπιδάκης Σ. Αθήνα - Δεκέμβριος 2005

Επισκόπηση θεμάτων Ορισμοί Σημασία εικόνας Ανάκτηση εικόνας με βάση το κείμενο Συστήματα ευρετηρίασης & ταξινόμησης εικόνων Πλεονεκτήματα - μειονεκτήματα Ανάκτηση εικόνας με βάση το περιεχόμενο Τεχνικές για ανάκτηση εικόνας βασισμένη στο περιεχόμενο Αυτόματος σχολιασμός εικόνων Χρήστης Συστήματα ανάκτησης εικόνων με βάση το περιεχόμενο Συμπεράσματα

Ορισμοί: Εικόνα - Ψηφιακή Εικόνα Ορισμοί: Εικόνα - Ψηφιακή Εικόνα

Ορισμοί: Εικόνα – Ψηφιακή Εικόνα

Σημασία εικόνας Μέσο διακίνησης πληροφορίας & επικοινωνίας Μεγάλη εκφραστικότητα Χρήση από πολλές επαγγελματικές ομάδες Αλματώδης αύξηση: - Τεράστιος όγκος εικόνων - Μεγάλη διαθεσιμότητα - Τεχνολογική πρόοδος - Πληροφορική - Παγκόσμιος Ιστός

Ανάκτηση εικόνας με βάση το κείμενο (Text-Based Image Retrieval) Μεταδεδομένα Θεματικοί όροι Λέξεις κλειδιά Ταξινομικά σύμβολα

Συστήματα ευρετηρίασης & ταξινόμησης εικόνων Θησαυρός Τεχνών & Αρχιτεκτονικής Σύστημα για εικόνες Getty Θησαυρός για Γραφικά (Library of Congress) Εικονογραφικός Θησαυρός ICONCLASS TELCLASS Ταξινόμηση Βιέννης για εμπορικά σήματα Σύστημα κωδικοποίησης για μηχανικά μέρη Opitz Γενικά ταξινομικά συστήματα

Πλεονεκτήματα – Μειονεκτήματα ανάκτησης βασισμένης στο κείμενο Μεγάλη εκφραστική δύναμη Επεκτασιμότητα Ευελιξία Ύπαρξη εφαρμογών λογισμικού Μειονεκτήματα Μεγάλη κατανάλωση πόρων Κοπιαστική εργασία Υποκειμενικότητα ανθρώπινης αντίληψης Πλούσιο περιεχόμενο εικόνων

Ανάκτηση εικόνας με βάση το περιεχόμενο (Content-Based Image Retrieval) 1/2 Ορισμός: Οι τεχνικές που χρησιμοποιούνται για την ανάκτηση εικόνων σε μια ψηφιακή βιβλιοθήκη ή στο διαδίκτυο με βάση χαρακτηριστικά που εξάγονται αυτόματα από το ίδιο το οπτικό τους περιεχόμενο

Αναζήτηση εικόνας με βάση το περιεχόμενο 2/2 Ανάγκη για τεχνικές αναζήτησης εικόνας με βάση το περιεχόμενο: Μειονεκτήματα παραδοσιακών τεχνικών Όγκος ψηφιακών εικόνων Ειδικές ανάγκες κοινοτήτων Παγκόσμιος Ιστός

Τεχνικές ανάκτησης εικόνας με βάση το περιεχόμενο 1/2 Τεχνικές ανάκτησης εικόνας με βάση το περιεχόμενο 1/2 Βασική ιδέα: Εξαγωγή χαρακτηριστικών από την εικόνα με χρήση αλγόριθμων και μετατροπή τους σε μαθηματικά δεδομένα για να είναι μετρήσιμα από το σύστημα και να γίνεται ανίχνευση ομοιότητας μεταξύ εικόνων με τη σύγκριση των χαρακτηριστικών αυτών

Τεχνικές ανάκτησης εικόνας με βάση το περιεχόμενο 2/2 Τεχνικές ανάκτησης εικόνας με βάση το περιεχόμενο 2/2 Χαρακτηριστικά που χρησιμοποιούνται: Χρώμα (Colour) Σχήμα (Shape) Υφή ή δομή (Texture) Θέση (Spatial Location - Relationship) Συνδυασμός των παραπάνω Κατάτμηση (Segmentation)

Παραδείγματα κατάτμησης εικόνων

Αυτόματος σχολιασμός εικόνων Αυτόματη δημιουργία εξαγωγή λέξεων κλειδιών μέσα από το περιεχόμενο των εικόνων για την ανάκτηση Σύστημα ALIP

Διεπαφή του χρήστη με το σύστημα: Διεπαφή του χρήστη με το σύστημα: Είδη αναζητήσεων: Φυλλομέτρηση Ερώτηση με εικόνα ως παράδειγμα Ερώτηση με σχέδιο Δήλωση γνωρισμάτων Ανατροφοδότηση σχετικότητας για βελτίωση της ανάκτησης

Σχεδιάγραμμα λειτουργίας συστήματος ανάκτησης εξαγωγή γνωρισμάτων δημιουργία ευρετηρίου γνωρίσματα εικόνες ανάκληση εικόνας αριθμός εικόνας σύγκριση/ ταίριασμα δόμηση ευρετηρίου γνωρίσματα ερωτήματος αποτελέσμα ερωτήματος φυλλομέτρηση εξαγωγή γνωρισμάτων παρουσίαση εικόνας άμεσο ερώτημα ερώτημα εικόνα/σχέδιο διαμόρφωση ερωτήματος ερώτημα με παράδειγμα

Συστήματα ανάκτησης εικόνων με βάση το περιεχόμενο: ALISA BLOBWORLD Photobook SIMPLIcity QBIC FIRE ISTORAMA SCHEMA

ALISA (Adaptive Learning Image and Signal Analysis) Εξάγει χαρακτηριστικά για: - χρώμα - σχήμα - δομή Ο αλγόριθμος του εκπαιδεύεται να αναγνωρίζει νέα σχήματα ή δομές με λίγες μόνο εικόνες Διαφορετικές επιτυχημένες εφαρμογές Χρησιμοποιείται σε βιομηχανικές εφαρμογές

Blobworld Εξάγει χαρακτηριστικά για: - χρώμα - σχήμα - δομή - θέση Ο χρήστης έχει τη δυνατότητα καθορισμού της βαρύτητας κάθε χαρακτηριστικού για την εικόνα που αποτελεί παράδειγμα κατά την αναζήτηση

Photobook Εξαγωγή χαρακτηριστικών με βάση: - το σχήμα - την υφή Η τεχνολογία του για την ανίχνευση προσώπων χρησιμοποιείται σε αστυνομικά τμήματα

QBIC (Query By Image Content) Δυνατότητα ανάκτησης με τη χρήση χαρακτηριστικών για: - χρώμα - υφή - σχήμα και με λέξεις κλειδιά Εμπορική εφαρμογή

SIMPLIcity (Semantics-sensitive Integrated Matching for Digital Picture) κατάτμηση των εικόνων και ανίχνευση χαρακτηριστικών από τις περιοχές που προκύπτουν αναφορικά με: - το χρώμα - τη δομή - το σχήμα - τη θέση σημασιολογική ταξινόμηση

FIRE (Flexible Image Retrieval Engine) εξάγει γνωρίσματα σχετικά: - το σχήμα - το χρώμα - τη δομή ελεύθερο λογισμικό

Ελληνικά ερευνητικά προγράμματα ΙΣΤΟΡΑΜΑ ανάκτηση εικόνων με βάση το περιεχόμενο από τον Παγκόσμιο Ιστό SCHEMA ανάπτυξη αρχιτεκτονικής για ανάλυση, ευρετηρίαση και ανάκτηση εικόνων με βάση το περιεχόμενο

Συμπεράσματα πρακτικές εφαρμογές η ανάκτηση εικόνας με βάση το περιεχόμενο βρίσκεται ακόμη σε ανώριμο στάδιο και έχει περιορισμούς αποτελεί αντικείμενο μεγάλης ερευνητικής δραστηριότητας ο συνδυασμός της με την αναζήτηση με βάση το κείμενο μπορεί να αποδώσει καλύτερα αποτελέσματα

ΕΥΧΑΡΙΣΤΩ ΓΙΑ ΤΗΝ ΠΡΟΣΟΧΗ ΣΑΣ!