Ανάκτηση Πληροφορίας 1 Multimedia IR Multimedia IR Δεικτοδότηση και Αναζήτηση.

Παρουσίαση με θέμα: "Ανάκτηση Πληροφορίας 1 Multimedia IR Multimedia IR Δεικτοδότηση και Αναζήτηση."— Μεταγράφημα παρουσίασης:

1 Ανάκτηση Πληροφορίας 1 Multimedia IR Multimedia IR Δεικτοδότηση και Αναζήτηση

2 Ανάκτηση Πληροφορίας 2 Εισαγωγή Μεγάλες ποσότητες πληροφορίες υπάρχουν σε αρχεία εικόνων, ήχου, video. Οι τυπικές μέθοδοι ανάκτησης κειμένου δεν μπορούν να εφαρμοστούν άμεσα στην περίπτωση πολυμεσικών (multimedia) αντικειμένων. Απαιτούνται ειδικές μέθοδοι οι οποίες επιτρέπουν την αναπαράσταση των αντικειμένων με πιο απλές μορφές, ώστε η αναζήτηση να πραγματοποιείται αποτελεσματικά και αποδοτικά.

3 Ανάκτηση Πληροφορίας 3 Εισαγωγή Στην περίπτωση των κειμένων ο χρήστης δίνει ένα κείμενο ή μερικές λέξεις κλειδιά και το σύστημα βρίσκει τα κείμενα τα οποία «μοιάζουν» περισσότερο με το κείμενο του χρήστη. Στην περίπτωση των πολυμεσικών δεδομένων, ο χρήστης δίνει μία εικόνα ή μία χρονοσειρά και αναζητά αντικείμενα «όμοια» με το αντικείμενο του ερωτήματος. Αν και η γενική ιδέα δε φαίνεται διαφορετική, οι μηχανισμοί επεξεργασίας έχουν πολύ μεγάλες διαφορές.

4 Ανάκτηση Πληροφορίας 4 Εισαγωγή Έστω αντικείμενα Ο1 και Ο2. Η μεταξύ τους απόσταση (ή αλλιώς το μέτρο ανομοιότητας) συμβολίζεται με D(O1,O2)

5 Ανάκτηση Πληροφορίας 5 Εφαρμογές Βάσεις Εικόνων (Image Databases) Οικονομικές Χρονοσειρές (διακυμάνσεις μετοχών, πωλήσεις προϊόντος σε μία περιοχή, κλπ). Βάσεις Video και Ήχου (audio & video on- demand). Βάσεις DNA.

6 Ανάκτηση Πληροφορίας 6 Ένας Απλός Τρόπος Με κάθε αντικείμενο επισυνάπτουμε και μία περιγραφή (μικρό κείμενο) το οποίο περιγράφει το αντικείμενο όσο γίνεται καλύτερα. Στη συνέχεια μπορούμε να χρησιμοποιήσουμε τις κλασικές μεθόδους IR για την ανάκτηση σχετικών αντικειμένων. Η αναζήτηση των αντικειμένων πραγματοποιείται με αναζήτηση κειμένων.

7 Ανάκτηση Πληροφορίας 7 Ένας Απλός Τρόπος

8 Ανάκτηση Πληροφορίας 8 Ένας Απλός Τρόπος Η περιγραφή του αντικειμένου πρέπει να γίνει χειροκίνητα. – Είναι ακριβό – Είναι χρονοβόρο Η περιγραφή συνήθως δεν είναι πλήρης και είναι υποκειμενική. Μερικές ιδιότητες του αντικειμένου είναι δύσκολο να περιγραφούν (υφή και σχήματα).

9 Ανάκτηση Πληροφορίας 9 Ερωτήσεις Ομοιότητας Να βρεθούν εικόνες όμοιες με την εικόνα Α. Να βρεθούν εταιρίες των οποίων οι διακύμανση της μετοχής μοιάζει με αυτήν της Westwood Associates. Να βρεθούν αλυσίδες DNA που μοιάζουν με τη Χ. Να βρεθούν τα 5 κομμάτια ήχου που μοιάζουν περισσότερο με το συγκεκριμένο ήχο.

10 Ανάκτηση Πληροφορίας 10 Κατηγορίες Ερωτήσεων Ερωτήσεις Ολικής Ταύτισης: δίνονται Ν αντικείμενα Ο1,…,ΟΝ και ένα αντικείμενο Q. Αναζητούμε αντικείμενα τα οποία βρίσκονται το πολύ σε απόσταση ε από το Q. Π.χ. αν τα Οi είναι εικόνες 512x512, τις ίδιες διαστάσεις έχει και το Q. Ερωτήσεις Ταύτισης Sub-pattern: εδώ επιτρέπεται το ερώτημα να ταυτίζεται με ένα τμήμα των αντικειμένων. Π.χ. να βρεθούν εικόνες 1024x1024 που περιέχουν το συγκεκριμένο τμήμα 128x128.

11 Ανάκτηση Πληροφορίας 11 Μορφές Ερωτημάτων Ερώτημα Διαστήματος (range query): δίνεται αντικείμενο ερώτησης Q και αναζητούνται τα αντικείμενα που βρίσκονται σε απόσταση το πολύ ε από το Q. εQ

12 Ανάκτηση Πληροφορίας 12 Μορφές Ερωτημάτων Ερώτημα Πλησιέστερων Γειτόνων (nearest- neighbor query): δίνεται αντικείμενο ερώτησης Q και αναζητούμε τα k αντικείμενα τα οποία βρίσκονται πλησιέστερα στο Q. Q k=3

13 Ανάκτηση Πληροφορίας 13 Μορφές Ερωτημάτων Ερώτημα Σύνδεσης (join query): δίνονται δύο σύνολα αντικειμένων Α και Β και αναζητούμε ζεύγη αντικειμένων ai, bj έτσι ώστε D(ai,bj) <= ε. Π.χ. να βρεθούν τα ζεύγη (κτίριο, parking) έτσι ώστε η μεταξύ τους απόσταση να είναι μικρότερη από 500 μέτρα.

14 Ανάκτηση Πληροφορίας 14 Στόχοι Να αποφύγουμε τη σειριακή αναζήτηση όλων των αντικειμένων της βάσης. Τα αντικείμενα που επιστρέφονται να σχετίζονται με τις προτιμήσεις του χρήστη. Το επιπλέον κόστος σε χώρο να είναι περιορισμένο. Να μπορούμε να πραγματοποιούμε λειτουργίες εισαγωγής, διαγραφής και ενημέρωσης δεδομένων.

15 Ανάκτηση Πληροφορίας 15 Η Βασική Ιδέα Μετασχηματισμός των αντικειμένων σε σημεία σε κάποιο χώρο με πολλές διαστάσεις. Αυτό μας επιτρέπει να χρησιμοποιήσουμε μεθόδους αναζήτησης σημείων.

16 Ανάκτηση Πληροφορίας 16 Διαχείριση Σημείων Για απλότητα έστω ότι βρισκόμαστε στο χώρο 2 διαστάσεων. Έστω σύνολο από Ν σημεία τα οποία αναπαριστώνται με τις x,y συντεταγμένες τους. Αναζητούμε αποδοτικούς τρόπους διαχείρισης (αναζήτηση, εισαγωγή, διαγραφή) ώστε να μειώσουμε τον απαιτούμενο χρόνο επεξεργασίας των ερωτήσεων. Στη φύση δε συναντούμε καθόλου την ομοιόμορφη κατανομή (uniform distribution).

17 Ανάκτηση Πληροφορίας 17 Διαχείριση Σημείων

18 Ανάκτηση Πληροφορίας 18 Διαχείριση Σημείων

19 Ανάκτηση Πληροφορίας 19 Διαχείριση Σημείων Θέσεις τόπων στην ΚαλιφόρνιαΔιασταυρώσεις δρόμων Long Beach

20 Ανάκτηση Πληροφορίας 20 Διαχείριση Σημείων Μπορούμε να χρησιμοποιήσουμε τη δομή του Β-δένδρου και να οργανώσουμε τα σημεία με βάση τη μία από τις δύο συντεταγμένες (x ή y). Πλεονέκτημα, χρησιμοποιούμε μία ήδη υπάρχουσα και δοκιμασμένη δομή. Μειονέκτημα, αναζητήσεις ως προς την άλλη συντεταγμένη δεν γίνονται αποδοτικά.

21 Ανάκτηση Πληροφορίας 21 Διαχείριση Σημείων Μπορούμε να χρησιμοποιήσουμε δύο δομές Β-δένδρων για κάθε συντεταγμένη χωριστά. Μειονέκτημα: απαιτείται περισσότερος χώρος για την αποθήκευση των Β-δένδρων. Μειονέκτημα: η ταξινόμηση των σημείων μπορεί να γίνει ως προς μία μόνο διάσταση (x ή y).

22 Ανάκτηση Πληροφορίας 22 Διαχείριση Σημείων Χρησιμοποιούμε μετασχηματισμό ώστε να απεικονίσουμε τα σημεία από δύο διαστάσεις σε μία. Για να γίνει αυτό πρέπει να χρησιμοποιήσουμε καμπύλες κάλυψης χώρου (space filling curves).

23 Ανάκτηση Πληροφορίας 23 Καμπύλες Κάλυψης Χώρου 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0 1 2 3 32103210 Κατά στήλες

24 Ανάκτηση Πληροφορίας 24 Καμπύλες Κάλυψης Χώρου 0 1 4 5 7 6 3 2 8 9 1212 1313 1515 1414 11 10 0 1 2 3 32103210 Καμπύλη Peanο, προκύπτει με bit interleaving

25 Ανάκτηση Πληροφορίας 25 Καμπύλες Κάλυψης Χώρου 0 3 4 5 6 7 2 1 14 13 8 9 10 1 12 15 0 1 2 3 32103210 Καμπύλη Hilbert

26 Ανάκτηση Πληροφορίας 26 Καμπύλες Κάλυψης Χώρου Απλός τρόπος μετασχηματισμού. Μπορούμε να χρησιμοποιήσουμε τη δομή του Β- δένδρου (ή παρόμοιες). Η γειτονικότητα δεν ικανοποιείται πάντα (προφανές, αφού δεν υπάρχει ολική διάταξη για πάνω από 1 διαστάσεις). Σημεία που είναι κοντά στις 2 διαστάσεις υπάρχει περίπτωση να βρεθούν μακριά στην καμπύλη.

27 Ανάκτηση Πληροφορίας 27 Εναλλακτικές Λύσεις kd-trees KDB-trees GRID-files LSD-trees (local split decision) R-tree και παραλλαγές (R+-tree, R*-tree).

28 Ανάκτηση Πληροφορίας 28 R-tree Guttman 1984. Αρχικά χρησιμοποιήθηκε για την οργάνωση ορθογωνίων σε κυκλώματα VLSI. Αργότερα βρήκε εφαρμογή σε πολλούς τομείς (GIS, Multimedia indexing, κλπ). Αποτελεί επέκταση του Β-δένδρου σε πάνω από 1 διαστάσεις.

29 Ανάκτηση Πληροφορίας 29 R-tree Δενδρική δομή Τα αντικείμενα αποθηκεύονται στα φύλλα του δένδρου. Όλα τα φύλλα βρίσκονται στο ίδιο επίπεδο. Στους εσωτερικούς κόμβους αποθηκεύονται ορθογώνια (minimum bounding rectangles) τα οποία ομαδοποιούν τα αντικείμενα των κατώτερων επιπέδων.

30 Ανάκτηση Πληροφορίας 30 R-tree Ρίζα Α Β Γ Δ

31 Ανάκτηση Πληροφορίας 31 R-tree ABΓΔ

32 Ανάκτηση Πληροφορίας 32 R-tree Τα ορθογώνια των εσωτερικών κόμβων μπορούν να επικαλύπτονται. Αναζητώντας ένα σημείο μπορεί να χρειαστεί να εξετάσουμε πολλά μονοπάτια από τη ρίζα προς τα φύλλα. Αν και δεν υπάρχει εγγύηση για την απόδοση χειρότερης περίπτωσης, στη μέση περίπτωση έχουμε πολύ καλά αποτελέσματα. Μέχρι τις 20 περίπου διαστάσεις το R-tree τα καταφέρνει αρκετά καλά.

33 Ανάκτηση Πληροφορίας 33 R-tree: επεξεργασία ερωτήσεων Αναζήτηση Σημείου (point query). Έστω σημείο Q(xq,yq). Διαβάζουμε τη ρίζα του δένδρου. Αναζητούμε ορθογώνια τα οποία περιέχουν το Q. Ακολουθούμε τα μονοπάτια χρησιμοποιώντας τη μέθοδο DFS. Όταν καταλήγουμε σε φύλλο αναζητούμε το Q στο φύλλο.

34 Ανάκτηση Πληροφορίας 34 R-tree: επεξεργασία ερωτήσεων Α Β Γ Δ Ρίζα

35 Ανάκτηση Πληροφορίας 35 R-tree: επεξεργασία ερωτήσεων Αναζήτηση Περιοχής (range query). Έστω περιοχή ερώτησης Q που ορίζεται είτε από κύκλο είτε από ορθογώνιο (ή από τυχαίο σχήμα) Αναζητούμε τα σημεία που βρίσκονται μέσα στην περιοχή ερώτησης. Διαβάσουμε τη ρίζα και προσδιορίζουμε τα ορθογώνια που τέμνονται από την περιοχή Q. Ακλουθούμε τα μονοπάτια μέχρι τα φύλλα και επιστρέφουμε τα σημεία που ικανοποιούν τη συνθήκη.

36 Ανάκτηση Πληροφορίας 36 R-tree: επεξεργασία ερωτήσεων Α Β Γ Δ Ρίζα Range Query

37 Ανάκτηση Πληροφορίας 37 R-tree: επεξεργασία ερωτήσεων Α Β Γ Δ Ρίζα Range Query

38 Ανάκτηση Πληροφορίας 38 R-tree: επεξεργασία ερωτήσεων Ερώτημα Πλησιέστερων Γειτόνων (nearest- neighbor query) Έστω σημείο Q. Αναζητούμε k σημεία που βρίσκονται πλησιέστερα στο Q. Κατά την αναζήτηση απορρίπτουμε ορθογώνια τα οποία απέχουν από το Q απόσταση μεγαλύτερη από την τρέχουσα καλύτερη απόσταση που έχει βρεθεί μέχρι τώρα. Ενημερώνουμε την απόσταση όταν φτάσουμε σε φύλλο.

39 Ανάκτηση Πληροφορίας 39 R-tree: επεξεργασία ερωτήσεων Α Β Γ Δ Ρίζα Nearest-Neighbor Query

40 Ανάκτηση Πληροφορίας 40 Εισαγωγή σε R-tree Έστω νέο σημείο P το οποίο πρέπει να εισαχθεί στο R-tree. Στη ρίζα επιλέγουμε το ορθογώνιο το οποίο «κερδίζει». Ακολουθούμε το δείκτη προς το κατώτερο επίπεδο. Συνεχίζουμε την ίδια διαδικασία μέχρι να φτάσουμε στο φύλλο. Αν υπάρχει χώρος αποθηκεύουμε το P. Διαφορετικά εκτελείται η πράξη της διάσπασης (split).

41 Ανάκτηση Πληροφορίας 41 Εισαγωγή σε R-tree Η επιλογή του ορθογωνίου που θα επιλέξουμε πραγματοποιείται με βάση κάποια κριτήρια. Στόχος είναι η καλή ποιότητα της δομής. Θέλουμε να αποφύγουμε τις μεγάλες επικαλύψεις των ορθογωνίων διότι επιδρούν αρνητικά στην απόδοση της επεξεργασίας. Κριτήρια που χρησιμοποιούνται συνήθως: μικρότερη αύξηση της περιμέτρου, μικρότερη αύξηση του εμβαδού, κλπ.

42 Ανάκτηση Πληροφορίας 42 Εισαγωγή σε R-tree Κατά τη διάσπαση ενός κόμβου προσπαθούμε πάλι να διατηρήσουμε την καλή ποιότητα της δομής. Κριτήρια που χρησιμοποιούνται συνήθως είναι: οι κόμβοι που δημιουργούνται να έχουν όσο το δυνατό μικρότερη επικάλυψη, μικρότερο εμβαδόν, μικρότερη περίμετρο (συνδυασμός των παραπάνω). Η ίδια μέθοδος ακολουθείται είτε πρόκειται για διάσπαση φύλλου είτε εσωτερικού κόμβου.

43 Ανάκτηση Πληροφορίας 43 GEMINI Generic Multimedia Object INdexIng Η μέθοδος εργάζεται σε δύο φάσεις: Filtering: πραγματοποιείται αναζήτηση με βάση τη δομή (R-tree) και απορρίπτονται αντικείμενα που σε καμιά περίπτωση δε μπορούν να συμμετέχουν στην απάντηση. Refinement: τα αντικείμενα που έχουν επιστραφεί από την προηγούμενη φάση ελέγχονται με βάση τα αρχικά τους χαρακτηριστικά και προσδιορίζονται αυτά που τελικά ικανοποιούν την απάντηση.

44 Ανάκτηση Πληροφορίας 44 GEMINI Ν αντικείμενα Ο1,…,ΟΝ Απόσταση μεταξύ Oi και Oj δίνεται από D(Oi,Oj). Ο χρήστης δίνει ένα αντικείμενο Q και μία απόσταση ε και αναζητά τα αντικείμενα τα οποία βρίσκονται το πολύ σε απόσταση ε από το Q.

45 Ανάκτηση Πληροφορίας 45 GEMINI Έστω ότι τα αντικείμενα της βάσης είναι χρονοσειρές (π.χ. διακυμάνσεις μετοχών, διακυμάνσεις θερμοκρασίας). Θεωρούμε ότι η απόσταση μεταξύ δύο χρονοσειρών S και Q δίνεται από την Ευκλείδια απόσταση: D(S,Q) = (Σ( S[i] – Q[i] ) ^2 ) ^(1/2)

46 Ανάκτηση Πληροφορίας 46 GEMINI t t y y

47 Ανάκτηση Πληροφορίας 47 GEMINI Oi T(Oi)

48 Ανάκτηση Πληροφορίας 48 GEMINI Για το μετασχηματισμό από τον ένα χώρο στον άλλο χρησιμοποιείται μία συνάρτηση T(Oi), Οi  T(Oi) Στην περίπτωση των χρονοσειρών συνήθως χρησιμοποιείται ο Διακριτός Μετασχηματισμός Συνημιτόνου (Discrete Cosine Transformation)