Ανάκτηση Πληροφορίας Διδάσκων: Μακρής Χρήστος

Παρουσίαση με θέμα: "Ανάκτηση Πληροφορίας Διδάσκων: Μακρής Χρήστος"— Μεταγράφημα παρουσίασης:

1 Ανάκτηση Πληροφορίας Διδάσκων: Μακρής Χρήστος
Διδάσκων: Μακρής Χρήστος Επικουρικό: Κουνέλης Φώτιος/Ρόμπολας Γεράσιμος Γραφείο: Π502 (ΠΡΟΚΑΤ) Διδασκαλία: Τρίτη (φροντιστήριο): 19:00-21:00 Β4 Παρασκευή (θεωρία): 15:00-17:00 Β3

2 Διαδικαστικά Εξέταση (γραπτή) Εργασία (σε ομάδες 1-2 ατόμων):
Βιβλιογραφική Υλοποίηση/Πειράματα Θεωρητική μελέτη Τελικός Βαθμός: Ημιάθροισμα

3 Εισαγωγικά ΑΠ: αναπαράσταση, αποθήκευση, οργάνωση και προσπέλαση σε αντικείμενα πληροφορίας Επίκεντρο η πληροφοριακή ανάγκη του χρήστη Πληροφοριακή ανάγκη χρήστη: Εντόπισε όλα τα κείμενα με πληροφορίες σχετικά με φοιτητές που (1) φοιτούν σε κάποια σχολή πληροφορικής, (2) συμμετέχουν σε κάποιο αθλητικό σύλλογο Έμφαση δίνεται στην ανάκτηση πληροφορίας και όχι δεδομένων

4 Εισαγωγικά Ανάκτηση Δεδομένων
Ποια κείμενα περιέχουν ένα σύνολο keywords? Καλά ορισμένη σημασιολογία Ελάχιστα λανθασμένη απάντηση συνιστά αποτυχία! Ανάκτηση Πληροφορίας Το ερώτημα είναι ασαφές Η σημασιολογία είναι συχνά ελλιπής Μικρά λάθη είναι ανεκτά Σύστημα ΑΠ: Ερμηνεύει περιεχόμενα αντικειμένων πληροφορίας Παράγει μία κατάταξη που αναπαριστά σχετικότητα Έννοια σχετικότητας πιο σημαντική από ακριβές ταίριασμα

5 Εισαγωγικά ΑΠ τα τελευταία 30 χρόνια:
Ομαδοποίηση (clustering) και κατηγοριοποίηση/ταξινόμηση (categorization/classification) κειμένων Συστήματα Βιβλιοθήκης και γλώσσες Διεπαφή χρηστών και οπτικοποίηση Εντούτοις η περιοχή θεωρείτο στενού ενδιαφέροντος Με την έλευση του Διαδικτύου: Παγκόσμια αποθήκη γνώσης Ελεύθερη (χαμηλού κόστους) προσπέλαση Πολλά προβλήματα : ΑΠ προσφέρει λύσεις

6 Πεδία Εφαρμογής Web Search Engines
Kοινωνικά δίκτυα (collaboration information seeking environments) Ψηφιακές Βιβλιοθήκες (Digital Libraries) Ανάκτηση Πληροφορίας σε Peer to Peer Περιβάλλοντα και Cloud computing Βιοπληροφορική Συστήματα Προσαρμοστικών Πολυμέσων/Υπερμέσων

7 Γειτονικές Περιοχές Βάσεις Δεδομένων Τεχνητή Νοημοσύνη
Εξόρυξη Δεδομένων (Data Mining) Γλωσσική Τεχνολογία/Επεξεργασία Φυσικής Γλώσσας Τεχνικές Μοντελοποίησης Δομές Δεδομένων Αλγόριθμοι (συμπίεση κειμένων, συμπίεση Δομών Δεδομένων)

8 Σειρά Μαθημάτων Εισαγωγή Μετρικές + Μοντελοποίηση
Κλασσικά Μοντέλα (Vector Space Model, Boolean Model, Πιθανοτικό) Εναλλακτικά Μοντέλα (Fuzzy Boolean,Extended Boolean, Generalized V.S.) Latent Semantic Indexing (Λανθάνουσα Σημασιολογική Δεικτοδότηση) Αλγόριθμοι Ανάκτησης Πληροφορίας στον Παγκόσμιο Ιστό - 1 Αλγόριθμοι Ανάκτησης Πληροφορίας στον Παγκόσμιο Ιστό – 2 Learning to Rank in IR Oμαδοποίηση/Κατηγοριοποιηση Δομές Δεικτοδότησης (Δέντρα Επιθεμάτων/Ανεστραμμένα Αρχεία) Δομές Δεικτοδότησης στη Δευτερεύουσα Μνήμη Συμπίεση Κειμένων και Δομών Δεικτοδότησης 11. Φιλτράρισμα Πληροφορίας Εξειδικευμένα Θέματα (εναλλακτικά μοντέλα, υλοποίηση, XML information retrieval)

9 Σειρά Φροντιστηρίων Ανεστραμμένα Αρχεία, B- Δέντρα, Perfect Hashing Structures Συμπιεσμένα Ανεστραμμένα Αρχεία Δημιουργία Ανεστραμμένων Αρχείων Question Answering Systems Αλγόριθμοι σε Ροές Δεδομένων Προχωρημένα θέματα αλγορίθμων ψαξίματος στον Παγκόσμιο Ιστό Θεματα αλγορίθμων και κατηγοριοποίησης Ψάξιμο σε Συμπιεσμένες Αναπαραστάσεις Συμβολοσειρών 1 Ψάξιμο σε Συμπιεσμένες Αναπαραστάσεις Συμβολοσειρών 2 Ψάξιμο σε Ιεραρχίες Μνημών

10 Ανάκτηση Πληροφορίας Τα τελευταία 50-60 χρόνια ως επιστημονικό πεδίο
1945: Vannenar Bush’s “As we may think” 1960+: Gerald Salton 1978: Πρώτο ACM SIGIR συνέδριο 1992: Πρώτο TREC συνέδριο

11 Unstructured (text) vs. structured (database) data in 1996

12 Unstructured (text) vs. structured (database) data in 2009

13 Μαθημaτικός Ορισμός Προβλήματος
Μιλώντας σε μαθηματική ορολογία το πρόβλημα που θέτει η Ανάκτηση Πληροφορίας έγκειται στον καθορισμό μίας συνάρτησης: όπου με D ορίζουμε το χώρο των documents, U ορίζουμε το σύνολο των χρηστών του συστήματος και με S ορίζουμε το σύνολο των δυνατών πληροφοριακών αναγκών των χρηστών. Η f είναι μια συνάρτηση με την οποία κάθε ένα κείμενο αντιστοιχεί σε ένα πραγματικό αριθμό, ο οποίος δείχνει κατά πόσο ένα κείμενο ανταποκρίνεται σε αυτό που θέλει ο χρήστης.

14 Μέθοδοι Προσέγγισης Computer Centered View (Ανάκτηση Πληροφορίας)
- Κτίσιμο δομών δεικτοδότησης - Γρήγορη επεξεργασία ερωτημάτων - Ποιοτικοί αλγόριθμοι κατάταξης Human Centered View (Βιβλιοθοικονομία και Επιστήμη Πληροφορήσης) - Μελέτη βασικών αναγκών του χρήστη - Καταγραφή συμπεριφοράς χρήστη

15 Βασικές Έννοιες Η Διεργασία του Χρήστη Ανάκτηση (Retrieval)
Φυλλομέτρηση (Browsing) Συνδυασμός (Hidden web)

16 Επεξεργασία Κειμένων Σε τι format είναι; pdf/word/excel/html?
Σε τι γλώσσα είναι; Ποιο σύνολο χαρακτήρων χρησιμοποιεί; Τα κείμενα μπορεί να περιέχουν όρους από διαφορετικές λέξεις Τι είναι ένα μοναδιαίο κείμενο; ένα αρχείο; ένα ; ένα με επισυνάψεις; oμάδα αρχείων;

17 Λογική Όψη Κειμένων Η αναπαράσταση των κειμένων (λογική όψη) μπορεί να πάρει διάφορες μορφές σε μία συνέχεια αναπαραστάσεων

18 Τεχνικά Θέματα Μετέτρεψε όλα τα γράμματα σε μικρά
εξαίρεση: κεφαλαία (στη μέση της πρότασης) γενικά είναι καλύτερο να μετατρέπεις όλα τα σύμβολα σε μικρά. Με μία stop list, αποκλείεις όρους που: έχουν ασήμαντη συνεισφορά στη σημασιολογία: the, a, and, to, be καταλαμβάνουν χώρο: ~30% σε posting list Συνήθως μεγάλες ( όρους) ως μικρές (7-12) αλλά: αποδοτικές τεχνικές συμπίεσης καθιστούν δυνατή την αποθήκευση τέτοιων όρων καλές τεχνικές βελτιστοποίησης επιτρέπουν τη χρήση τους χωρίς να επηρεάζεται ο χρόνος ερώτησης (σχέση tf-idf) Απαραίτητες για: Ερωτήσεις φράσεων: “καθηγητής στο Στάνφορντ” Τίτλους άρθρων ή τραγουδιών Ερωτήσεις συσχέτισης: “πτήσεις προς Αθήνα”

19 Αλγόριθμοι Stemming Porter’s algorithm (αποτελείται από 5 φάσεις, οι φάσεις εφαρμόζονται ακολουθιακά, κάθε φάση αποτελείται από ένα σύνολο εντολών, γενικός κανόνας: από ένα σύνολο κανόνων επέλεξε αυτόν που εφαρμόζεται στο μεγαλύτερο επίθεμα). Lovins stemmer Paice stemmer

20 Δεικτοδότηση Νόμος του Zipf:

21 Θέματα Δεικτοδότησης Δεικτοδότηση φράσεων Δεικτοδότηση εννοιών
Πολυγλωσσική ανάκτηση (χρησιμοποίηση λεξικών και μετάφρασης με χρήση πιθανοτήτων, tanslation probabilities trained on parallel corpora)

22

23 Διεργασία Ανάκτησης

24 Η Διεργασία Ανάκτησης Διεπαφή χρήστη Πράξεις στο κείμενο Πράξεις στα
ερωτήματα Δεικτοδότηση Αναζήτηση Κατάταξη Μονάδα Διαχείρισης ΒΔ Ευρετήριο Ανάδραση χρήστη Πληροφοριακή Ανάγκη χρήστη Λογική Αναπαράσταση Ερώτημα Ανακτημένα κείμενα ΒΔ Κειμένου Καταταγμένα κείμενα

25

26 Διαδικασία Ερώτησης Boolean logic Proximity (context query)
Contiguous Word Phrases (context query) Fuzzy searches Term Masking Numeric and Date Ranges Concept and Thesaurus Expansion Natural Language Queries Multimedia Queries

27 Βιβλιογραφία R. Baeza-Yates, B. Ribeiro-Neto, Modern Information Retrieval, Addison Wesley, 1999 (second edition, 2011, ) Stefan Buttcher, Charles Clark, Gordon Cormack, Information Retrieval: Implementing and Evaluating Search Engines, MIT Press 2010,   W. Croft, D. Metzler, T. Strohman, Search Engines: Information Retrieval in Practise,  Pearson 2010,   Christofer Manning, Pradhakar Raghavan, Hunrich Schutze, Introduction to Information Retrieval, Cambridge University Press, 2008.( Amy Langville, Carl Meyer,  Google's PageRank and Beyond, Princeton University Press 2006 Ι. Witten, A. Moffat, T. Bell, Managing Gigabytes: Compressing and Indexing Documents and Images, Morgan Kaufmann Publishers, 1999. G. Salton, M. McGill, An Introduction to Modern Information Retrieval, New York: McGraw-Hill, 1983. Van Reijsbergen, Information Retrieval, London: Butterworths, 1979 Van Reijsbergen, The Geometry of Information Retrieval, Cambridge University Press, 2005 W.B. Frakes, R. Baeza-Yates, Information Retrieval: Data Structures and Algorithms, Prentice Hall, EngleWood Cliffs, NJ. USA 1992. Σημειώσεις :

28 Βιβλιογραφία B. Allen, Information Tasks: Towards a User-Centered Approach to Information Systems. Academic Press, San Diego, CA, 1996. M. Attalah ed., “Algorithms and Theory of Computation Handbook” CRC Press 1999. D. Gusfield, “Algorithms on Strings, Trees and Sequences”, Cambridge University Press, 1997. V.S. Subrahmanian. “Principles of Multimedia Database Systems”, Morgan Kaufmann, 1998. Ian H. Witten, Alistair Moffat, and Timothy C. Bell, Managing Gigabytes: “Compressing and Indexing Documents and Images”, Morgan Kaufmann, 1999. S. Abiteboul, P. Buneman, D. Suciu, “Data on the Web: From Relations to Semistructured Data and XML”, Morgan Kaufmann, 1999

29 Εύδοξος Βιβλίο [ ]: ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟΡΙΩΝ, CHRISTOPHER D. MANNING, PRABHAKAR RAGHAVAN, HINRICH SCHUTZE  Βιβλίο [ ]: Ανάκτηση Πληροφορίας, 2η Έκδοση, Baeza-Yates Ricardo, Ribeiro-Neto Berthier  Βιβλίο [7753]: Η ΜΕΘΟΔΟΣ PAGERANK ΤΗΣ GOOGLE ΚΑΙ ΑΛΛΑ ΣΥΣΤΗΜΑΤΑ ΚΑΤΑΤΑΞΗΣ ΙΣΤΟΣΕΛΙΔΩΝ, LANGVILLE AMY, MEYER CARL 

30 Εργασίες 1. Συμπίεση κειμένου με τη μέθοδο της κωδικοποίησης Huffmann.
Στην παρούσα εργασία ζητείται η επισκόπηση μιας πολύ διαδεδομένης μεθόδου κωδικοποίησης και συμπίεσης, της μεθόδου Huffman. Η μέθοδος αυτή δίνει κωδικοποίηση συμβόλου με μέσο μήκος κώδικα, ίσο με την εντροπία της κατανομής εμφάνισης των συμβόλων και γι’ αυτό το λόγο είναι βέλτιστη. Στην παρούσα εργασία ζητείται επισκόπηση της μεθόδου και των παραλλαγών της με έμφαση στη δυναμική κωδικοποίηση Huffman. Προαιρετικά μπορεί να γίνει και μια υλοποίηση της μεθόδου. Υλικό: Κεφάλαιο 7 από το βιβλίο “Modern Information Retrieval”. Κεφάλαιο 2 από το βιβλίο “Managing Gigabytes”. Δημοσιεύσεις του Jeff Vitter για Huffman Coding ( Kεφάλαιο 12 από το βιβλίο “Algorithms and Theory of Computation Handbook”, CRC Press 1999.

31 Εργασίες   Συμπίεση κειμένου με τη μέθοδο της αριθμητικής κωδικοποίησης . Στην παρούσα εργασία ζητείται η επισκόπηση μιας διαδεδομένης μεθόδου κωδικοποίησης συμβόλων και συμπίεσης κειμένων, της αριθμητικής κωδικοποίησης. Ζητείται η επισκόπηση της μεθόδου και των παραλλαγών της καθώς και παρουσίαση των πλεονεκτημάτων ή μειονεκτημάτων που τυχόν αυτή παρουσιάζει σε σχέση με άλλες τεχνικές κωδικοποίησης. Προαιρετικά η εργασία μπορεί να συνοδευτεί και από υλοποίηση της μεθόδου. Υλικό: Κεφάλαιο 7 από το βιβλίο «Modern Information Retrieval”. Κεφάλαιο 2 από το βιβλίο «Managing Gigabytes”. Δημοσιεύσεις του Jeff Vitter για Arithmetic Coding ( . Kεφάλαιο 12 από το βιβλίο “Algorithms and Theory of Computation Handbook” CRC Press 1999.

32 Εργασίες 3. Μέθοδοι Συμπίεσης με χρήση της μεθόδου Burrows-Wheeler .
Υλικό: H δημοσίευση του G. Manzini “An Analysis of the Burrows–Wheeler Transform”, Journal of the ACM, 48:3, pp

33 Εργασίες 4. Τεχνικές συμπίεσης ανεστραμμένων αρχείων .
  Τεχνικές συμπίεσης ανεστραμμένων αρχείων . Αντικείμενο αυτής της εργασίας είναι η μελέτη των διαφόρων τεχνικών που έχουν προταθεί για την συμπίεση των ανεστραμμένων αρχείων (inverted files). Τα ανεστραμμένα αρχεία είναι μια από τις πιο γνωστές μεθόδους αποθήκευσης κειμένων σε συστήματα ανάκτησης πληροφορίας. Ζητείται παρουσίαση της μεθόδου και κάποιων από τις τεχνικές για την συμπίεση των ανεστραμμένων αρχείων. Εναλλακτικά η εργασία μπορεί να παρουσιάσει μια συγκριτική μελέτη των ανεστραμμένων αρχείων με άλλες γνωστές τεχνικές, όπως είναι τα signature files. Υλικό: Κεφάλαιο 3 από το βιβλίο “Managing Gigabytes” Η δημοσίευση των Zobel J.R., Moffat A. and Ramamohanarao K., “Inverted Files Versus Signature Files for Text Indexing”, ACM Trans. On Database Systems, Vol. 23, No 4, pp , 1998.

34 Εργασίες 5. Τεχνικές δημιουργίας ανεστραμμένων αρχείων.
  Τεχνικές δημιουργίας ανεστραμμένων αρχείων. Τα ανεστραμμένα αρχεία είναι μια από τις πιο διαδεδομένες τεχνικές δεικτοδότησης κειμένων και η λειτουργία τους βασίζεται στην αποθήκευση των λέξεων και των εμφανίσεών τους σε κείμενα, αντί για την αποθήκευση κειμένων. Στην παρούσα εργασία ζητείται η παρουσίαση των τεχνικών που έχουν παρουσιαστεί στη βιβλιογραφία για την κατασκευή των ανεστραμμένων αρχείων με προαιρετική συνοδεία υλοποίησης κάποιας από αυτές. Υλικό: Κεφάλαιο 5 από το βιβλίο “Managing Gigabytes”. Κεφάλαιο 3 από το βιβλίο “Information Retrieval: Data Structures and Algorithms”. Κεφάλαιο 8 από το βιβλίο “Modern Information Retrieval”.

35 Εργασίες   6.Ανάκτηση Πληροφορίας με τη μέθοδο της Λανθάνουσας Σημασιολογικής Δεικτοδότησης (Latent Semantic Indexing). . Η Λανθάνουσα Σημασιολογική Δεικτοδότηση είναι μια μέθοδος δεικτοδότησης και αναπαράστασης κειμένων, βάσει των εννοιολογικών συστάδων που προκύπτουν στα περιεχόμενα των κειμένων και όχι της απλής λεκτικής δεικτοδότησης που εφαρμόζεται στο μοντέλο Διανυσματικού Χώρου (Vector Space). Η αναπαράσταση δανείζεται τεχνικές από τη γραμμική άλγεβρα και συγκεκριμένα την Διάσπαση Ιδιαζουσών Τιμών (Singular Value Decomposition). Στην εργασία προτείνεται παρουσίαση της μεθόδου και των ιδιοτήτων της, καθώς και των εφαρμογών που τυγχάνει. Υλικό: Δημοσιεύσεις σχετικά με το LSI από τη σελίδα της Telcordia ( με σημείο εκκίνησης το πρώτο paper για LSI από Deerwester, S., Dumais, S. T., Landauer, T. K., Furnas, G. W. και Harshman, R. A. , "Indexing by Latent Semantic Analysis." Journal of the Society for Information Science, 41(6), , 1990. Δημοσιεύσεις σχετικά με το LSI από τη σελίδα

36 Εργασίες   Τεχνικές Μοντελοποίησης Χρήστη (User Modeling) για Φιλτράρισμα Πληροφορίας (Information Filtering) Αντικείμενο της παρούσας εργασίας είναι η παρουσίαση των τεχνικών για την προσωποποίηση των συστημάτων ανάκτησης πληροφορίας και συγκεκριμένα συστημάτων φιλτραρίσματος πληροφορίας, με τη χρήση προσαρμοστικών υπερμέσων. Υλικό: Κεφάλαιο 10 από το βιβλίο “Modern Information Retrieval”. Ένα κεφάλαιο από το βιβλίο “Adaptive Hypertext and Hypermedia”. H δημοσίευση της Kjersti Aas “A Survey on Personalized Information Filtering Systems for the World Wide Web” December 1997” .

37 Εργασίες   Δεικτοδότηση κειμένων με χρήση Suffix Trees και Suffix Arrays . Δύο εναλλακτικές μέθοδοι για την δεικτοδότηση κειμένων στην κύρια μνήμη, αποτελούν τα Suffix Trees και μια παρόμοια αλλά πιο αποδοτική σε χώρο παρόμοια δομή, τα Suffix Arrays. Οι μέθοδοι αυτοί έχουν προσελκύσει μεγάλο ενδιαφέρον λόγω των αυξημένων δυνατοτήτων που παρουσιάζουν για αποδοτική διαχείριση συμβολοσειρών, ταχύ ταίριασμα προτύπου (pattern matching), εύρεση επαναλήψεων κλπ. Προτείνεται η συγκριτική μελέτη των δύο δομών με εστίαση στα πλεονεκτήματα-μειονεκτήματα που εμφανίζουν. Προαιρετικά προτείνεται η υλοποίηση suffix arrays. Υλικό: Κεφάλαιο 11 από το βιβλίο “Algorithms and Theory of Computation Handbook” CRC Press 1999. Κεφάλαιο 5 από το βιβλίο “Ηandbook of Theoretical Computer Science: Algorithms and Complexity, Volume A” Elsevier,1990. Η δημοσίευση των Manbers, U. και Myers, G.W. “Suffix arrays: a new method for on-line string searches”. SIAM J. Comput., 22, , 1993.

38 Εργασίες 9. Αλγόριθμοι Ανάκτησης Πληροφορίας στο Παγκόσμιο Ιστό .
  Αλγόριθμοι Ανάκτησης Πληροφορίας στο Παγκόσμιο Ιστό . Η μεγαλύτερη πρόκληση για τα μοντέρνα συστήματα ανάκτησης πληροφορίας, είναι ο χώρος του διαδικτύου με την απεραντοσύνη και την χαοτική δομή που τον διακρίνει. Κάποια από τα επιτυχημένα μοντέλα (ένα από αυτά μάλιστα χρησιμοποιείται από το Google) για την αποδοτική ανάκτηση πληροφορίας, ανάγουν τη δομή του διαδικτύου σε γράφημα και μελετούν τις φασματικές ιδιότητές τους. Στα πλαίσια αυτής της εργασίας προτείνεται η συγκριτική μελέτη των κυριότερων αλγορίθμων ανάκτησης πληροφορίας στο διαδίκτυο (HITS, Pagerank). Προαιρετικά η άσκηση μπορεί να συνοδεύεται με υλοποίηση ενός εκ των δύο αλγορίθμων. Υλικό: Οι δημοσιεύσεις του Kleinberg σχετικά με Information Networks, και οι αντίστοιχες δημοσιεύσεις για το σύστημα Clever ( ). Δημοσιεύσεις σχετικά με τη μηχανή αναζήτησης Google. ( ).

39 Εργασίες 10. Αλγόριθμοι ταιριάσματος προτύπου
  Αλγόριθμοι ταιριάσματος προτύπου Στο πρόβλημα ταιριάσματος προτύπου δίνεται ένα πρότυπο στην είσοδο και μια συμβολοσειρά και ζητείται να αναφερθεί αν υπάρχει ταίριασμα του προτύπου με ένα τμήμα της συμβολοσειράς και σε ποιες θέσεις. Σχετικοί αλγόριθμοι είναι οι Knuth-Morris-Pratt και Boyer – Moore. Μια ενισχυμένη εκδοχή του προβλήματος είναι το ταίριασμα συμβολοσειράς με πολλαπλά πρότυπα όπου η λύση έχει δοθεί από τους Aho-Corasick. Αντικείμενο αυτής της εργασίας θα είναι η μελέτη των αλγορίθμων ταιριάσματος προτύπου που έχουν προταθεί. Προτείνεται και η υλοποίηση των αλγορίθμων και πειραματική μελέτη των αλγορίθμων . Υλικό: Η δημοσίευση των A. Aho and M. Corasick. “Fast pattern matching: an aid to bibliographic search.” Communications of the ACM, 18: , 1975. Η δημοσίευση των Boyer R.S., Moore J.S., “A fast string searching algorithm.” Communications of the ACM. 20: , 1977. Η δημοσίευση των Knuth, D.E., Morris (Jr) J.H., Pratt, V.R., “Fast pattern matching in strings”, SIAM Journal on Computing 6(1): , 1977.

40 Εργασίες  11.Αλγόριθμοι προσεγγιστικού ταιριάσματος συμβολοσειρών (approximate string matching) και εφαρμογές τους Κατά το προσεγγιστικό ταίριασμα συμβολοσειρών δίδεται ένα πρότυπο P μεγέθους m, ένα κείμενο Τ μεγέθους n και ένας αριθμός k. Το ζητούμενο είναι να βρεθούν όλες οι θέσεις στο κείμενο που εμφανίζεται το P με το πολύ k λάθη, δηλαδή αποτυχίες ταιριάσματος. Σκοπός αυτής της εργασίας είναι να παρουσιαστούν κάποιες από τις διαφορετικές αποδοτικές τεχνικές για προσεγγιστικό ταίριασμα . Υλικό: To κεφάλαιο 13 από το βιβλίο “Algorithms and Theory of Computation Handbook” CRC Press 1999. Η δημοσίευση των Landau και Vishkin “Fast String Matching with k Differences” Journal of Computer and System Sciences, 1988, pp H δημοσίευση των Landau και Vishkin “Fast Parallel and Approximate String Matching” Journal of Algorithms 10, 1989, pp

41 Εργασίες   12. Τεχνικές Μοντελοποίησης και Διαχείρισης Πολυμεσικών Αντικειμένων Πληροφορίας. Στα συστήματα πολυμεσικής ανάκτησης πληροφορίας τα δεδομένα που αποθηκεύονται παρουσιάζουν μεγάλο βαθμό ετερογένειας και γι’ αυτό το λόγο τόσο η αποθήκευση όσο και η μοντελοποίηση των δεδομένων και η μοντελοποίηση του τρόπου υποβολής ερωτημάτων έχουν ιδιαίτερη σημασία. Αντικείμενο αυτής της εργασίας είναι η παρουσίαση κάποιων μοντέλων και τεχνικών για fuzzy searching και content based υποβολή ερωτημάτων σε πολυμεσικά συστήματα ανάκτησης πληροφορίας Υλικό: Κεφάλαια 11,12 από το βιβλίο “Modern Information Retrieval”. Κεφάλαιο 9 από το βιβλίο “Principles of Multimedia Database Systems” του V.S. Subrahmanian. H δημοσίευση των S. Marcus και V.S. Subrahmanian, “Foundations of Multimedia Database Systems” Journal of the ACM 43(3): , 1996

42 Εργασίες 13. Αλγόριθμοι και Τεχνικές για Text Mining και Text Categorization Τόσο η κατηγοριοποίηση κειμένων όσο και η εξόρυξη πληροφορίας από κείμενα είναι περιοχές μεγάλου ενδιαφέροντος στην Ανάκτηση Πληροφορίας. Και οι δύο τομείς αυτοί έχουν προσελκύσει ιδιαίτερο ενδιαφέρον τελευταία λόγω του μεγάλου όγκου των δεδομένων που είναι διαθέσιμα ηλεκτρονικά, σε συστήματα Ανάκτησης Πληροφορίας και στο Διαδίκτυο. Υλικό: Η δημοσίευση του F. Sebastiani, “Machine learning in automated text categorization”, ACM Computing Surveys, 34:1, pp.1-47, 2002, διαθέσιμη στο: Οι δημοσιεύσεις της Kjersti Aas “Pattern Recognition in Text Documents”, June 2000, “Text categorization – A survey”, June

43 Εργασίες   14. Aλγόριθμοι Επεξεργασίας Συμβολοσειρών με Εφαρμογή στη Διαχείριση Ακολουθιών DNA. Είναι γνωστό ότι το DNA είναι μια αλυσίδα από τα νουκλεοτίδια {C,G,A,T}. Με αυτό τον τρόπο η ακολουθία του DNA μπορεί να αναπαρασταθεί ως μια συμβολοσειρά στο αλφάβητο των νουκλεοτιδίων. Πολλά από τα προβλήματα που ανακύπτουν στον χώρο της Βιολογίας αλλά και στην επεξεργασία του DNA, μπορούν να επιλυθούν με αλγορίθμους επεξεργασίας συμβολοσειρών που έχουν αναπτυχθεί ειδικά γι’ αυτό το σκοπό. Σκοπός της εργασίας αυτή είναι να εξετάσει μερικούς από αυτούς τους αλγορίθμους. Υλικό: Τα Κεφάλαια 10 και 17 από το βιβλίο “Algorithms on Strings, Trees and Sequences”, Cambridge University Press, 1997. Η δημοσίευση των Gerth Stølting Brodal, Rolf Fagerberg, and Christian N. S. Pedersen. “Computing the Quartet Distance Between Evolutionary Trees in Time O(nlogn)”, Algorithmica to appear, από την διεύθυνση

44 Εργασίες 15. Aλγόριθμοι και Τεχνικές για Web Mining.
Το Web Mining είναι μια επέκταση του κλασσικού Data Mining για την εξόρυξη πληροφορίας που αφορά τη δομή του παγκόσμιου ιστού και κατά κύριο λόγο, τις πλοηγητικές και αγοραστικές συνήθειες των επισκεπτών του. Για τον σκοπό αυτό, χρησιμοποιούνται μια πλειάδα από τεχνικές και ευρετικές μέθοδοι. Η εργασία αυτή θα παρουσιάζει επιλεγμένες τεχνικές για Web Mining. Υλικό: Η δημοσίευση των M.-S. Chen, J.S. Park, P.S. Yu, “Efficient Data Mining for Path Traversal Patterns” , Knowledge and Data Engineering, 10:2, pp , 1998, διαθέσιμη από Η δημοσίευση των R. Srikant, Y. Yang, “Mining Web Logs to Improve Website Organization”, WWW10, 2002. Η διδακτορική διατριβή του R.W. Cooley, “Web Usage Mining: Discovery and Application of Interesting Patterns from Web Data”, University of Minnesota, 2000.

45 Εργασίες   Αλγόριθμοι και Τεχνικές Αποθήκευσης, Δεικτοδότησης για XML-κείμενα Η γλώσσα XML είναι το νέο επερχόμενο πρότυπο στην αποθήκευση πληροφορίας, όπου επιπλέον υπάρχει η δυνατότητα αποθήκευσης πληροφορίας σχετικά με τη δομή. Στα πλαίσια αυτής της εργασίας έχει ενδιαφέρον η μελέτη των εφαρμογών της γλώσσας XML στον χώρο της Ανάκτησης Πληροφορίας καθώς και των μεθόδων για αποθήκευση και δεικτοδότηση XML κειμένων. Υλικό: To XML tutorial των Anders Møller & Michael I. Schwartzbach, από την διεύθυνση: Η δημοσίευση των F. Rizzolo, A. Mendelzon “Indexing XML Data with ToXin”, 4th WebDB 2001, από τη διεύθυνση: H. Wang, S. Park, W. Fan, and P. S. Yu. “ViST: A dynamic index method for querying XML data by tree structures.” In SIGMOD, 2003, από τη διεύθυνση:

46 Εργασίες 17. Social networks και Ανάκτηση Πληροφορίας
Στα κοινωνιολογικά Δίκτυα, παρατηρείται εμπειρικά το φαινόμενο της δυνατότητας επικοινωνίας δύο παντελώς αγνώστων ανθρώπων, μέσω μιας, μικρής σε μήκος, αλυσίδας από γνωριμίες. Αυτό το φαινόμενο επιδέχεται ερμηνείας από τη θεωρία γραφημάτων και οι συνέπειες από την εφαρμογή σχετικών μοντέλων, μπορούν να φανούν χρήσιμες σε εφαρμογές Ανάκτησης Πληροφορίας. Υλικό: Δημοσίευσεις του J. Kleinberg, σχετικά με Small World Phenomena, Η δημοσίευση των R. Kumar, S. Rajagopalan, P. Raghavan and A. Tomkins “The web and social networks”, IEEE Computer, November 2002. Η δημοσίευση των M. Bawa, G.S. Manku and P. Raghavan, “SETS: Search Enhanced by Topic Segmentation”. Proceedings of ACM SIGIR 2003.

47 18. Πολυγλωσσική Ανάκτηση Πληροφορίας
19. Κατανεμημένη Ανάκτηση Πληροφορίας 20. Νέα Μοντέλα Ανάκτησης Πληροφορίας 21. Υλοποίηση αλγορίθμων stemming 22. Opinion mining sentiment analysis 23. Language Models και Probabilistic Models 24. Learning to Rank Techniques. 25. Compression by Web Page Identification 25. Dynamic Inverted Files/Wavelet Trees