Μάθημα 3ο Επεξεργασία Κειμένου και Δεικτοδότηση Γλωσσική Τεχνολογία Μάθημα 3ο Επεξεργασία Κειμένου και Δεικτοδότηση Σοφία Στάμου Άκ.Έτος 2009-10

Τι είναι το ευρετήριο; Συστηματική οργάνωση δεδομένων με στόχο τη διευκόλυνση των χρηστών για τον εντοπισμό πληροφορίας σε ένα κείμενο Τύποι οργάνωσης Αλφαβητική (Α-Ω) Δευτερευόντων όρων (υπο-καταχωρήσεων) Διαφόρων όρων (πολλαπλές καταχωρήσεις) Ετερο-αναφορών 2/4/2017 Γλωσσική Τεχνολογία

Κανόνες ευρετηρίασης Δεικτοδοτούμε όρους που πιθανώς θα επιλέξουν οι χρήστες για να διατυπώσουν ερωτήματα Επιλέγουμε και τροποποιούμε (όπου χρειάζεται) τους όρους βάσει των αναγκών του χρήστη Συνέπεια στη μεθοδολογία επιλογής, απόδοσης και οργάνωσης θεματικών όρων 2/4/2017 Γλωσσική Τεχνολογία

Δημιουργώντας το ευρετήριο Αρχείο Ευρετηρίου Αρχείο κειμένων 2/4/2017 Γλωσσική Τεχνολογία

Αξιολόγηση της Ανάκτησης Ακρίβεια Ποσοστό σχετικών κειμένων στα ανακτηθέντα Ακρίβεια(P) = |σχετικά Ç ανακτηθέντα| ÷ |ανακτηθέντα| = P( σχετικά| ανακτηθέντα ) Ανάκληση Ποσοστό σχετικών ανακτηθέντων στο σύνολο σχετικών Ανάκληση(R) = |σχετικά Ç ανακτηθέντα| ÷ |σχετικά| = R( ανακτηθέντα| σχετικά ) F1 Μετρική F1 = 2PR / (P+R) … αρμονική μέση τιμή ανάκλησης και ακρίβειας 2/4/2017 Γλωσσική Τεχνολογία

Λόγος Ακρίβειας/Ανάκλησης Κείμενα Ανακτηθέντα σχετικά! Ra P R Σχετικά κείμενα Ακρίβεια Ανάκληση Recall 0.2 0.2 0.4 0.4 0.4 0.6 0.6 0.6 0.8 1.0 Μέση Ακρίβεια = 0.62 (1 + .67 + .5 + .44 + .5) / 5 Precis. 1.0 0.5 0.67 0.5 0.4 0.5 0.43 0.38 0.44 0.5 2/4/2017 Γλωσσική Τεχνολογία

Αναγνωριστικά κειμένων Θεματικά Ευρετήρια Για κάθε θεματική κατηγορία δημιουργείται μια λίστα όλων των όρων που την περιγράφουν Αναγνωριστικά κειμένων Μουσική Θέατρο Τέχνη 1 2 3 5 8 13 21 34 4 16 32 64 128 2/4/2017 Γλωσσική Τεχνολογία

Κεντρικό ευρετήριο αναζητήσεων Πολλαπλά ευρετήρια Αν για κάθε θεματική κατηγορία έχουμε ξεχωριστό ευρετήριο μπορούν να συγχωνευθούν για τη σύνθεση του τελικού ευρετηρίου Θεματικά Ευρετήρια Κεντρικό ευρετήριο αναζητήσεων 2/4/2017 Γλωσσική Τεχνολογία

Τομή των IDs κειμένων που βρίσκονται και στις 2 λίστες (boolean AND): Αναζήτηση κειμένων Λεξικό Ερώτημα αναζήτησης: “Η τέχνη της Μουσικής” Μουσική – 0 Τέχνη – 1 Πιάνο – 2 Τομή των IDs κειμένων που βρίσκονται και στις 2 λίστες (boolean AND): 0 (Μουσική) 1 (Τέχνη) Αποτέλεσμα Βρέθηκε! 1 n/a Δεν Βρέθηκε! 2 Ευρετήριο IDs λέξεων : 0, 1 0 -> 0, 1 1 -> 0, 2 2 -> 1 2/4/2017 Γλωσσική Τεχνολογία

Είδη Ευρετηρίων Θεματικά Συγγραφέων Ονομάτων Γεωγραφικά Τίτλων Αριθμών και κωδικών 2/4/2017 Γλωσσική Τεχνολογία

Ευρετήρια Τίτλων KWIC (KeyWord-in-Context) Κάθε σημαντικός όρος καταχωρίζεται στο ευρετήριο και εμφανίζεται στο μέσο του τίτλου και όχι αριστερά. Π.χ. Descent of Man The Ascent of Man The Old Man and The Sea A Portrait of the Artist As a Young : a portrait of the ARTIST as a young man the ASCENT of man DESCENT of man descent of MAN the ascent of MAN the old MAN and the sea 2/4/2017 Γλωσσική Τεχνολογία

Ευρετήρια Τίτλων KWOC (KeyWord-out-of-Context) Κάθε σημαντική λέξη αποσπάται από τον τίτλο και τοποθετείται με αλφαβητική σειρά στο αριστερό τμήμα της σελίδας και ακολουθείται από τις υπόλοιπες λέξεις του τίτλου: Library A modern outline of library classification Library Introduction to library classification Library Library education Library Public library administration Library National Library of Canada 2/4/2017 Γλωσσική Τεχνολογία

KWIC vs. KWOC Απαλοιφή τερματικών όρων Το επίπεδο εξειδίκευσης των όρων ευρετηρίασης εξαρτάται από τις επιλογές του ειδικού Το επίπεδο εξαντλητικότητας των όρων ευρετηρίασης εξαρτάται από το πόσο λεπτομερείς είναι οι τίτλοι Η Ευρετηρίαση τίτλων σήμερα είναι λιγότερο αποτελεσματική από κάθε άλλη φορά λόγω λεξιλογικών δυσκολιών εδικά στις Κοινωνικές Επιστήμες 2/4/2017 Γλωσσική Τεχνολογία

Λέξεις - Κλειδιά Πλεονεκτήματα Παρέχουν πρόσβαση στις λέξεις που χρησιμοποιούνται στα ευρετήρια συλλογών Μειονεκτήματα Δεν μπορούν να αντισταθμίσουν την πολυπλοκότητα των φυσικών γλωσσών Δεν μπορούν να υποκαταστήσουν πλήρως το περιεχόμενο Η αναζήτηση με λέξεις-κλειδιά διευκολύνεται όταν η ευρετηρίαση είναι ελεγχόμενου λεξιλογίου 2/4/2017 Γλωσσική Τεχνολογία

Επιλέγοντας τις λέξεις-κλειδιά Βήματα επεξεργασίας κειμένου: Αναγνώριση προτάσεων και λέξεων Μορφοσυντακτική ανάλυση Απαλοιφή τερματικών όρων Μετρική βαθμολόγησης σπουδαιότητας Επιλογή σημαντικών όρων 2/4/2017 Γλωσσική Τεχνολογία

Μορφοσυντακτική ανάλυση Κρυφά Μοντέλα Markov Νευρωνικά Δίκτυα Μετασχηματιστικοί Κανόνες Δέντρα Απόφασης Μοντέλα Μέγιστης Εντροπίας 2/4/2017 Γλωσσική Τεχνολογία

Μορφοσυντακτική ανάλυση Σε ποιο μέρος του λόγου (Part-of-Speech) ανήκει κάθε λέξη του κειμένου the koala put keys on table Λέξεις Ετικέτες N V P DET Πώς θα βρούμε την POS ετικέτα; 2/4/2017 Γλωσσική Τεχνολογία

Μορφοσυντακτική ανάλυση 2/4/2017 Γλωσσική Τεχνολογία

Πού θα βρούμε τις ετικέτες; 2/4/2017 Γλωσσική Τεχνολογία

Μετασχηματιστικοί Κανόνες Μορφοσυντακτική ετικέτα μεγαλύτερης συχνότητας (άγνωστες λέξεις = ουσιαστικό) Charniak: 90% σωστές επιλογές ως εδώ! Χρήση μετασχηματιστικών κανόνων Διόρθωση ετικετών που είναι ασύμβατες με τα συμφραζόμενα 2/4/2017 Γλωσσική Τεχνολογία

Μηχανική Μάθηση Κανόνων 2/4/2017 Γλωσσική Τεχνολογία

Μηχανική Μάθηση Κανόνων Είσοδος: Σώμα κειμένων C1 χωρίς ετικέττες (tags) Ακριβές αντίγραφό του C2, μορφοσυντακτικά σχολιασμένο από ειδικούς. Πρότυπα κανόνων Βήμα 1: Ανάθεση ετικεττών χρησιμοποιώντας τον αρχικό tagger  Παραγωγή του C1a. Βήμα 2: Σύγκριση του σώματος C1a με το ιδανικό C2. Καθορισμός της λίστας των λανθασμένων επιλογών. Από τη λίστα των λαθών, κατασκευάζονται με χρήση προτύπων κανόνων όλοι οι πιθανοί κανόνες που μπορούν να εφαρμοστούν. 2/4/2017 Γλωσσική Τεχνολογία

Μηχανική Μάθηση Κανόνων Βήμα 3: Εφαρμογή των κανόνων και ανάθεση ενός σκορ σε κάθε κανόνα. Σκορ = #σωστών αλλαγών - #λανθασμένων αλλαγών Επιλογή κανόνα με το καλύτερο σκορ Βήμα 4: Ανανέωση του C1a με εφαρμογή του επιλεγμένου κανόνα. Βήμα 5: Τερματισμός αν η βελτίωση είναι μικρότερη από ένα κατώφλι Αλλιώς: επανάληψη από το βήμα 2 Έξοδος: Διατεταγμένο σύνολο κανόνων. 2/4/2017 Γλωσσική Τεχνολογία

Μετασχηματιστικοί Κανόνες 2/4/2017 Γλωσσική Τεχνολογία

2/4/2017 Γλωσσική Τεχνολογία

2/4/2017 Γλωσσική Τεχνολογία

Επιλέγοντας λέξεις κλειδιά 2/4/2017 Γλωσσική Τεχνολογία

tf*idf Βαθμολόγηση tf = term frequency df = document frequency Συχνότητα όρου σε ένα κείμενο. df = document frequency Πόσα κείμενα περιέχουν τον όρο; Κατανομή του όρου idf = inverse document frequency Η άνιση κατανομή του όρου στο κείμενο Πόσο συγκεκριμένος είναι ο όρος για το κείμενο Όσο πιο ομοιόμορφη είναι η κατανομή του όρου στη συλλογή τόσο λιγότερο συγκεκριμένος είναι για ένα κείμενο weight(t,D) = tf(t,D) * idf(t) 2/4/2017 Γλωσσική Τεχνολογία

Ευρετηρίαση #1: The brown cat purred. #3: Tommy likes cats. #2: Cats like brown chairs. Brown Cat Like Chair Purr Tommy 1, 3 1, 2, 3 2 2, 3 1 3 Index Search 2/4/2017 Γλωσσική Τεχνολογία

Στο επόμενο μάθημα.... Ποια είδη ευρετηρίων υπάρχουν; Αξιολόγηση πληρότητας και ποιότητας ευρετηρίου 2/4/2017 Γλωσσική Τεχνολογία

..... http://www.dblab.upatras.gr/gr/GlwssikiTexnologia.html 2/4/2017 Γλωσσική Τεχνολογία