Μάθημα 3ο Επεξεργασία Κειμένου και Δεικτοδότηση

Παρουσίαση με θέμα: "Μάθημα 3ο Επεξεργασία Κειμένου και Δεικτοδότηση"— Μεταγράφημα παρουσίασης:

1 Μάθημα 3ο Επεξεργασία Κειμένου και Δεικτοδότηση
Γλωσσική Τεχνολογία Μάθημα 3ο Επεξεργασία Κειμένου και Δεικτοδότηση Σοφία Στάμου Άκ.Έτος

2 Τι είναι το ευρετήριο; Συστηματική οργάνωση δεδομένων με στόχο τη διευκόλυνση των χρηστών για τον εντοπισμό πληροφορίας σε ένα κείμενο Τύποι οργάνωσης Αλφαβητική (Α-Ω) Δευτερευόντων όρων (υπο-καταχωρήσεων) Διαφόρων όρων (πολλαπλές καταχωρήσεις) Ετερο-αναφορών 2/4/2017 Γλωσσική Τεχνολογία

3 Κανόνες ευρετηρίασης Δεικτοδοτούμε όρους που πιθανώς θα επιλέξουν οι χρήστες για να διατυπώσουν ερωτήματα Επιλέγουμε και τροποποιούμε (όπου χρειάζεται) τους όρους βάσει των αναγκών του χρήστη Συνέπεια στη μεθοδολογία επιλογής, απόδοσης και οργάνωσης θεματικών όρων 2/4/2017 Γλωσσική Τεχνολογία

4 Δημιουργώντας το ευρετήριο
Αρχείο Ευρετηρίου Αρχείο κειμένων 2/4/2017 Γλωσσική Τεχνολογία

5 Αξιολόγηση της Ανάκτησης
Ακρίβεια Ποσοστό σχετικών κειμένων στα ανακτηθέντα Ακρίβεια(P) = |σχετικά Ç ανακτηθέντα| ÷ |ανακτηθέντα| = P( σχετικά| ανακτηθέντα ) Ανάκληση Ποσοστό σχετικών ανακτηθέντων στο σύνολο σχετικών Ανάκληση(R) = |σχετικά Ç ανακτηθέντα| ÷ |σχετικά| = R( ανακτηθέντα| σχετικά ) F1 Μετρική F1 = 2PR / (P+R) … αρμονική μέση τιμή ανάκλησης και ακρίβειας 2/4/2017 Γλωσσική Τεχνολογία

6 Λόγος Ακρίβειας/Ανάκλησης
Κείμενα Ανακτηθέντα σχετικά! Ra P R Σχετικά κείμενα Ακρίβεια Ανάκληση Recall Μέση Ακρίβεια = 0.62 ( ) / 5 Precis 2/4/2017 Γλωσσική Τεχνολογία

7 Αναγνωριστικά κειμένων
Θεματικά Ευρετήρια Για κάθε θεματική κατηγορία δημιουργείται μια λίστα όλων των όρων που την περιγράφουν Αναγνωριστικά κειμένων Μουσική Θέατρο Τέχνη 1 2 3 5 8 13 21 34 4 16 32 64 128 2/4/2017 Γλωσσική Τεχνολογία

8 Κεντρικό ευρετήριο αναζητήσεων
Πολλαπλά ευρετήρια Αν για κάθε θεματική κατηγορία έχουμε ξεχωριστό ευρετήριο μπορούν να συγχωνευθούν για τη σύνθεση του τελικού ευρετηρίου Θεματικά Ευρετήρια Κεντρικό ευρετήριο αναζητήσεων 2/4/2017 Γλωσσική Τεχνολογία

9 Τομή των IDs κειμένων που βρίσκονται και στις 2 λίστες (boolean AND):
Αναζήτηση κειμένων Λεξικό Ερώτημα αναζήτησης: “Η τέχνη της Μουσικής” Μουσική – 0 Τέχνη – 1 Πιάνο – 2 Τομή των IDs κειμένων που βρίσκονται και στις 2 λίστες (boolean AND): 0 (Μουσική) 1 (Τέχνη) Αποτέλεσμα Βρέθηκε! 1 n/a Δεν Βρέθηκε! 2 Ευρετήριο IDs λέξεων : 0, 1 0 -> 0, 1 1 -> 0, 2 2 -> 1 2/4/2017 Γλωσσική Τεχνολογία

10 Είδη Ευρετηρίων Θεματικά Συγγραφέων Ονομάτων Γεωγραφικά Τίτλων
Αριθμών και κωδικών 2/4/2017 Γλωσσική Τεχνολογία

11 Ευρετήρια Τίτλων KWIC (KeyWord-in-Context)
Κάθε σημαντικός όρος καταχωρίζεται στο ευρετήριο και εμφανίζεται στο μέσο του τίτλου και όχι αριστερά. Π.χ. Descent of Man The Ascent of Man The Old Man and The Sea A Portrait of the Artist As a Young : a portrait of the ARTIST as a young man the ASCENT of man DESCENT of man descent of MAN the ascent of MAN the old MAN and the sea 2/4/2017 Γλωσσική Τεχνολογία

12 Ευρετήρια Τίτλων KWOC (KeyWord-out-of-Context)
Κάθε σημαντική λέξη αποσπάται από τον τίτλο και τοποθετείται με αλφαβητική σειρά στο αριστερό τμήμα της σελίδας και ακολουθείται από τις υπόλοιπες λέξεις του τίτλου: Library A modern outline of library classification Library Introduction to library classification Library Library education Library Public library administration Library National Library of Canada 2/4/2017 Γλωσσική Τεχνολογία

13 KWIC vs. KWOC Απαλοιφή τερματικών όρων
Το επίπεδο εξειδίκευσης των όρων ευρετηρίασης εξαρτάται από τις επιλογές του ειδικού Το επίπεδο εξαντλητικότητας των όρων ευρετηρίασης εξαρτάται από το πόσο λεπτομερείς είναι οι τίτλοι Η Ευρετηρίαση τίτλων σήμερα είναι λιγότερο αποτελεσματική από κάθε άλλη φορά λόγω λεξιλογικών δυσκολιών εδικά στις Κοινωνικές Επιστήμες 2/4/2017 Γλωσσική Τεχνολογία

14 Λέξεις - Κλειδιά Πλεονεκτήματα
Παρέχουν πρόσβαση στις λέξεις που χρησιμοποιούνται στα ευρετήρια συλλογών Μειονεκτήματα Δεν μπορούν να αντισταθμίσουν την πολυπλοκότητα των φυσικών γλωσσών Δεν μπορούν να υποκαταστήσουν πλήρως το περιεχόμενο Η αναζήτηση με λέξεις-κλειδιά διευκολύνεται όταν η ευρετηρίαση είναι ελεγχόμενου λεξιλογίου 2/4/2017 Γλωσσική Τεχνολογία

15 Επιλέγοντας τις λέξεις-κλειδιά
Βήματα επεξεργασίας κειμένου: Αναγνώριση προτάσεων και λέξεων Μορφοσυντακτική ανάλυση Απαλοιφή τερματικών όρων Μετρική βαθμολόγησης σπουδαιότητας Επιλογή σημαντικών όρων 2/4/2017 Γλωσσική Τεχνολογία

16 Μορφοσυντακτική ανάλυση
Κρυφά Μοντέλα Markov Νευρωνικά Δίκτυα Μετασχηματιστικοί Κανόνες Δέντρα Απόφασης Μοντέλα Μέγιστης Εντροπίας 2/4/2017 Γλωσσική Τεχνολογία

17 Μορφοσυντακτική ανάλυση
Σε ποιο μέρος του λόγου (Part-of-Speech) ανήκει κάθε λέξη του κειμένου the koala put keys on table Λέξεις Ετικέτες N V P DET Πώς θα βρούμε την POS ετικέτα; 2/4/2017 Γλωσσική Τεχνολογία

18 Μορφοσυντακτική ανάλυση
2/4/2017 Γλωσσική Τεχνολογία

19 Πού θα βρούμε τις ετικέτες;
2/4/2017 Γλωσσική Τεχνολογία

20 Μετασχηματιστικοί Κανόνες
Μορφοσυντακτική ετικέτα μεγαλύτερης συχνότητας (άγνωστες λέξεις = ουσιαστικό) Charniak: 90% σωστές επιλογές ως εδώ! Χρήση μετασχηματιστικών κανόνων Διόρθωση ετικετών που είναι ασύμβατες με τα συμφραζόμενα 2/4/2017 Γλωσσική Τεχνολογία

21 Μηχανική Μάθηση Κανόνων
2/4/2017 Γλωσσική Τεχνολογία

22 Μηχανική Μάθηση Κανόνων
Είσοδος: Σώμα κειμένων C1 χωρίς ετικέττες (tags) Ακριβές αντίγραφό του C2, μορφοσυντακτικά σχολιασμένο από ειδικούς. Πρότυπα κανόνων Βήμα 1: Ανάθεση ετικεττών χρησιμοποιώντας τον αρχικό tagger  Παραγωγή του C1a. Βήμα 2: Σύγκριση του σώματος C1a με το ιδανικό C2. Καθορισμός της λίστας των λανθασμένων επιλογών. Από τη λίστα των λαθών, κατασκευάζονται με χρήση προτύπων κανόνων όλοι οι πιθανοί κανόνες που μπορούν να εφαρμοστούν. 2/4/2017 Γλωσσική Τεχνολογία

23 Μηχανική Μάθηση Κανόνων
Βήμα 3: Εφαρμογή των κανόνων και ανάθεση ενός σκορ σε κάθε κανόνα. Σκορ = #σωστών αλλαγών - #λανθασμένων αλλαγών Επιλογή κανόνα με το καλύτερο σκορ Βήμα 4: Ανανέωση του C1a με εφαρμογή του επιλεγμένου κανόνα. Βήμα 5: Τερματισμός αν η βελτίωση είναι μικρότερη από ένα κατώφλι Αλλιώς: επανάληψη από το βήμα 2 Έξοδος: Διατεταγμένο σύνολο κανόνων. 2/4/2017 Γλωσσική Τεχνολογία

24 Μετασχηματιστικοί Κανόνες
2/4/2017 Γλωσσική Τεχνολογία

25 2/4/2017 Γλωσσική Τεχνολογία

26 2/4/2017 Γλωσσική Τεχνολογία

27 Επιλέγοντας λέξεις κλειδιά
2/4/2017 Γλωσσική Τεχνολογία

28 tf*idf Βαθμολόγηση tf = term frequency df = document frequency
Συχνότητα όρου σε ένα κείμενο. df = document frequency Πόσα κείμενα περιέχουν τον όρο; Κατανομή του όρου idf = inverse document frequency Η άνιση κατανομή του όρου στο κείμενο Πόσο συγκεκριμένος είναι ο όρος για το κείμενο Όσο πιο ομοιόμορφη είναι η κατανομή του όρου στη συλλογή τόσο λιγότερο συγκεκριμένος είναι για ένα κείμενο weight(t,D) = tf(t,D) * idf(t) 2/4/2017 Γλωσσική Τεχνολογία

29 Ευρετηρίαση #1: The brown cat purred. #3: Tommy likes cats.
#2: Cats like brown chairs. Brown Cat Like Chair Purr Tommy 1, 3 1, 2, 3 2 2, 3 1 3 Index Search 2/4/2017 Γλωσσική Τεχνολογία

30 Στο επόμενο μάθημα.... Ποια είδη ευρετηρίων υπάρχουν;
Αξιολόγηση πληρότητας και ποιότητας ευρετηρίου 2/4/2017 Γλωσσική Τεχνολογία

31 ..... http://www.dblab.upatras.gr/gr/GlwssikiTexnologia.html 2/4/2017
Γλωσσική Τεχνολογία