Μάθημα 5ο: Σημασιολογική ανάλυση ΓΛΩΣΣΙΚΗ ΤΕΧΝΟΛΟΓΙΑ Μάθημα 5ο: Σημασιολογική ανάλυση Ακαδημαϊκό Έτος 2013-2014

Οι διαφάνειες αυτού του μαθήματος βασίζονται στο κεφάλαιο 17 του βιβλίου: «Speech and Language Processing» των D. Jurafsky και J.H. Martin, 2η έκδοση, Pearson, 2009 Ακαδημαϊκό Έτος 2013-2014

Σημασιολογία Ορισμός: Τι είναι «σημασία» «έννοια» και «νόημα» Είναι η επιστημονική μελέτη του γλωσσικού νοήματος ενός εκφωνήματος Τι είναι «σημασία» «έννοια» και «νόημα» Αγγλικά: What is the meaning of the sentence X Ελληνικά: Ποιο είναι το νόημα / η έννοια / η σημασία της πρότασης Χ Ακαδημαϊκό Έτος 2013-2014

Σημασιολογία (1) Μέχρι στιγμής, έχουμε επικεντρωθεί στην δομή της γλώσσας, και όχι στο τι σημαίνουν τα στοιχεία της Είδαμε ότι οι λέξεις μπορεί να έχουν διαφορετική σημασία, ανάλογα με το περιβάλλον μέσα στο οποίο έχουν χρησιμοποιηθεί Ακαδημαϊκό Έτος 2013-2014

Σημασιολογία (2) Καθημερινές εργασίες που χρειάζονται σημασιολογική ανάλυση: Απάντηση ερωτήματος σε διαγώνισμα Γνώση θέματος, και πώς συνήθως απαντώνται Παραγγελία φαγητού σε εστιατόριο διαβάζοντας τον κατάλογο, εκτέλεση συνταγής Γνώση σχετική με φαγητό, την προετοιμασία, εστιατόρια,… Αναγνώριση του ότι έχεις προσβληθεί.. Εκμάθηση χρήσης λογισμικού διαβάζοντας το εγχειρίδιο Γνώση σχετική με Η/Υ, εφαρμογές, GUI, … Ακαδημαϊκό Έτος 2013-2014

Σημασιολογική ανάλυση Η μετατροπή μιας πρότασης φυσική γλώσσας σε μια σημασιολογική αναπαράσταση (ΣΑ) Η οποία αποτελείται από «πράγματα» που χρησιμοποιούνται για την αναπαράσταση καθημερινής, συνηθισμένης γνώσης του κόσμου Ακαδημαϊκό Έτος 2013-2014

I have a car Ακαδημαϊκό Έτος 2013-2014

Σημασιολογικές αναπαραστάσεις (1) Συνδέουν γλωσσικές μορφές με γνώση για τον κόσμο Διττή αναπαράσταση: Σημασίας για την πρόταση Κατάστασης κάποιου κόσμου Τι είναι; Οτιδήποτε εξυπηρετεί τους σκοπούς ενός προγράμματος που εκτελεί σημασιολογική ανάλυση Ακαδημαϊκό Έτος 2013-2014

Σημασιολογικές αναπαραστάσεις (2) Θα καλύψουμε: Ποια είναι η σημασία μιας λέξης Πώς μπορούμε να αναπαραστήσουμε την σημασία Τι φορμαλισμοί μπορούν να χρησιμοποιηθούν Γλώσσες αναπαράστασης σημασίας Ακαδημαϊκό Έτος 2013-2014

Αναπαράσταση σημασίας Επιθυμητά στοιχεία: Επαληθευσιμότητα (Verifiability) Σαφής Αναπαράσταση (Unambiguous Representation) Κανονική Μορφή (Canonical Form) Συμπερασμός (Inference) Εκφραστικότητα (Expressiveness) Ακαδημαϊκό Έτος 2013-2014

Επαληθευσιμότητα (1) Η πλέον στοιχειώδης ιδιότητα: Ποια η σχέση μεταξύ της έννοιας της πρότασης, και του κόσμου, όπως τον ξέρουμε; Πρέπει να μπορούμε να καθορίσουμε το αληθές της αναπαράστασης Ένα σύστημα πρέπει να μπορεί να συγκρίνει, ταιριάζει: Την σημασιολογική αναπαράσταση με μια βάση γνώσης (ΒΓ) Η οποία περιέχει πληροφορία για τον κόσμο Ακαδημαϊκό Έτος 2013-2014

Επαληθευσιμότητα (2) Π.χ. Does Maharani serve vegetarian food? Αν υποθέσουμε ότι η πρόταση σημαίνει: Maharani serves vegetarian food Μπορούμε να έχουμε την αναπαράσταση: Serves(Maharani, vegetarian food) Η οποία πρέπει να συγκριθεί με την βάση γνώσης Η οποία περιέχει γεγονότα για εστιατόρια Αν βρεθεί ταίριασμα => «Ναι», αλλιώς => «Όχι» Επαληθευσιμότητα: ικανότητα σύγκρισης μιας αναπαράστασης με μια βάση γνώσης για κάποιο κόσμο Ακαδημαϊκό Έτος 2013-2014

Σαφής αναπαράσταση (1) Μια πρόταση μπορεί να έχει διαφορετικές σημασιολογικές αναπαραστάσεις Κάθε σημασιολογική αναπαράσταση περιγράφει μια σημασία Ανεξάρτητα από την αμφισημία της εισόδου, η τελική αναπαράσταση της σημασίας δεν πρέπει να είναι αμφίσημη Ενδιάμεσες αναπαραστάσεις μπορεί να φέρουν αμφισημία “I wanna eat someplace that’s close to ICSI.” Ακαδημαϊκό Έτος 2013-2014

Σαφής αναπαράσταση (2) Σχετική έννοια είναι και η ασάφεια (vagueness) Η σημασιολογική αναπαράσταση δεν προσδιορίζει επακριβώς το πραγματικό γεγονός «Θέλω να φάω Ιταλικό φαγητό» Δεν προκύπτουν πολλαπλές αναπαραστάσεις λόγω ασάφειας Όπως στην περίπτωση της αμφισημίας Η ασάφεια μπορεί να είναι αποδεκτή για κάποιες εφαρμογές Θεμιτή η ασάφεια στην σημασιολογική αναπαράσταση Ακαδημαϊκό Έτος 2013-2014

Ασάφεια ή αμφισημία I went to the bank. Αυτός είναι ψηλός. Είναι ζεστό. Ακαδημαϊκό Έτος 2013-2014

Κανονική μορφή (1) Πολλαπλές προτάσεις εισόδου μπορεί να έχουν την ίδια σημασία Does Maharani have vegetarian dishes? Do they have vegetarian food at Maharani? Are vegetarian dishes served at Maharani? Does Maharani serve vegetarian fare? Εναλλακτική: Τέσσερις σημασιολογικές αναπαραστάσεις Αποθήκευση όλων των δυνατών αναπαραστάσεων στην βάση γνώσης (ΒΓ) Ακαδημαϊκό Έτος 2013-2014

Κανονική μορφή (2) Λύση: ανάθεση σε όλες τις εισόδους με την ίδια σημασία, της ίδιας σημασιολογ. αναπαράστασης Είναι εύκολο; Όχι! vegetarian fare, vegetarian dishes, vegetarian food Σημαίνουν το ίδιο πράγμα σε αυτό το περιβάλλον χρήσης Have, serve Είναι ισοδύναμα, άσχετα με την διαφορετική σύνταξη Τι μπορούμε να κάνουμε; Ακαδημαϊκό Έτος 2013-2014

Παραγωγή κανονικής μορφής Αξιοποίηση θησαυρών για την συστηματική εξαγωγή ΣΑ Π.χ. έννοιες λέξεων (word senses) Food ___ Dish ___ | ___ Υπάρχει κάποια κοινή έννοια; Fare ___ | ___ | … Αξιοποίηση συντακτικών δομών για την συστηματική εξαγωγή ΣΑ [S [NP Maharani] serves [NP vegetarian dishes]] [S [NP vegetarian dishes] are served at [NP Maharani]] Ακαδημαϊκό Έτος 2013-2014

Συμπερασμός (1) Ένα πιο σύνθετο ερώτημα: Can vegetarians eat at Maharani? Αντί: Does Maharani serve vegetarian food? Γιατί έχουν την ίδια απάντηση; Μπορούμε να χρησιμοποιήσουμε την ίδια ΣΑ; (Όχι) Δεν σημαίνουν το ίδιο πράγμα! Απαντάμε το ίδιο επειδή: Ξέρουμε τι τρώνε οι χορτοφάγοι Ξέρουμε τι σερβίρουν τα χορτοφαγικά εστιατόρια Κάνουμε την σύνδεση => Συμπερασμός Ακαδημαϊκό Έτος 2013-2014

Συμπερασμός (2) Εξαγωγή συμπερασμάτων για την αλήθεια κατηγορημάτων (propositions) που δεν είναι ρητά εκφρασμένα στην ΓΒ Δεν περιέχονται αυτούσια στην ΓΒ serve(Maharani, VegetarianFood) => CanEat(Vegetarians, AtMaharani) Ακαδημαϊκό Έτος 2013-2014

Εκφραστικότητα Είναι επιθυμητό μια ΣΑ να μπορεί να περιγράψει μια ευρεία γκάμα από γεγονότα για τον κόσμο Μια ΣΑ δεν πρέπει να θέτει σημαντικούς περιορισμούς Ιδανικά θέλουμε μια ΣΑ ικανή να αναπαραστήσει οποιαδήποτε «λογική» πρόταση Δεν είναι εύκολο να βρεθεί μια τέτοια ΣΑ Υπάρχουν ωστόσο ΣΑ που είναι αρκετά εκφραστικές, επιτρέποντας την μοντελοποίηση αρκετών πραγμάτων Πρωτοβάθμια Κατηγορηματική Λογική (First-Order Logic) Ακαδημαϊκό Έτος 2013-2014

Σημασιολογική δομή γλώσσας (Meaning Structure of Language) Αφορά τρόπους με τους οποίους η φυσική γλώσσα μεταφέρει σημασία Οι φυσικές γλώσσες Χρησιμοποιούν δομές κατηγόρημα-όρισμα (predicate – argument structure) Χρησιμοποιούν μεταβλητές Χρησιμοποιούν ποσοδείκτες (quantifiers) Χρησιμοποιούν συνθετική σημασιολογία (compositional semantics) Η σημασία κάθε έκφρασης ΦΓ υπολογίζεται ως συνάρτηση των σημασιών των επιμέρους μερών της Ακαδημαϊκό Έτος 2013-2014

Συνθετικότητα (compositionality) Η αρχή της συνθετικότητας είναι σημαντική στην σημασιολογία: Η σημασία μιας έκφρασης είναι αυστηρά μια συνάρτηση των σημασιών των επιμέρους μερών της Επιτρέπει την δημιουργία ΣΑ με αυξητικό τρόπο (incrementally) Ο κατηγορικός λογισμός (predicate logic) δεν τηρεί αυτή την αρχή Ακαδημαϊκό Έτος 2013-2014

Δομή κατηγόρημα-όρισμα (1) Αναπαριστά έννοιες (concepts) και σχέσεις μεταξύ τους Κάποιες λέξεις δρουν σαν ορίσματα, και κάποιες σαν κατηγορήματα: Ουσιαστικά: έννοιες ή ορίσματα – κόκκινη(μπάλα) Επίθετα, επιρρήματα, ρήματα: κατηγορήματα – κόκκινη(μπάλα) Ακαδημαϊκό Έτος 2013-2014

Δομή κατηγόρημα-όρισμα (2) Τα ρήματα υπαγορεύουν περιορισμούς: Αριθμό, γένος, πτώση Γραμματικές κατηγορίες Θέση των φράσεων που τα συνοδεύουν Ακαδημαϊκό Έτος 2013-2014

Δομή κατηγόρημα-όρισμα (3) Το κατηγόρημα έχει δύο ορίσματα Και τα δύο ορίσματα είναι τύπου ΟΦ (NP) Το πρώτο όρισμα είναι πριν το ρήμα, και έχει τον ρόλο υποκειμένου Το δεύτερο όρισμα είναι μετά το ρήμα, και έχει ρόλο του (άμεσου) αντικειμένου Ακαδημαϊκό Έτος 2013-2014

Σημασιολογικοί ρόλοι Σημασιολογικοί/θεματικοί ρόλοι (semantic/thematic roles): συμμετέχουν σε ένα γεγονός Ο υποκινητής μιας ενέργειας, ο αποδέκτης μιας ενέργειας, το αντικείμενο που μεταφέρει μια ενέργεια, κλπ. Σημασιολογικοί περιορισμοί (selectional restrictions): περιορίζουν τους τύπους των ορισμάτων Ο τρομοκράτης δολοφόνησε τον βουλευτή *Η αράχνη δολοφόνησε την μύγα • Subcategorisation ρημάτων: Επιτρέπουν την αντιστοίχιση ορισμάτων από την επιφανειακή δομή με τον συντακτικό τους ρόλο Οι προθέσεις συμπεριφέρονται ανάλογα Ακαδημαϊκό Έτος 2013-2014

Ένα μοντέλο για τον κόσμο των εστιατορίων Ακαδημαϊκό Έτος 2013-2014

Πρωτοβάθμιος Κατηγορηματικός Λογισμός (1) First-Order Predicate Calculus: – Παρέχει στέρεα υπολογιστική βάση για επαληθευσιμότητα, συμπερασμό και εκφραστικότητα Επιτρέπει τον προσδιορισμό της αλήθειας/ψεύδους ενός κατηγορήματος Επιτρέπει την συνθετικότητα της σημασίας Επιτρέπει την απάντηση ερωτημάτων (μέσω μεταβλητών) Επιτρέπει συμπερασμό Ακαδημαϊκό Έτος 2013-2014

ΠΚΛ: Σύνταξη Όροι (terms): Σταθερές: Maharani Συναρτήσεις: LocationOf(Maharani) Μεταβλητές: x in LocationOf(x) Κατηγορήματα (predicates): σχέσεις μεταξύ αντικειμένων Serves(Maharani, VegetarianFood) Λογικοί τελεστές: επιτρέπουν σύνθεση σημασίας I only have $5 and I don’t have a lot of time Have (I, $5) ∧ ¬�Have (I, lot of time) Ακαδημαϊκό Έτος 2013-2014

ΠΚΛ: Σημασιολογία Εκφράσεις σε ΠΚΛ μπορούν να σχετιστούν με τις τιμές Αληθές (True) ή Ψευδές (False) Ακαδημαϊκό Έτος 2013-2014

Μεταβλητές και ποσοδείκτες Existential (∃): Υπάρχει A restaurant that serves Mexican food near UMD (∃x)Restaurant(x) ∧ Serves(x.MexicanFood) ∧ Near(LocationOf(x),LocationOf(UMD)) Universal (∀): Για κάθε All vegetarian restaurants serve vegetarian food (∀x)VegetarianRestaurant(x) ⇒ Serves(x,VegetarianFood) Ακαδημαϊκό Έτος 2013-2014

Παραδείγματα Ακαδημαϊκό Έτος 2013-2014

Γιατί χρειαζόμαστε μεταβλητές; Προτάσεις με το ρήμα “eat” I ate. I ate a turkey sandwich. I ate a turkey sandwich at my desk. I ate at my desk. I ate lunch. I ate a turkey sandwich for lunch. I ate a turkey sandwich for lunch at my desk. • Επτά διαφορετικές αναπαραστάσεις: Eating1 (Speaker) Eating2 (Speaker, TurkeySandwich) Eating3 (Speaker, TurkeySandwich, Desk) Eating4 (Speaker, Desk) Eating5 (Speaker, Lunch) Eating6 (Speaker, TurkeySandwich, Lunch) Eating7 (Speaker, TurkeySandwich, Lunch, Desk) Ακαδημαϊκό Έτος 2013-2014

Λύση με μεταβλητές Ακαδημαϊκό Έτος 2013-2014

Συμπερασμός (1) Το κύριο κίνητρο για την χρήση της λογικής σαν ΣΑ, είναι επειδή επιτρέπει στέρεους (sound) και πλήρεις (complete) μεθόδους συμπερασμού Στην κατηγορική λογική, ένα κατηγόρημα �, που περιέχει τις μεταβλητές Q1, … , Q𝑛, είναι έγκυρο αν το � είναι αληθές για όλες τις αληθείς τιμές των �Q1, … , Q𝑛 Ακαδημαϊκό Έτος 2013-2014

Συμπερασμός (2) Αν υποθέσουμε ότι έχουμε: Ένα σύνολο προτάσεων �S1, … , S𝑛 Και τις αντίστοιχες ΣΑ �P1, … P𝑛 Και θέλουμε να διαπιστώσουμε αν ένα �Q είναι έγκυρο Αρκεί να ελέγξουμε αν το ακόλουθο είναι λογικά έγκυρο: �P1 ∧ ⋯ ∧�P𝑛 ⇒ Q Ακαδημαϊκό Έτος 2013-2014

Σύνταξη και Σημασιολογία Δύο τρόποι συνδυασμού μεταξύ συντακτικής ανάλυσης και σημασιολογικής ανάλυσης 1. Οι δύο αναλύσεις γίνονται ταυτόχρονα, εμπλουτίζοντας την γραμματική με σημασιολογία 2. Η συντακτική ανάλυση πραγματοποιείται ανεξάρτητα, και με βάση το συντακτικό δέντρο δημιουργείται η σημασιολογική ερμηνεία Ακαδημαϊκό Έτος 2013-2014

Σημασιολογικές προσαρτήσεις Ακαδημαϊκό Έτος 2013-2014

Σημασιολογία απλών προτάσεων Ακαδημαϊκό Έτος 2013-2014

Σημασιολογικές σχέσεις λέξεων Ομώνυμα: ίδια γραφή, διαφορετικές σημασίες Bank, γράμμα, άπειρος Συνώνυμα: διαφορετικές λέξεις, με περίπου την ίδια σημασία Αυτοκίνητο – αμάξι, big – large Υπερώνυμο – υπώνυμο: ευρύτερη – στενότερη έννοια Όχημα – αυτοκίνητο, θηλαστικό – άνθρωπος Αντίθετα: αντίθετη έννοια Μεγάλος – μικρός Ακαδημαϊκό Έτος 2013-2014

Wordnet Το δημοφιλέστερο ιεραρχικά οργανωμένο λεξικό της Αγγλικής (http://wordnet.princeton.edu/) Κάθε έννοια παριστάνεται από ένα σύνολο συνωνύμων (synset) που μπορούν να έχουν αυτή την έννοια Ιεραρχίες υπερωνύμων-υπωνύμων ανά μέρος του λόγου (ουσιαστικά, επίθετα, ρήματα, επιρρήματα) Παρέχει και άλλες σχέσεις Π.χ. μερώνυμα (το «παράθυρο» μέρος του «σπιτιού») Ακαδημαϊκό Έτος 2013-2014

Αποσαφήνιση εννοιών λέξεων Επιλογή της σωστής έννοιας μιας λέξης σε ένα κείμενο (word sense disambiguation – WSD) Χρήσιμο και σε άλλες εφαρμογές Επιλογή από τις δυνατές έννοιες μιας λέξης (Wordnet), ή κατασκευή των δυνατών εννοιών μιας λέξης (sense induction) Δημοφιλής η χρήση μηχανικής μάθησης Ακαδημαϊκό Έτος 2013-2014