Μάθημα 2 ο : Βασικές έννοιες 1 Ακαδημαϊκό Έτος 2013-2014.

Παρουσίαση με θέμα: "Μάθημα 2 ο : Βασικές έννοιες 1 Ακαδημαϊκό Έτος 2013-2014."— Μεταγράφημα παρουσίασης:

1 Μάθημα 2 ο : Βασικές έννοιες 1 Ακαδημαϊκό Έτος 2013-2014

2 Οι διαφάνειες αυτού του μαθήματος βασίζονται στα κεφάλαια 1, 2 και 3 του βιβλίου: «Η τεχνολογία της πληροφορίας στην επεξεργασία φυσικής γλώσσας», Κ. Φράγγος και Αν. Κουτσούκος, εκδόσεις ΜΥΡΜΙΔΟΝΕΣ, 2010. 2 Ακαδημαϊκό Έτος 2013-2014

3  Επεξεργασία Φυσικής Γλώσσας:  Χρήση ηλεκτρονικών υπολογιστών για τη γραπτή και προφορική επεξεργασία της γλώσσας για διάφορες πρακτικές, χρήσιμες εφαρμογές, κλπ  Επιστημονική περιοχή που συνδυάζει την επιστήμη της γλωσσολογίας με αυτή των υπολογιστών Ακαδημαϊκό Έτος 2013-2014 3

4  Τα ποικίλα είδη γνώσης της ΕΦΓ μπορούν να αναπαρασταθούν από ένα μικρό σύνολο τυπικών μεθόδων (formal methods) ή θεωριών  Προέρχονται από τον χώρο της επιστήμης υπολογιστών, των μαθηματικών και της γλωσσολογίας Ακαδημαϊκό Έτος 2013-2014 4

5  Σημαντικές τεχνικές για την αναπαράσταση της γλωσσολογικής γνώσης:  – Μηχανές καταστάσεων (state machines)  – Συστήματα τυπικών κανόνων (formal rule systems)  – Λογική  – Θεωρία πιθανοτήτων  – Μηχανική μάθηση (machine learning) Ακαδημαϊκό Έτος 2013-2014 5

6  Τυπικά μοντέλα που αποτελούνται:  Καταστάσεις  Μεταβάσεις μεταξύ καταστάσεων  Μία αναπαράσταση εισόδου  Παραλλαγές βασικού μοντέλου:  (Μη) ντετερμινιστικά αυτόματα πεπερασμένων καταστάσεων  Finite state transducers (γραφή σε συσκευή εξόδου)  Αυτόματα με βάρη  Αυτόματα με πιθανότητες (Markov models)  Hidden Markov models (συστατικά πιθανοτήτων) Ακαδημαϊκό Έτος 2013-2014 6

7  Συστήματα τυπικών κανόνων:  Κανονικές γραμματικές  Γραμματικές ανεξάρτητες από συμφραζόμενα  Γραμματικές με χαρακτηριστικά (feature augmented grammars)  Πιθανοτικές παραλλαγές  Συνήθως χρησιμοποιούνται στον χειρισμό γνώσης (state machines & formal rule systems) : Φωνολογίας Μορφολογίας Σύνταξης Ακαδημαϊκό Έτος 2013-2014 7

8  Δημοφιλές μοντέλο, σημαντικό κριτικό λόγο στη γνώση της γλώσσας  First order logic  Predicate calculus  Επαγωγή/απαγωγή  Λογικές αναπαραστάσεις  Σημασιολογική γνώση  Πραγματολογική γνώση  Επεξεργασία λόγου ^πλέον εφαρμογές: απλούστερους μηχανισμούς^  Το κυρίαρχο μοντέλο για την αξιοποίηση οντολογιών Ακαδημαϊκό Έτος 2013-2014 8

9  Το κυρίαρχο μοντέλο αναπαράστασης γλωσσολογικής γνώσης και πιο σημαντικό  Όλα τα προηγούμενα μοντέλα μπορούν να εμπλουτιστούν με πιθανότητες  Μπορεί να λύσει πολλά είδη προβλημάτων ασάφειας  Σχεδόν κάθε πρόβλημα ΕΦΓ μπορεί να δοθεί σαν: «δεδομένων Ν επιλογών για μια ασαφή είσοδο, επέλεξε την πιο πιθανή»  Εκμάθηση πιθανοτικών μοντέλων από σώματα κειμένων (μηχανική μάθηση) Ακαδημαϊκό Έτος 2013-2014 9

10  Στατιστική συμπερασματολογία  Κλάδος της στατιστικής  Ασχολείται με μεθόδους μεταφοράς πληροφοριών από δείγμα στον γενικό πληθυσμό  Περιλαμβάνει:  Εκτιμητική: εκτίμηση παραμέτρων πληθυσμού με βάση αντίστοιχες παραμέτρους του δείγματος  Έλεγχο υποθέσεων: επιβεβαίωση/απόρριψη ισχυρισμών για τις τιμές παραμέτρων του πληθυσμού  Διατύπωση στατιστικών μοντέλων εκτίμησης τιμής/διαστήματος εμπιστοσύνης εξαρτημένων μεταβλητών, με βάση τιμές ανεξάρτητων μεταβλητών Ακαδημαϊκό Έτος 2013-2014 10

11  Αναζήτηση ισχυρών ενδείξεων για την αλήθεια ενός ισχυρισμού  Η διαδικασία της γενίκευσης από ένα δείγμα στον πληθυσμό δεν είναι συχνά δίχως σφάλματα  Σφάλμα τύπου Ι (α): η πιθανότητα απόρριψης μιας υπόθεσης Ηο, ενώ είναι ορθή  Σφάλμα τύπου ΙΙ (β): η πιθανότητα αποδοχής μιας υπόθεσης Ηο, ενώ είναι λανθασμένη, Όπου Ηο: αρχική υπόθεση και υπάρχει και Η1: εναλλακτική υπόθεση Ακαδημαϊκό Έτος 2013-2014 11

12  Εφαρμογή και χρήση στατιστικών μεθόδων στους διάφορους κλάδους της ΕΦΓ  Ανάκτηση Πληροφορίας (Information Retrieval) :  Ανάπτυξη αλγορίθμων και μοντέλων για την αναζήτηση πληροφορίας από διάφορες συλλογές κειμένων.  Χρήση στατιστικών μοντέλων Αναπαράσταση, αποθήκευση, οργάνωση, επεξεργασία, προσπέλαση στοιχείων της πληροφορίας  Μέτρηση απόδοσης και αξιολόγηση Ακαδημαϊκό Έτος 2013-2014 12

13  Η αποτίμηση/εκτίμηση της αποδοτικότητας συστημάτων ΕΦΓ είναι σημαντική  Κυρίαρχα μέτρα αποτίμησης:  Ακρίβεια (precision) Πόσες από τις απαντήσεις που έδωσε ένα σύστημα είναι σωστές  Ανάκληση (recall) Πόσα ερωτήματα προς το σύστημα απαντήθηκαν σωστά  F-measure: συνδυασμός ακρίβειας και ανάκλησης Ακαδημαϊκό Έτος 2013-2014 13

14  Ανάκτηση πληροφορίας  Υποθέτουμε ένα σύνολο εγγράφων  Υποθέτουμε ένα σύνολο ερωτημάτων Κάθε ερώτημα πρέπει να απαντηθεί με ένα σύνολο εγγράφων, που ικανοποιούν το ερώτημα  Έστω ερώτημα, και το σύνολο των σχετικών εγγράφων  Έστω ένα ελεγχόμενο σύστημα ΕΦΓ, επεξεργάζεται το ερώτημα, και επιστρέφει το σύνολο εγγράφων Ακαδημαϊκό Έτος 2013-2014 14

15 Ακαδημαϊκό Έτος 2013-2014 15