Κατέβασμα παρουσίασης
Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε
ΔημοσίευσεErasmus Rodino Τροποποιήθηκε πριν 9 χρόνια
1
Μάθημα 2 ο : Βασικές έννοιες 1 Ακαδημαϊκό Έτος 2013-2014
2
Οι διαφάνειες αυτού του μαθήματος βασίζονται στα κεφάλαια 1, 2 και 3 του βιβλίου: «Η τεχνολογία της πληροφορίας στην επεξεργασία φυσικής γλώσσας», Κ. Φράγγος και Αν. Κουτσούκος, εκδόσεις ΜΥΡΜΙΔΟΝΕΣ, 2010. 2 Ακαδημαϊκό Έτος 2013-2014
3
Επεξεργασία Φυσικής Γλώσσας: Χρήση ηλεκτρονικών υπολογιστών για τη γραπτή και προφορική επεξεργασία της γλώσσας για διάφορες πρακτικές, χρήσιμες εφαρμογές, κλπ Επιστημονική περιοχή που συνδυάζει την επιστήμη της γλωσσολογίας με αυτή των υπολογιστών Ακαδημαϊκό Έτος 2013-2014 3
4
Τα ποικίλα είδη γνώσης της ΕΦΓ μπορούν να αναπαρασταθούν από ένα μικρό σύνολο τυπικών μεθόδων (formal methods) ή θεωριών Προέρχονται από τον χώρο της επιστήμης υπολογιστών, των μαθηματικών και της γλωσσολογίας Ακαδημαϊκό Έτος 2013-2014 4
5
Σημαντικές τεχνικές για την αναπαράσταση της γλωσσολογικής γνώσης: – Μηχανές καταστάσεων (state machines) – Συστήματα τυπικών κανόνων (formal rule systems) – Λογική – Θεωρία πιθανοτήτων – Μηχανική μάθηση (machine learning) Ακαδημαϊκό Έτος 2013-2014 5
6
Τυπικά μοντέλα που αποτελούνται: Καταστάσεις Μεταβάσεις μεταξύ καταστάσεων Μία αναπαράσταση εισόδου Παραλλαγές βασικού μοντέλου: (Μη) ντετερμινιστικά αυτόματα πεπερασμένων καταστάσεων Finite state transducers (γραφή σε συσκευή εξόδου) Αυτόματα με βάρη Αυτόματα με πιθανότητες (Markov models) Hidden Markov models (συστατικά πιθανοτήτων) Ακαδημαϊκό Έτος 2013-2014 6
7
Συστήματα τυπικών κανόνων: Κανονικές γραμματικές Γραμματικές ανεξάρτητες από συμφραζόμενα Γραμματικές με χαρακτηριστικά (feature augmented grammars) Πιθανοτικές παραλλαγές Συνήθως χρησιμοποιούνται στον χειρισμό γνώσης (state machines & formal rule systems) : Φωνολογίας Μορφολογίας Σύνταξης Ακαδημαϊκό Έτος 2013-2014 7
8
Δημοφιλές μοντέλο, σημαντικό κριτικό λόγο στη γνώση της γλώσσας First order logic Predicate calculus Επαγωγή/απαγωγή Λογικές αναπαραστάσεις Σημασιολογική γνώση Πραγματολογική γνώση Επεξεργασία λόγου ^πλέον εφαρμογές: απλούστερους μηχανισμούς^ Το κυρίαρχο μοντέλο για την αξιοποίηση οντολογιών Ακαδημαϊκό Έτος 2013-2014 8
9
Το κυρίαρχο μοντέλο αναπαράστασης γλωσσολογικής γνώσης και πιο σημαντικό Όλα τα προηγούμενα μοντέλα μπορούν να εμπλουτιστούν με πιθανότητες Μπορεί να λύσει πολλά είδη προβλημάτων ασάφειας Σχεδόν κάθε πρόβλημα ΕΦΓ μπορεί να δοθεί σαν: «δεδομένων Ν επιλογών για μια ασαφή είσοδο, επέλεξε την πιο πιθανή» Εκμάθηση πιθανοτικών μοντέλων από σώματα κειμένων (μηχανική μάθηση) Ακαδημαϊκό Έτος 2013-2014 9
10
Στατιστική συμπερασματολογία Κλάδος της στατιστικής Ασχολείται με μεθόδους μεταφοράς πληροφοριών από δείγμα στον γενικό πληθυσμό Περιλαμβάνει: Εκτιμητική: εκτίμηση παραμέτρων πληθυσμού με βάση αντίστοιχες παραμέτρους του δείγματος Έλεγχο υποθέσεων: επιβεβαίωση/απόρριψη ισχυρισμών για τις τιμές παραμέτρων του πληθυσμού Διατύπωση στατιστικών μοντέλων εκτίμησης τιμής/διαστήματος εμπιστοσύνης εξαρτημένων μεταβλητών, με βάση τιμές ανεξάρτητων μεταβλητών Ακαδημαϊκό Έτος 2013-2014 10
11
Αναζήτηση ισχυρών ενδείξεων για την αλήθεια ενός ισχυρισμού Η διαδικασία της γενίκευσης από ένα δείγμα στον πληθυσμό δεν είναι συχνά δίχως σφάλματα Σφάλμα τύπου Ι (α): η πιθανότητα απόρριψης μιας υπόθεσης Ηο, ενώ είναι ορθή Σφάλμα τύπου ΙΙ (β): η πιθανότητα αποδοχής μιας υπόθεσης Ηο, ενώ είναι λανθασμένη, Όπου Ηο: αρχική υπόθεση και υπάρχει και Η1: εναλλακτική υπόθεση Ακαδημαϊκό Έτος 2013-2014 11
12
Εφαρμογή και χρήση στατιστικών μεθόδων στους διάφορους κλάδους της ΕΦΓ Ανάκτηση Πληροφορίας (Information Retrieval) : Ανάπτυξη αλγορίθμων και μοντέλων για την αναζήτηση πληροφορίας από διάφορες συλλογές κειμένων. Χρήση στατιστικών μοντέλων Αναπαράσταση, αποθήκευση, οργάνωση, επεξεργασία, προσπέλαση στοιχείων της πληροφορίας Μέτρηση απόδοσης και αξιολόγηση Ακαδημαϊκό Έτος 2013-2014 12
13
Η αποτίμηση/εκτίμηση της αποδοτικότητας συστημάτων ΕΦΓ είναι σημαντική Κυρίαρχα μέτρα αποτίμησης: Ακρίβεια (precision) Πόσες από τις απαντήσεις που έδωσε ένα σύστημα είναι σωστές Ανάκληση (recall) Πόσα ερωτήματα προς το σύστημα απαντήθηκαν σωστά F-measure: συνδυασμός ακρίβειας και ανάκλησης Ακαδημαϊκό Έτος 2013-2014 13
14
Ανάκτηση πληροφορίας Υποθέτουμε ένα σύνολο εγγράφων Υποθέτουμε ένα σύνολο ερωτημάτων Κάθε ερώτημα πρέπει να απαντηθεί με ένα σύνολο εγγράφων, που ικανοποιούν το ερώτημα Έστω ερώτημα, και το σύνολο των σχετικών εγγράφων Έστω ένα ελεγχόμενο σύστημα ΕΦΓ, επεξεργάζεται το ερώτημα, και επιστρέφει το σύνολο εγγράφων Ακαδημαϊκό Έτος 2013-2014 14
15
Ακαδημαϊκό Έτος 2013-2014 15
Παρόμοιες παρουσιάσεις
© 2024 SlidePlayer.gr Inc.
All rights reserved.