Μάθημα 1ο: Εισαγωγή στη Γλωσσική Τεχνολογία

Παρουσίαση με θέμα: "Μάθημα 1ο: Εισαγωγή στη Γλωσσική Τεχνολογία"— Μεταγράφημα παρουσίασης:

1 Μάθημα 1ο: Εισαγωγή στη Γλωσσική Τεχνολογία
ΓΛΩΣΣΙΚΗ ΤΕΧΝΟΛΟΓΙΑ Μάθημα 1ο: Εισαγωγή στη Γλωσσική Τεχνολογία Ακαδημαϊκό Έτος

2 Βασισμένο στις διαλέξεις προηγούμενων ετών της Σοφίας Στάμου και του Γιώργου Πετάση
Ακαδημαϊκό Έτος

3 Εισαγωγικά Γλώσσα Φυσική Γλώσσα Τεχνητή γλώσσα Ελληνικά vs Java
Μέσο ανταλλαγής και καταγραφής πληροφοριών Φυσική Γλώσσα Μέσο επικοινωνίας μεταξύ ανθρώπων Τεχνητή γλώσσα Μέσο επικοινωνίας ανθρώπου- μηχανής Ελληνικά vs Java Εισαγωγικά Ακαδημαϊκό Έτος

4 Τι είναι η γλωσσική τεχνολογία;
Ορισμός Η ανάπτυξη και μελέτη υπολογιστικών μοντέλων επεξεργασίας πληροφορίας εκφρασμένης σε φυσική γλώσσα Δημιουργία φορμαλιστικών μοντέλων (θεωρητική) Αναπαράσταση της γλωσσολογικής γνώσης Περιγραφή των μηχανισμών κατανόησης και παραγωγής της γλώσσας από τον άνθρωπο Ανάπτυξη συστημάτων λογισμικού για την επεξεργασία φυσικής γλώσσας (εφαρμοσμένη) Τι είναι η γλωσσική τεχνολογία; Ακαδημαϊκό Έτος

5 Αυτόματη ανάλυση και παραγωγή γραπτών ή προφορικών εκφράσεων φυσικής γλώσσας*:
Αυτόματη διόρθωση κειμένου Επεξεργασία λόγου(αναγνώριση-σύνθεση) Μηχανική μετάφραση Ανάκτηση, Εξαγωγή πληροφορίας Αυτόματη εξαγωγή περιλήψεων Εξόρυξη κειμένου, άποψης ... *διάφορα μέσα την περιέχουν Γλωσσική Τεχνολογία Ακαδημαϊκό Έτος

6 Γιατί είναι σημαντική;
Κατανόηση της ανάλυσης και της παραγωγής της γλώσσας Επικοινωνία Πολύ μεγάλο μέρος της καταγεγραμένης ανθρώπινης γνώσης είναι εκφρασμένο σε φυσική γλώσσα Γνώση οργανισμών: νόμοι, κανονισμοί, εγχειρίδια, οδηγίες, κλπ Πληροφορία από/για χρήστες: ιστότοποι οργανισμών, αλληλογραφία, περιγραφές προϊόντων, μέσα κοινωνικής δικτύωσης, κλπ Γιατί είναι σημαντική; Ακαδημαϊκό Έτος

7 Ακόμα.. Ραγδαία αύξηση του Παγκόσμιου Ιστού Γλωσσική Τεχνολογία
Μεγάλος όγκος πληροφορίας, άμεσα προσβάσιμος Υπερ-πληροφόρηση Γλωσσική Τεχνολογία Ανακάλυψη νέων τρόπων, καλύτερη συμβίωση με την τεχνολογία Συστήματα που: Αναγνωρίζουν λόγο(ομιλία-γραφή) Κατανοούν κείμενα, επιλογή πληροφοριών Μεταφράζουν από μια γλώσσα σε άλλη Συνθέτουν λόγο ... Ακόμα.. Ακαδημαϊκό Έτος

8 Γιατί είναι δύσκολη; Η φυσική γλώσσα είναι περίπλοκη...
Πολλαπλοί τρόποι έκφρασης της ίδιας πληροφορίας Ελλιπής πληροφορία Ασάφεια Διαφορετικό νόημα ανάλογα με το περιβάλλον Δημιουργία νέων εκφράσεων, κλπ επειδή απευθύνεται σε ανθρώπους Χρήση της γνώσης του κόσμου και της εμπειρίας για την κατανόηση της φυσικής γλώσσας Η μηχανή δυσκολεύεται σημαντικά Περιορισμένη γνώση του κόσμου Εστίαση σε θεματικές περιοχές, χρήση οντολογιών Γιατί είναι δύσκολη; Ακαδημαϊκό Έτος

9 Ασάφεια Φωνολογική Μορφοσυντακτική Σημασιολογική Πραγματολογική
Λύπη, λείπει, λίπη Στον ώμο, στο νόμο Μορφοσυντακτική Οι απαντήσεις, να απαντήσεις Σημασιολογική Ποντίκι Τόνος Πραγματολογική - Ξέρεις τι ώρα είναι; - Μα δεν σας είπα ότι δεν θέλω πράσινο; Ασάφεια Ακαδημαϊκό Έτος

10 Επεξεργασία Φυσικής Γλώσσας(NLP - Natural Language Processing)
Κυρίως γραπτό λόγο, δημιουργία υπολογιστικών συστημάτων, υποτομέας της ΤΝ Υπολογιστική Γλωσσολογία(CL – Computational Linguistics) Κυρίως γραπτό λόγο, δημιουργία υπολογιστικών μοντέλων γλωσσολογικών θεωριών, πλέον συνώνυμο της ΕΦΓ Γλωσσική Τεχνολογία (LT – Language Technology) Λιγότερο καθιερωμένος όρος, κυρίως τεχνικές επεξεργασίας φωνής, έμφαση στη δημιουργία υπολογιστικών συστημάτων Συναφείς όροι Ακαδημαϊκό Έτος

11 Ανάλυση και παραγωγή λόγου
Ακαδημαϊκό Έτος

12 Επίπεδα ανάλυσης λόγου
Αναγνώριση λέξεων, προτάσεων, … Πληροφορίες για τις λέξεις, όπως θέμα, κατάληξη, πρόσωπο, αριθμό, γένος, … Συντακτική δομή περιόδων, ρόλοι των λέξεων, κλπ. Αναγνώριση του νοήματος των προτάσεων Αναφορικές εκφράσεις, σχέσεις μεταξύ προτάσεων Σκοποί του χρήστη, σχέδια δράσεως, … Επίπεδα ανάλυσης λόγου Ακαδημαϊκό Έτος

13 Σύντομη αναδρομή Γλωσσική τεχνολογία: τόσο παλιά όσο και οι Η/Υ
Γλωσσική τεχνολογία: τόσο παλιά όσο και οι Η/Υ 50s: αρχή έρευνας Επιρροή Noam Chomsky Διατύπωση θεωριών εκμάθησης της γλώσσας από παιδιά Ιεραρχία γλωσσών, αποτελούμενη από 4 κατηγορίες γραματικών Κανονικές Ανεξάρτητες από τα συμφραζόμενα Εξαρτημένες άπό τα συμφραζόμενα Απεριόριστες Σύντομη αναδρομή Ακαδημαϊκό Έτος

14 Πρώτα βήματα, έμφαση στην μηχανική μετάφραση 1965 – 1980 Έμφαση στη σημασιολογία 1980 – 1990 Έμφαση στη σύνταξη, στατιστική μηχανική μετάφραση, αναγνώριση ομιλίας 1990 – σήμερα Εργασίες χαμηλού επιπέδου, συνδυασμός με τεχνικές μηχανικής μάθησης, εξαγωγή πληροφορίας, αξιολόγηση Ιστορικό Ακαδημαϊκό Έτος

15 Εφαρμογές Υποστήριξη συγγραφής Μετάφραση κειμένων
Κατηγοριοποίηση/φιλτράρισμα κειμένου Εξαγωγή πληροφορίας – παραγωγή περίληψης Διεπαφές σε φυσική γλώσσα Αυτόματος υποτιτλισμός Εξαγωγή στοιχείων για το συγγραφέα από τον τρόπο γραφής του Εντοπισμός συναισθήματος Αντιστοίχηση βιογραφικών με αγγελίες ευρέσεως εργασίας Εφαρμογές Ακαδημαϊκό Έτος

16 Κοινές εργασίες Αναγνώριση ομιλίας, OCR
Καθάρισμα κειμένων (π.χ. από HTML) Αναγνώριση λέξεων/προτάσεων Αναγνώριση μερών του λόγου Ρηχή συντακτική ανάλυση Αναγνώριση ονομάτων οντοτήτων Εξαγωγή συσχετίσεων Αναγνώριση συναισθήματος/πολικότητας Αποσαφήνιση έννοιας λέξεων Κοινές εργασίες Ακαδημαϊκό Έτος

17 Πλατφόρμες GATE - http://gate.ac.uk/ Ellogon - http://www.ellogon.org/
Η πρώτη δημοφιλής πλατφόρμα – Java Ellogon - Η πρώτη UNICODE πλατφόρμα – C/C++/Tcl/… NLTK - Η «εκπαιδευτική» πλατφόρμα – Python Apache UIMA - Η «ανερχόμενη» πλατφόρμα – Java/C++ Πλατφόρμες Ακαδημαϊκό Έτος