Μετρήσεις στη γλώσσα και ανάλυση του λόγου Γ. Μικρός, Γ. Ταμπουρατζής, Σ. Μαρκαντωνάτου ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH.

Παρουσίαση με θέμα: "Μετρήσεις στη γλώσσα και ανάλυση του λόγου Γ. Μικρός, Γ. Ταμπουρατζής, Σ. Μαρκαντωνάτου ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH."— Μεταγράφημα παρουσίασης:

1 Μετρήσεις στη γλώσσα και ανάλυση του λόγου Γ. Μικρός, Γ. Ταμπουρατζής, Σ. Μαρκαντωνάτου ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

2 Υπηρεσία μετρήσεων και ανάλυσης λόγου Βασική αποστολή: Διενέργεια ποσοτικών μετρήσεων σε γραπτά και προφορικά κείμενα της Νέας Ελληνικής γλώσσας με στόχους: n Τον έλεγχο της συνέπειας στην χρήση της γλώσσας n Τον υπολογισμό δεικτών «αναγνωσιμότητας» n Τον ευρετηριασμό των κειμένων με βάση τη γλωσσική τους φυσιογνωμία ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

3 Υπηρεσία μετρήσεων και ανάλυσης λόγου n Υπολογισμός δεικτών «αναγνωσιμότητας»: αξιολόγηση κειμένων ως προς τον βαθμό ευκολίας στην ανάγνωση n Ευρετηριασμός των κειμένων με βάση τη συνολική γλωσσική τους φυσιογνωμία: καθορίζεται από το θέμα που πραγματεύεται το κείμενο, τον συγγραφέα, την εποχή που γράφτηκε το κείμενο κ.ά.  Έλεγχος της συνέπειας στην χρήση της γλώσσας: ορθογραφία/προφορά, γραμματική, λεξιλόγιο. ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

4 Έλεγχος της συνέπειας στην χρήση της γλώσσας Η Νέα Ελληνική γλώσσα δίνει την δυνατότητα να χρησιμοποιηθούν περισσότερες της μίας εκφράσεις για το ίδιο περιεχόμενο. Για παράδειγμα: u έγραφαν και γράφανε, u ο οποίος και που, u ανελκυστήρας και ασανσέρ. ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

5 Έλεγχος της συνέπειας στην χρήση της γλώσσας Για ορισμένα είδη γραπτού λόγου, η ύπαρξή πολλών εναλλακτικών εκφράσεων δεν εξυπηρετεί διότι:  Δημιουργεί αίσθημα ανασφάλειας κατά την συγγραφή κειμένων: πρέπει να γίνεται επιλογή μεταξύ δύο ή περισσότερων ισοδύναμων εκφράσεων, συχνά χωρίς κάποιο συγκεκριμένο κριτήριο  Δυσκολεύει την επεξεργασία των κειμένων με εργαλεία γλωσσικής τεχνολογίας: αυτόματη ορθογραφική διόρθωση, μηχανική μετάφραση, αυτόματος εντοπισμός όρων, αυτόματη εξαγωγή πληροφορίας κ.ά. ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

6 Συνεπής χρήση της γλώσσας στα κείμενα της Δημόσιας Διοίκησης Τα κείμενα της Δημόσιας Διοίκησης θα πρέπει να αποφεύγουν την ποικιλία στην χρήση των γλωσσικών εκφράσεων διότι: n Μαρτυρεί την ύπαρξη ενός έντονα υποκειμενικού στοιχείου γραφής το οποίο  δεν συνάδει με τον δημόσιο χαρακτήρα των εγγράφων  κάνει το κείμενο ασαφές και δυσανάγνωστο  άτυπα, επιτρέπει ερμηνείες οι οποίες αφορούν ιδεολογικές επιλογές ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

7 Συνεπής χρήση της γλώσσας στα κείμενα της Δημόσιας Διοίκησης n Περιπλέκει την ηλεκτρονική επεξεργασία των κειμένων δημιουργώντας σημαντικά προβλήματα στην τεχνική υλοποίηση του οράματος της ηλεκτρονικής διακυβέρνησης (e-government) n Μειώνει την απόκριση των μηχανών αναζήτησης του Διαδικτύου δυσχεραίνοντας την ανεύρεση κειμένων με λέξεις-κλειδιά ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

8 Η γλωσσική συνέπεια σε κείμενα της Δημόσιας Διοίκησης n Συνέπεια στην απόδοση ακρωνύμων ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

9 Η γλωσσική συνέπεια σε κείμενα της Δημόσιας Διοίκησης n Ορθογραφική συνέπεια ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

10 Δείκτες γλωσσικής «ποιότητας» Οι δείκτες γλωσσικής «ποιότητας» χαρακτηρίζουν ποσοτικά:  Την συνέπεια στην χρήση της γλώσσας  Την αναγνωσιμότητα ενός κειμένου Υπολογίζονται αυτόματα. ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

11 Δείκτες γλωσσικής «ποιότητας» n Συνέπεια στην χρήση της γλώσσας:  Πόσες ασυνέπειες έγιναν στην χρήση της γλώσσας  Ποιές ακριβώς είναι αυτές οι ασυνέπειες και πώς κατανέμονται  Πόσο αποκλίνει το κείμενο από τα επιθυμητά πρότυπα n Επαναληψιμότητα:  Υπολογίζονται οι επαναλήψεις λέξεων, φράσεων ή τύπων φράσεων σε ένα κείμενο, π.χ. αν χρησιμοποιούνται πολλά επίθετα στην σειρά  Πόσο αποκλίνει το κείμενο από τα επιθυμητά πρότυπα. ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

12 Δείκτες αναγνωσιμότητας Υπολογίζουν το πόσο εύκολα διαβάζεται και γίνεται κατανοητό ένα κείμενο

13 Χρήση των δεικτών σε κείμενα της Δημόσιας Διοίκησης ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

14 Ευρετηριασμός κειμένων με κριτήριο τη γλωσσική τους φυσιογνωμία Πολύ μεγάλες και συνεχώς εμπλουτιζόμενες βάσεις κειμένων: ενδείκνυται ο αυτόματος ευρετηριασμός των κειμένων με κριτήριο την ομοιότητά τους με κείμενα- υποδείγματα. n Ορίζονται ομάδες «παρομοίων» κειμένων n Γίνεται δυνατή η ανεύρεση κειμένων με κριτήριο την ομοιότητά τους προς δοθέν πρότυπο κείμενο ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

15 Παράδειγμα 1 (1) ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING Σε σώματα κειμένων (68 κείμενα με συνολικά 1.235.000 λέξεις) Ταξινόμηση κειμένων ως προς το είδος του λόγου (λογοτεχνία, πολιτικός λόγος, δοκιμιακός λόγος) Ακρίβεια ταξινόμησης: ξεπερνά το 95%

16 Παραδειγμα χρήσης ρημάτων/επιθέτων ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

17 Παράδειγμα χρήσης καταλήξεων ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING

18 ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING Παράδειγμα (2) Σε μεγάλο σώμα κειμένων με 1005 κείμενα και συνολικό μέγεθος 1.291.000 λέξεις Ταξινόμηση κειμένων ως προς το συγγραφέα Ακρίβεια ταξινόμησης: ξεπερνά το 90%

19 Μέση πρόταση ανά συγγραφέα ΙΝΣΤΙΤΟΥΤΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΤΟΥ ΛΟΓΟΥ INSTITUTE FOR LANGUAGE & SPEECH PROCESSING