Ελένη Γαλιώτου Τμήμα Πληροφορικής, ΤΕΙ Αθήνας Πρόσβαση στο περιεχόμενο ιστορικών εγγράφων με χρήση εργαλείων Γλωσσικής Τεχνολογίας Ελένη Γαλιώτου Τμήμα Πληροφορικής, ΤΕΙ Αθήνας Ημερίδα CLARIN-EL 1-10-2010

Η βιβλιοθήκη της Ι.Μ. Ευαγγελισμού της Θεοτόκου Σκιάθου –Ψηφιοποίηση Η βιβλιοθήκη της Ι.Μ. Ευαγγελισμού της Θεοτόκου Σκιάθου –Ψηφιοποίηση Το ερευνητικό έργο «ΠΟΛΥΤΙΜΟ» Πρόσβαση στο περιεχόμενο των ιστορικών βιβλίων και χειρογράφων Μορφολογικός επεξεργαστής για την «πρώιμη» Νέα Ελληνική Γλώσσα Πρόσβαση στο σημασιολογικό περιεχόμενο Συμπεράσματα Ημερίδα CLARIN-EL 1-10-2010

Ι.Μ. Ευαγγελισμού Σκιάθου - Βιβλιοθήκη Ι.Μ. Ευαγγελισμού Σκιάθου - Βιβλιοθήκη 1794 : Ίδρυση της Μονής από ομάδα μοναχών του κινήματος των «Κολλυβάδων». Πρώτος ηγούμενος: Οσιος Νήφων Βιβλιοθήκη Βιβλία διαφόρων λογίων μοναχών Εντυπα βιβλία (16ου – 19ου αιω.) Χειρόγραφα ( 11ου – 19ου αιω.) Εργα: Πατριάρχου Φωτίου, Νικοδήμου του Αγιορείτου, Αθανασίου του Παρίου, κ.α. Ομήρου, Θουκυδίδη Γραμματικής, Μαθηματικών, Γεωγραφίας κ.α. Ημερίδα CLARIN-EL 1-10-2010

Ψηφιοποίηση της βιβλιοθήκης 30ος Ηγούμενος της Μονής : Αρχιμ. Αγγελος Λύσσαρης Ευθύνη του Τμήματος Πληροφορικής του ΤΕΙ Αθήνας Στόχος: διευκόλυνση της πρόσβασης στα βιβλία και χειρόγραφα διαφύλαξη των βιβλίων και των χειρογράφων αυτά από τη συχνή χρήση ~ 250.000 σελίδες Ορισμένα βιβλία δίγλωσσα: Ελληνικά – Λατινικά Εχουν εκδοθεί τα 3 πρώτα DVD (59 βιβλία) Ημερίδα CLARIN-EL 1-10-2010

«ΠΟΛΥΤΙΜΟ» Σύστημα επεξεργασίας, διαχείρισης και παροχής πρόσβασης στο περιεχόμενο πολύτιμων βιβλίων και χειρογράφων (ΓΓΕΤ: Επιχειρησιακό Πρόγραμμα «Κοινωνία της Πληροφορίας»). Συμετέχοντες φορείς: BSI A.E. Εργαστήριο Υπολογιστικής Ευφυΐας ΕΚΕΦΕ «Δ» Τμήμα Πληροφορικής ΤΕΙ Αθήνας Συνεργάτιδες: Αγγελική Ράλλη, Καθ. Γλωσσολογίας, Τμήμα Φιλολογίας Παν. Πατρών, Διευθύντρια Εργαστηρίου Νεοελληνικών Διαλέκτων Ιωάννα Μανωλέσσου, Ερευνήτρια Β’, Ακαδημία Αθηνών Ημερίδα CLARIN-EL 1-10-2010

Σώμα κειμένων 110 εικόνες που αντιστοιχούν σε σελίδες έντυπων βιβλίων (17ου -18ου αιω.) Xρύσανθος (Νοταράς) Ιστορία και Περιγραφή της Αγίας Γης και Αγίας Πόλεως Ιερουσαλήμ, (1728) 2. Ηλίας Μηνιάτης, Διδαχαί (1644) 3. Μάξιμος (Μαργούνιος) Bίοι Αγίων (1685) 4. Mελέτιος, Γεωγραφία (1728) 5. Μελέτιος, Εκκλησιαστική Ιστορία, 1 τ. (1783) 6. Eυστράτιος Αργέντης, Σύνταγμα κατά Αζύμων (1760) 7. Ιωάσαφ Κορνήλιος, Λόγοι Ηθικοί, 1 τ. (1788) Ημερίδα CLARIN-EL 1-10-2010

Κριτήρια επιλογής κειμένων Γλώσσα η οποία να πλησιάζει την καθομιλουμένη/δημώδη της εποχής (άρα να προσφέρεται για γλωσσολογική ανάλυση) 2. Ομοειδής θεματική ώστε να μπορούν να χρησιμοποιηθούν οι ίδιες/παρόμοιες λέξεις – κλειδιά ως όροι αναζήτησης 3. Επαρκής αλλά όχι υπερβολικά μεγάλη έκταση κειμένου. Ημερίδα CLARIN-EL 1-10-2010

Κριτήρια επιλογής λέξεων-κλειδιών Αποκλεισμός ιδιαίτερα πλούσιων και πολύτυπων μορφολογικών παραδειγμάτων (κυρίως ρημάτων) Συχνότητα εμφάνισης ανά κείμενο, εποχή και κειμενικό είδος Βαρύτητα λέξεων από φιλολογικής-ιστορικής- θεολογικής απόψεως Ενδιαφέρον από γλωσσολογικής απόψεως, έμφαση σε γραμματικά και ονοματικά στοιχεία τα οποία εμφανίζουν εξέλιξη/μεταβολή κατά τις υπό εξέταση περιόδους και μπορούν να αποτελέσουν αναγνωριστικές ενδείξεις για τον χαρακτηρισμό ενός κειμένου ως δημώδους. Ημερίδα CLARIN-EL 1-10-2010

Πλαίσιο Εντοπισμός λέξεων απευθείας στο περιεχόμενο των ψηφιοποιημένων εγγράφων παρακάμπτοντας συμβατικές μεθόδους οπτικής αναγνώρισης χαρακτήρων που αποδεικνύονται αναποτελεσματικές στην περίπτωση των ιστορικών εγγράφων της Μονής. (Εργαστήριο Υπολογιστικής Ευφυΐας ΕΚΕΦΕ «Δ») Χρήση προηγμένων τεχνικών επεξεργασίας φυσικής γλώσσας για την πραγματοποίηση «έξυπνων» αναζητήσεων κατά τη διάρκεια της διαδικασίας εντοπισμού των λέξεων Ημερίδα CLARIN-EL 1-10-2010

Τεχνικές Επεξεργασίας Φυσικής Γλώσσας Επέκταση, εμπλουτισμός των όρων αναζήτησης 1. Γεννήτρια λέξεων Για τον εντοπισμό όλων των κλιτών μορφών μιας λέξης στο κείμενο 2. Λεξικό συνωνύμων Πρόσβαση στο σημασιολογικό περιεχόμενο των εγγράφων Εμπλουτισμό των αποτελεσμάτων της αναζήτησης. Ημερίδα CLARIN-EL 1-10-2010

Μορφολογική Γεννήτρια Αποτελεσματική αναζήτηση στα έγγραφα: Λαμβάνονται υπ’όψιν όλες οι πιθανές κλιτές μορφές μιας λέξης χωρίς ρητή διατύπωση από τον χρήστη. Χρήση συστήματος μορφολογικής γένεσης βασισμένο σε γλωσσολογική ανάλυση εάν οι όροι προέρχονται από μία γλώσσα με πλούσια μορφολογία (π.χ. Ελληνικά) Αναζήτηση σε ιστορικά έγγραφα Σημαντικές διαφορές ανάμεσα στη γλώσσα του κειμένου και σύγχρονη μορφή της γλώσσας (ορθογραφία, μορφολογική αλλαγή κ.α.) Ημερίδα CLARIN-EL 1-10-2010

Μορφολογική Γεννήτρια (συν.) Μορφολογία της Πρώιμης Νέας Ελληνικής Δεν έχει γίνει συστηματική ανάλυση –ακόμη. Στοιχεία από την Αρχαία, Μεσαιωνική και Νέα Ελληνική Ονοματική κλίση Εμφαση στην επεκτασιμότητα του συστήματος Εύκολος εμπλουτισμός με καινούργιες λέξεις με απλή αντιστοίχιση με τις λέξεις που είναι αντιπροσωπευτικές των κλιτικών τάξεων. Εύκολη επέκταση του συστήματος και σε άλλα μορφολογικά φαινόμενα που μπορεί να αναλυθούν στο μέλλον. Ημερίδα CLARIN-EL 1-10-2010

Μορφολογική Γεννήτρια (συν.) Ανάπτυξη λογισμικού μορφολογικής επεξεργασίας Ενσωματώνει τα εργαλεία SFST: SFST : Αναπτύχθηκε στο Ινστιτούτο Επεξεργασίας Φυσικής Γλώσσας του Παν. Στουτγάρδης . Ενσωματώνει ένα μεταγλωττιστή που μεταφράζει κανονικές εκφράσεις σε μετατροπείς πεπερασμένων καταστάσεων που αναπαριστούν τη σχέση μεταξύ επιφανειακών μορφών γλώσσας με τις αντίστοιχες μορφές λεξικού. Κατά τη διάρκεια της γένεσης ο χρήστης μπορεί να: εισάγει μία νέα λέξη-κλειδί αναθέσει την κατάλληλη κλιτική τάξη επιλέγοντας τον εκπρόσωπο της τάξης αυτής Development of a software tool for the creation, manipulation and application of computational morphologies embedding the SFST tools - a collection of software tools for the generation, manipulation and processing of finite-state transducers which are specified by means of the SFST programming language. SFST system developed by the Institute for Natural Language Processing, University of Stuttgart. comprises a compiler, which translates finite state transducer programs (regular expressions) into minimized transducers and a wide range of transducer operations. During the generation process users are able to: (i) insert a new keyword, (ii) assign the appropriate inflectional class through the selection of the appropriate class representative . (iii) perform a generation of all inflected word-forms according to the function of the selected representative of the inflectional class . Ημερίδα CLARIN-EL 1-10-2010

Παράδειγμα μορφολογικής γεννήτριας Ημερίδα CLARIN-EL 1-10-2010

Πρόσβαση στο σημασιολογικό περιεχόμενο Στόχος : Διευκόλυνση της πρόσβασης στο σημασιολογικό περιεχόμενο των εγγράφων και εμπλουτισμός των αποτελεσμάτων τη αναζήτησης. Οι όροι εξάγονται συνήθως από: Σημασιολογικά δίκτυα όπως το WordNet Δίκτυα βασισμένα στις συν-εμφανίσεις Υβριδική προσέγγιση Αποκλειστική χρήση σημασιολογικών δικτύων Σημαντική βελτίωση στην απόδοση Οι όροι στα ιστορικά έγγραφα της συλλογής προέρχονται κυρίως από θρησκευτικό λεξιλόγιο. Ημερίδα CLARIN-EL 1-10-2010

Πρόσβαση στο σημασιολογικό περιεχόμενο (συν.) Σχέση συνωνυμίας προσαρμοσμένη σε ένα συγκεκριμένο θεματικό πεδίο (Turcato et al.) Λειτουργικότητα αντίστοιχη με ένα σημασιολογικό δίκτυο Αποφεύγονται ασάφειες που ίσως επηρεάζουν την ακρίβεια και την αποδοτικότητα του συστήματος. Ο χρήστης έχει τη δυνατότητα να: προσθέσει, διορθώσει, διαγράψει μία λέξη με έως 5 συνώνυμα. Κάθε συνώνυμο έχει μία σταθμισμένη τιμή συνάφειας με τη λέξη. Οι τιμές κυμαίνονται από 1 έως το 10 ( μεγαλύτερη συνάφεια ~ σταθμισμένη τιμή 1). αναζητήσει λέξεων και συνωνύμων. εξάγει όλες τις κλιτές μορφές μίας λέξης καθώς και τα σταθμισμένα συνώνυμα (με χρήση της κατάλληλης γραφικής διεπαφής χρήστη). Ημερίδα CLARIN-EL 1-10-2010

Παράδειγμα: Εξαγωγή κλιτών μορφών και σταθμισμένων συνωνύμων Ημερίδα CLARIN-EL 1-10-2010

Παράδειγμα : Χρήση των κλιτών μορφών και συνωνύμων στη διαδικασία εντοπισμού λέξεων Ημερίδα CLARIN-EL 1-10-2010

Συμπέρασμα Η χρήση εργαλείων Γλωσσικής Τεχνολογίας οδήγησε σε σημαντική βελτίωση των αποτελεσμάτων αναζήτησης. Ημερίδα CLARIN-EL 1-10-2010