ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΑΡΧΕΙΟΝΟΜΙΑΣ & ΒΙΒΛΙΟΘΗΚΟΝΟΜΙΑΣ ΠΜΣ: «ΕΠΙΣΤΗΜΗ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ» ΜΑΘΗΜΑ: ΗΛΕΚΤΡΟΝΙΚΗ ΔΗΜΟΣΙΕΥΣΗ ΕΡΓΑΣΙΑ: MULTI-DOCUMENT SUMMARIZATIONS ΔΙΔΑΣΚΩΝ: ΚΑΠΙΔΑΚΗΣ ΣΑΡΑΝΤΟΣ ΦΟΙΤΗΤΗΣ: ΠΕΤΡΙΔΗΣ ΚΩΝΣΤΑΝΤΙΝΟΣ

ΠΕΡΙΛΗΨΗ-ΟΡΙΣΜΟΣ Το κείμενο που παράγεται από ένα ή περισσότερα άλλα κείμενα, μεταφέρει σημαντικό κομμάτι της πληροφορίας που υπάρχει στο/στα αρχικό/α κείμενο/α και συνήθως είναι αρκετά μικρότερο σε έκταση από το μισό του αρχικού κειμένου.

ΠΕΡΙΛΗΨΗ-ΟΡΙΣΜΟΣ Κείμενο:  Κλασσικό κείμενο βιβλίου  Καταγεγραμμένη ομιλία  Multimedia τεκμήριο  Υπερκείμενο

ΒΑΣΙΚΟΣ ΣΤΟΧΟΣ Παρουσίαση κύριων ιδεών του τεκμηρίου σε λιγότερο χώρο απ’ ότι στο τεκμήριο, δίνοντας μια συνοπτική, αλλά μεστή περιγραφή αυτού. Επιτυγχάνεται, λόγω διαφορετικής ποσότητας πληροφορίας που περιέχουν οι προτάσεις του κειμένου.

MULTI-DOCUMENT SUMMARIZATION Δημιουργία περίληψης για ομάδα τεκμηρίων Κύριες κατηγορίες:  Generic multi-document summarization  Topic-focused multi-document summarization

MULTI-DOCUMENT SUMMARIZATION Generic multi-document summarization Επιδιώκει να παρουσιάσει γενικά τη συνολική πληροφορία της ομάδας τεκμηρίων, διευκολύνοντας τον χρήστη στην κατανόηση του περιεχομένου της ομάδας. Topic-focused multi-document summarization Επιδιώκει να προσαρμόσει κατάλληλα την περίληψη, ώστε να απαντά σε κάποια πληροφοριακή ανάγκη που έχει εκφράσει κάποιος χρήστης. Είναι χρήσιμη για εξατομικευμένες υπηρεσίες.

MULTI-DOCUMENT SUMMARIZATION Μια άλλη κατηγοριοποίηση:  Abstractive summarization  Extractive summarization

MULTI-DOCUMENT SUMMARIZATION Abstractive summarization Περίληψη σε μορφή σύνοψης/επιτομής Χρειάζεται: Συγχώνευση πληροφορίας Συμπύκνωση προτάσεων Γενική αναμόρφωση του τελικού κειμένου Extractive summarization Περίληψη σε μορφή αποσπάσματος Χρησιμοποίηση προτάσεων των αρχικών τεκμηρίων. Βασίζεται στην κατάλληλη επιλογή των προτάσεων, ανάλογα με την ποσότητα της πληροφορίας που αυτές έχουν.

MULTI-DOCUMENT SUMMARIZATION ΠΡΟΚΛΗΣΕΙΣ  Ύπαρξη αρκετής πληροφορίας άσχετης με το κύριο θέμα.  Αλληλοεπικάλυψη πληροφοριών σε διαφορετικά τεκμήρια της ομάδας.  (Για Topic-focused) Ανάγκη για παρουσίαση σημαντικής πληροφορίας, ανάλογα με την πληροφοριακή ανάγκη του χρήστη.

ΑΛΓΟΡΙΘΜΟΙ ΥΛΟΠΟΙΗΣΗΣ ΠΕΡΙΛΗΨΕΩΝ Supervised Αλγόριθμοι που εκπαιδεύονται πάνω σε συλλογές από περιλήψεις, οι οποίες έχουν δημιουργηθεί για σχετικά μεγάλο αριθμό τεκμηρίων. Μειονέκτημα: Ανάγκη παροχής νέου «εκπαιδευτικού» υλικού, όταν επιχειρηθεί προσαρμογή τους σε άλλους επιστημονικούς τομείς ή άλλες γλώσσες.

ΑΛΓΟΡΙΘΜΟΙ ΥΛΟΠΟΙΗΣΗΣ ΠΕΡΙΛΗΨΕΩΝ Unsupervised Αλγόριθμοι που δεν χρειάζονται επιπλέον δεδομένα όταν επιχειρηθεί η προσαρμογή τους σε άλλους επιστημονικούς τομείς. Χαρακτηριστικό παράδειγμα: Graph-based ranking algorithms

GRAPH-BASED RANKING ALGORITHMS Γράφημα: Σύνολο από σημεία (κορυφές) και από γραμμές ή βέλη (ακμές), μεταξύ των σημείων. Χρησιμοποιείται ευρέως για αναπαράσταση σχέσεων και ιεραρχιών μεταξύ διαφόρων οντοτήτων.

GRAPH-BASED RANKING ALGORITHMS Τα γραφήματα χρησιμοποιούνται στη δημιουργία περιλήψεων για αναπαράσταση σχέσεων μεταξύ προτάσεων μιας ομάδας τεκμηρίων και κατάδειξη επιπέδων σημαντικότητας, όσον αφορά την ποσότητα της πληροφορίας που αυτές μεταφέρουν.

GRAPH-BASED RANKING ALGORITHMS Υλοποίηση της ιδέας του «recommendation»: Η πρόταση του κειμένου που παραπέμπει σε συγκεκριμένες έννοιες δίνει στον αναγνώστη μια σύσταση (recommendation), για να αναφερθεί σε άλλες προτάσεις του κειμένου, που παραπέμπουν στις ίδιες έννοιες. Έτσι, σχεδιάζεται ένας σύνδεσμος (ακμή) ανάμεσα σε δύο τέτοιες προτάσεις (κορυφές) που μοιράζονται παρόμοιο περιεχόμενο. Όσο περισσότερες συνδέσεις έχει μια κορυφή, τόσο σημαντικότερη θεωρείται.

ΕΝΟΠΟΙΗΜΕΝΗ ΠΡΟΣΕΓΓΙΣΗ ΓΙΑ GENERIC KAI TOPIC-FOCUSED MULTI-DOCUMENT SUMMARIZATION ΜΕ ΧΡΗΣΗ AFFINITY GRAPH Βασίζεται σε: Χρήση ασύμμετρων μετρικών ομοιότητας προτάσεων (asymmetric similarity measures), για την καλύτερη μέτρηση της βαρύτητας της ομοιότητας δύο προτάσεων. Ενσωμάτωση στο γράφημα πληροφορίας που σχετίζεται με το συγκεκριμένο θέμα που έχει εκφραστεί από το χρήστη (topic), για την ενιαία δημιουργία generic και topic-focused multi- document περίληψης. Διαφοροποίηση των intra-document και inter-document συνδέσμων ανάμεσα σε προτάσεις. Ενσωμάτωση στην όλη διαδικασία της diversity penalty process, για την απαλοιφή των περιττών στοιχείων από την τελική περίληψη.

ΕΝΟΠΟΙΗΜΕΝΗ ΠΡΟΣΕΓΓΙΣΗ ΓΙΑ GENERIC KAI TOPIC-FOCUSED MULTI-DOCUMENT SUMMARIZATION ΜΕ ΧΡΗΣΗ AFFINITY GRAPH Βήματα υλοποίησης: 1.Δόμηση του affinity graph. Για topic-focused περίληψη οι ακμές του γραφήματος είναι και topic-oriented, δηλαδή δίνουν βαρύτητα και στην πληροφοριακή ανάγκη του χρήστη. 2.Υπολογισμός του information richness για κάθε πρόταση αποδίδοντας σε κάθε πρόταση αντίστοιχη βαθμολογία. 3.Επιβολή του diversity penalty για τελική κατάταξη των προτάσεων.

ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ Διεξήχθησαν πειράματα στα πλαίσια των συνεδρίων DUC ( Document Understanding Conferences) url:

ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ Αποτελέσματα: Εξίσου καλή ή καλύτερη λειτουργία σε σχέση με υφιστάμενα συστήματα. Οι σύνδεσμοι inter-document είναι σημαντικότεροι των intra-document για multi- document summarization.

ΕΠΙΛΟΓΟΣ-ΠΡΟΟΠΤΙΚΕΣ Στις μέχρι τώρα μελέτες, οι λέξεις και οι προτάσεις θεωρούνταν ανεξάρτητες η μία από την άλλη, ως προς τη σημασιολογία τους, και οι όποιες επικαλύψεις αυτές είχαν (overlaps) υπολογίζονταν με καθαρά γραμματικά ή συντακτικά κριτήρια.

ΕΠΙΛΟΓΟΣ-ΠΡΟΟΠΤΙΚΕΣ Μελλοντικός στόχος: Η ενσωμάτωση στο γράφημα των σημασιολογικών (semantic) σχέσεων μεταξύ λέξεων και προτάσεων, καθώς έτσι θα λαμβάνονται υπόψη οι ουσιαστικές σχέσεις των προτάσεων.

ΣΑΣ ΕΥΧΑΡΙΣΤΩ ΕΙΣΑΣΤΕ ΕΝΑ ΥΠΕΡΟΧΟ ΚΟΙΝΟ!!!!!