Εργασία στο μάθημα: Ψηφιακές Βιβλιοθήκες Διδάσκον καθηγητής: Σαράντος Καπιδάκης Αθήνα 2008 ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΑΡΧΕΙΟΝΟΜΙΑΣ-ΒΙΒΛΙΟΘΗΚΟΝΟΜΙΑΣ ΠΜΣ ΣΤΗΝ ΕΠΙΣΤΗΜΗ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ: ΔΙΟΙΚΗΣΗ ΚΑΙ ΟΡΓΑΝΩΣΗ ΒΙΒΛΙΟΘΗΚΩΝ ΜΕ ΕΜΦΑΣΗ ΣΤΙΣ ΝΕΕΣ ΤΕΧΝΟΛΟΓΙΕΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Αξιολόγηση Ψηφιακών Βιβλιοθηκών υπό Σοφία Καρδαμύλα

Επισκόπηση Θεμάτων Ψηφιακές Βιβλιοθήκες Αξιολόγηση Ολική προσέγγιση αξιολόγησης Ψηφιακών Βιβλιοθηκών Πρακτική Εφαρμογή Αποτελέσματα Συμπεράσματα Προβληματισμοί Ψηφιακές Βιβλιοθήκες Αξιολόγηση Ολική προσέγγιση αξιολόγησης Ψηφιακών Βιβλιοθηκών Πρακτική Εφαρμογή Αποτελέσματα Συμπεράσματα Προβληματισμοί

Ψηφιακές βιβλιοθήκες Νέα πραγματικότητα διαφοροποίηση μορφής βιβλιοθηκών & υπηρεσιών πληροφόρησης 90’ Ψηφιακές Βιβλιοθήκες Οτιδήποτε έχει να κάνει με Ψ.Β. έχει εκρηκτικούς ρυθμούς προόδου εκτός της ΑΞΙΟΛΟΓΗΣΗΣ Νέα πραγματικότητα διαφοροποίηση μορφής βιβλιοθηκών & υπηρεσιών πληροφόρησης 90’ Ψηφιακές Βιβλιοθήκες Οτιδήποτε έχει να κάνει με Ψ.Β. έχει εκρηκτικούς ρυθμούς προόδου εκτός της ΑΞΙΟΛΟΓΗΣΗΣ

Τι είναι Αξιολόγηση? Η αξιολόγηση ενός συστήματος είναι ένας γενικός όρος που περιλαμβάνει απόψεις απόδοσης, μετρήσεων και εκτιμήσεων των ανθρώπων που χρησιμοποιούν το σύστημα. Η αξιολόγηση ενός συστήματος είναι ένας γενικός όρος που περιλαμβάνει απόψεις απόδοσης, μετρήσεων και εκτιμήσεων των ανθρώπων που χρησιμοποιούν το σύστημα.

Γιατί Αξιολόγηση; «If you can’t measure something.. You can’t understand it. If you can’t understand it.. You can’t control it. If you can’t control it.. You can’t IMPROVE it» Harrington, 1987 «If you can’t measure something.. You can’t understand it. If you can’t understand it.. You can’t control it. If you can’t control it.. You can’t IMPROVE it» Harrington, 1987

Τύποι Αξιολόγησης Παραγωγική αξιολόγηση (formative) : ορίζει προτεραιότητες σε τρέχοντα ζητήματα, θέτει αρχικούς στόχους και ουσιαστικά προκαθορίζει τα επιθυμητά αποτελέσματα. Αθροιστική αξιολόγηση ( summative ) : εντοπίζει αν επιτεύχθηκαν ή όχι οι στόχοι στο τέλος της διαδικασίας. Επαναληπτική αξιολόγηση ( iterative ) : θέτει αρχικά μετρήσιμους στόχους, ενώ παράλληλα δίνει την δυνατότητα αναθεώρησης και επαναπροσδιορισμού τους μέσα από την αναπτυξιακή διαδικασία. Συγκριτική αξιολόγηση ( comparative ) : το αποτέλεσμα προκύπτει μέσα από συγκρίσεις συστημάτων, μετρήσεις και διασταύρωση των αποτελεσμάτων τους (γίνεται σύγκριση διαφορετικών λειτουργιών και αλγορίθμων) Παραγωγική αξιολόγηση (formative) : ορίζει προτεραιότητες σε τρέχοντα ζητήματα, θέτει αρχικούς στόχους και ουσιαστικά προκαθορίζει τα επιθυμητά αποτελέσματα. Αθροιστική αξιολόγηση ( summative ) : εντοπίζει αν επιτεύχθηκαν ή όχι οι στόχοι στο τέλος της διαδικασίας. Επαναληπτική αξιολόγηση ( iterative ) : θέτει αρχικά μετρήσιμους στόχους, ενώ παράλληλα δίνει την δυνατότητα αναθεώρησης και επαναπροσδιορισμού τους μέσα από την αναπτυξιακή διαδικασία. Συγκριτική αξιολόγηση ( comparative ) : το αποτέλεσμα προκύπτει μέσα από συγκρίσεις συστημάτων, μετρήσεις και διασταύρωση των αποτελεσμάτων τους (γίνεται σύγκριση διαφορετικών λειτουργιών και αλγορίθμων)

Κοινότητες Ψηφιακών Βιβλιοθηκών 1/2 Ποικίλες ερευνητικές ειδικότητες Ψηφιακές Βιβλιοθήκες Διαφορετική οπτική γωνία Για την Αξιολόγηση μίας Ψηφιακής Βιβλιοθήκης απαραίτητη προϋπόθεση είναι αρχικά ο καθορισμός των κοινοτήτων με τις οποίες σχετίζεται. Αναγνωρίζονται δύο κοινότητες : ερευνητική & παραδοσιακή Ποικίλες ερευνητικές ειδικότητες Ψηφιακές Βιβλιοθήκες Διαφορετική οπτική γωνία Για την Αξιολόγηση μίας Ψηφιακής Βιβλιοθήκης απαραίτητη προϋπόθεση είναι αρχικά ο καθορισμός των κοινοτήτων με τις οποίες σχετίζεται. Αναγνωρίζονται δύο κοινότητες : ερευνητική & παραδοσιακή

Κοινότητες Ψηφιακών Βιβλιοθηκών 2/2 Η ερευνητική κοινότητα στρέφεται προς το περιεχόμενο των πληροφοριών που συλλέγεται και οργανώνεται προκειμένου να εκπληρωθούν οι ανάγκες των επιλεγμένων ομάδων χρηστών. Η παραδοσιακή κοινότητα των βιβλιοθηκών θεωρεί τις ψηφιακές βιβλιοθήκες ως θεσμούς ή οργανισμούς που προσφέρουν υπηρεσίες πληροφόρησης σε ψηφιακή μορφή και ενδιαφέρονται για το πώς οι υπάρχουσες δομές μπορούν να προσαρμοστούν στη νέα τεχνολογία και τις νέες προκλήσεις. Η ερευνητική κοινότητα στρέφεται προς το περιεχόμενο των πληροφοριών που συλλέγεται και οργανώνεται προκειμένου να εκπληρωθούν οι ανάγκες των επιλεγμένων ομάδων χρηστών. Η παραδοσιακή κοινότητα των βιβλιοθηκών θεωρεί τις ψηφιακές βιβλιοθήκες ως θεσμούς ή οργανισμούς που προσφέρουν υπηρεσίες πληροφόρησης σε ψηφιακή μορφή και ενδιαφέρονται για το πώς οι υπάρχουσες δομές μπορούν να προσαρμοστούν στη νέα τεχνολογία και τις νέες προκλήσεις.

Σημαντικά Ζητήματα προς Αξιολόγηση  Δομή  Τι αξιολογήθηκε; Ποιά η σημασία της ψηφιακής βιβλιοθήκης; Ποια στοιχεία (συστατικά..) συμπεριλήφθηκαν στην αξιολόγηση;  Πλαίσιο, επιλογή στόχου, συστήματος  Ποιά ήταν η βασική προσέγγιση ή προοπτική; Ποιο ήταν το επίπεδο αξιολόγησης;  Κριτήρια που απεικονίζουν την απόδοση σε σχέση με τους επιλεγμένους στόχους  Ποιες παράμετροι της απόδοσης ερευνήθηκαν;  Μεθοδολογία  Τι είδους μετρήσεις και όργανα μετρήσεων χρησιμοποιήθηκαν; Ποια δείγματα; Ποιες διαδικασίες χρησιμοποιήθηκαν για τη συλλογή και ανάλυση των δεδομένων;  Δομή  Τι αξιολογήθηκε; Ποιά η σημασία της ψηφιακής βιβλιοθήκης; Ποια στοιχεία (συστατικά..) συμπεριλήφθηκαν στην αξιολόγηση;  Πλαίσιο, επιλογή στόχου, συστήματος  Ποιά ήταν η βασική προσέγγιση ή προοπτική; Ποιο ήταν το επίπεδο αξιολόγησης;  Κριτήρια που απεικονίζουν την απόδοση σε σχέση με τους επιλεγμένους στόχους  Ποιες παράμετροι της απόδοσης ερευνήθηκαν;  Μεθοδολογία  Τι είδους μετρήσεις και όργανα μετρήσεων χρησιμοποιήθηκαν; Ποια δείγματα; Ποιες διαδικασίες χρησιμοποιήθηκαν για τη συλλογή και ανάλυση των δεδομένων;

Προσπάθειες Αξιολόγησης  US DLI test suite: 6 τεστ αξιολόγησης με ιδιαίτερη έμφαση στην αξιολόγηση της τεχνολογίας και στον παράγοντα χρήστη. (Digital Library Initiative)  Σχετική ήταν και η προσπάθεια της Ομάδας Εργασίας D-Lib Working Group on Digital Library Metrics2 το 1998, η οποία εξέτασε διάφορες πτυχές σχετικά με την αξιολόγηση των ψηφιακών βιβλιοθηκών. Δυστυχώς, αυτή η προσπάθεια δεν συνεχίστηκε.  Digital Library Evaluation Forum του DELOS Network of Excellence4. Στοχεύει στην παροχή υποδομής πάνω σε διαδικασίες αξιολόγησης.  US DLI test suite: 6 τεστ αξιολόγησης με ιδιαίτερη έμφαση στην αξιολόγηση της τεχνολογίας και στον παράγοντα χρήστη. (Digital Library Initiative)  Σχετική ήταν και η προσπάθεια της Ομάδας Εργασίας D-Lib Working Group on Digital Library Metrics2 το 1998, η οποία εξέτασε διάφορες πτυχές σχετικά με την αξιολόγηση των ψηφιακών βιβλιοθηκών. Δυστυχώς, αυτή η προσπάθεια δεν συνεχίστηκε.  Digital Library Evaluation Forum του DELOS Network of Excellence4. Στοχεύει στην παροχή υποδομής πάνω σε διαδικασίες αξιολόγησης.

Ολική Προσέγγιση Αξιολόγησης Ψηφιακών Βιβλιοθηκών Μία ψηφιακή βιβλιοθήκη είναι ένα ιδιαίτερο είδος πληροφοριακού συστήματος και αποτελείται από ένα σύνολο συστατικών, τα οποία πρέπει να εξεταστούν ολικά κατά την διαδικασία αξιολόγησης. Αυτά είναι:  Δεδομένα/Συλλογή  Υπολογιστικό σύστημα/τεχνολογία  Χρήστες  Περιβάλλον χρήσης Μία ψηφιακή βιβλιοθήκη είναι ένα ιδιαίτερο είδος πληροφοριακού συστήματος και αποτελείται από ένα σύνολο συστατικών, τα οποία πρέπει να εξεταστούν ολικά κατά την διαδικασία αξιολόγησης. Αυτά είναι:  Δεδομένα/Συλλογή  Υπολογιστικό σύστημα/τεχνολογία  Χρήστες  Περιβάλλον χρήσης Συνιστώσες

Αξιολόγηση

Κριτήρια Αξιολόγησης Δ ΕΝ ΥΠΑΡΧΕΙ ΑΞΙΟΛΟΓΗΣΗ ΧΩΡΙΣ ΚΡΙΤΗΡΙΑ Δεκαετία ’50 IR σχετικότητα DLκαμία προτυποποίηση Έρευνα: Προσδιορίζουμε τα κριτήρια αξιολόγησης για κάθε μία από τις συνιστώσες των DL. Δ ΕΝ ΥΠΑΡΧΕΙ ΑΞΙΟΛΟΓΗΣΗ ΧΩΡΙΣ ΚΡΙΤΗΡΙΑ Δεκαετία ’50 IR σχετικότητα DLκαμία προτυποποίηση Έρευνα: Προσδιορίζουμε τα κριτήρια αξιολόγησης για κάθε μία από τις συνιστώσες των DL.

Κριτήρια Αξιολόγησης Χρήστες & Χρήση 1/2 1. Ποιοι είναι οι χρήστες; Εσωτερικοί, εξωτερικοί, ερευνητές… Αριθμητικά κατά τύπο χρηστών & διανομή τους μεταξύ κατηγοριών. 2. Ποια είναι τα θεματικά πεδία ενδιαφέροντος του χρήστη; Διανομή των θεματικών περιοχών 1. Ποιοι είναι οι χρήστες; Εσωτερικοί, εξωτερικοί, ερευνητές… Αριθμητικά κατά τύπο χρηστών & διανομή τους μεταξύ κατηγοριών. 2. Ποια είναι τα θεματικά πεδία ενδιαφέροντος του χρήστη; Διανομή των θεματικών περιοχών

Κριτήρια Αξιολόγησης Χρήστες & Χρήσεις 2/2 3. Πως γίνεται η αναζήτηση και η ανάκτηση πληροφοριών; Δομημένη αναζήτηση (μηχανές αναζήτησης) Αδόμητη αναζήτηση (πλοήγηση στον κατάλογο) Διανομή των χρηστών μέσω των διαφορετικών προσεγγίσεων 4. Ποιοί είναι οι σκοποί της αναζήτησης πληροφοριών; Κατανάλωση από ευχαρίστηση/ενδιαφέρον ανάλυση για εκπαιδευτικούς λόγους σύνθεση εργασιών μέσω αναφορών Διανομή των χρήσεων μεταξύ των κατηγοριών 3. Πως γίνεται η αναζήτηση και η ανάκτηση πληροφοριών; Δομημένη αναζήτηση (μηχανές αναζήτησης) Αδόμητη αναζήτηση (πλοήγηση στον κατάλογο) Διανομή των χρηστών μέσω των διαφορετικών προσεγγίσεων 4. Ποιοί είναι οι σκοποί της αναζήτησης πληροφοριών; Κατανάλωση από ευχαρίστηση/ενδιαφέρον ανάλυση για εκπαιδευτικούς λόγους σύνθεση εργασιών μέσω αναφορών Διανομή των χρήσεων μεταξύ των κατηγοριών

Κριτήρια Αξιολόγησης Δεδομένα/Συλλογή 1/1 1.Περιγραφή περιεχομένου Θεματική συλλογή, συλλογή βασισμένη σε τύπους πολυμέσων.. Σχήματα μεταδεδομένων 2.Προσδιοριστές ποιότητας περιεχομένου Λευκή ή γκρίζα βιβλιογραφία 3.Προσδιοριστές διαχείρισης και δυνατότητα πρόσβασης στην πληροφορία Διαχείριση χρηστών Ασφάλεια & έλεγχος πρόσβασης

Κριτήρια Αξιολόγησης Τεχνολογία 1/2 1.Τεχνολογία του χρήστη (δυνατότητες που προσφέρει ένα σύστημα ΨΒ στον χρήστη) μέσω της διεπαφής Αναζήτηση Δημιουργία εγγράφων Κοινοποίηση νέου υλικού του ενδιαφέροντός του Εκτύπωση 2.Πρόσβαση στην πληροφορία Ανάκτηση πληροφοριών Πλοήγηση (διασυνδέσεις σε κείμενα/ μεταδεδομένα )

Κριτήρια Αξιολόγησης Τεχνολογία 2/2 1.Τεχνολογία δομημένων συστημάτων Αρχιτεκτονική αποθετηρίων / συστημάτων Πρωτόκολλα επικοινωνίας συστήματος και διεπαφής χρήστη 2.Τεχνολογία κειμένων & παρουσίασης υλικού Δομή κειμένων Απεικόνιση κειμένων

Λεπτομέρειες Έρευνας/Μεθοδολογία Η έρευνα διεξήχθη μέσα από την ηλεκτρονική σελίδα του SZTAKI. (MTA SZTAKI-Computer and Automation Research Institute Hungarian Academy of Sciences) Χρήση ερωτηματολογίων για τη συλλογή του συνόλου των πληροφοριών & διανομή αυτών στο κοινό των ΨΒ Η διανομή στους χρήστες έγινε μέσω ηλεκτρονικού ταχυδρομείου ( ) Η έρευνα διεξήχθη μέσα από την ηλεκτρονική σελίδα του SZTAKI. (MTA SZTAKI-Computer and Automation Research Institute Hungarian Academy of Sciences) Χρήση ερωτηματολογίων για τη συλλογή του συνόλου των πληροφοριών & διανομή αυτών στο κοινό των ΨΒ Η διανομή στους χρήστες έγινε μέσω ηλεκτρονικού ταχυδρομείου ( )

Πρώτη Προσπάθεια Αξιολόγησης 1/3 Δημιουργία δύο ερωτηματολογίων: Ερωτηματολόγιο Α : εξετάζει την υπάρχουσα κατάσταση των ΨΒ και των συλλογών που μπορούν να εμπλακούν στην έρευνα. (31 ερωτήσεις) Ερωτηματολόγιο Β : εκφράζει τις μελλοντικές επιθυμίες για τις ΨΒ και τις συλλογές που εμπλέκονται στην έρευνα. (μελλοντικός σχεδιασμός, 21 ερωτήσεις) Δημιουργία δύο ερωτηματολογίων: Ερωτηματολόγιο Α : εξετάζει την υπάρχουσα κατάσταση των ΨΒ και των συλλογών που μπορούν να εμπλακούν στην έρευνα. (31 ερωτήσεις) Ερωτηματολόγιο Β : εκφράζει τις μελλοντικές επιθυμίες για τις ΨΒ και τις συλλογές που εμπλέκονται στην έρευνα. (μελλοντικός σχεδιασμός, 21 ερωτήσεις)

Πρώτη Προσπάθεια Αξιολόγησης 2/3 Ερωτήσεις  Αντιστοίχηση ερωτήσεων σε κάθε μία από τις 3 κύριες κατηγορίες του σχεδίου ταξινόμησης των ΨΒ (Χρήστες/Χρήσεις, Δεδομένα/Συλλογή, Τεχνολογία).  Αλλαγή διατύπωσης ερωτηματολογίων, για να απεικονιστεί ο διαφορετικός στόχος (υπαρκτό, επιθυμητό).  Προσθήκη επιπρόσθετων ερωτήσεων (γένος, περιοχή εργασίας) του προσώπου που αποκρίθηκε. Απαντήσεις  Δυνατότητα απάντησης μέσω πολλαπλών επιλογών (multiple choice).  Δυνατότητα προσθήκης προαιρετικών σχολίων. Ερωτήσεις  Αντιστοίχηση ερωτήσεων σε κάθε μία από τις 3 κύριες κατηγορίες του σχεδίου ταξινόμησης των ΨΒ (Χρήστες/Χρήσεις, Δεδομένα/Συλλογή, Τεχνολογία).  Αλλαγή διατύπωσης ερωτηματολογίων, για να απεικονιστεί ο διαφορετικός στόχος (υπαρκτό, επιθυμητό).  Προσθήκη επιπρόσθετων ερωτήσεων (γένος, περιοχή εργασίας) του προσώπου που αποκρίθηκε. Απαντήσεις  Δυνατότητα απάντησης μέσω πολλαπλών επιλογών (multiple choice).  Δυνατότητα προσθήκης προαιρετικών σχολίων.

Πρώτη Προσπάθεια Αξιολόγησης 3/3 3-4 % των χρηστών της ΨΒ αποκρίθηκαν 70% συνολικών αποκριθέντων ήταν ερευνητές Χαμηλό ποσοστό λήψης προτάσεων και σχολίων Προβλήματα στην διατύπωση των ερωτήσεων λόγω διαφορετικότητας κοινού ή αστοχίας σε σχέση με το υπαρκτό. Μη αποτελεσματική προσπάθεια 3-4 % των χρηστών της ΨΒ αποκρίθηκαν 70% συνολικών αποκριθέντων ήταν ερευνητές Χαμηλό ποσοστό λήψης προτάσεων και σχολίων Προβλήματα στην διατύπωση των ερωτήσεων λόγω διαφορετικότητας κοινού ή αστοχίας σε σχέση με το υπαρκτό. Μη αποτελεσματική προσπάθεια

Δεύτερη Προσπάθεια Αξιολόγησης Meta-Library : Εκτεταμένη έρευνα της ομάδας εργασίας DELOS WG 2.1, όπου κάθε ΨΒ μπορεί να τεθεί σε διαδικασία αξιολόγησης και να συλλέξει απόψεις για την ποιότητά της. Τα Παθήματα έγιναν Μαθήματα κι έτσι..  Επανασχεδιασμός ερωτήσεων  Περισσότερες ευκαιρίες για απαντήσεις σε ελεύθερο κείμενο  Ιεραρχική δομή με βάση το γενικό πλάνο ταξινόμησης Meta-Library : Εκτεταμένη έρευνα της ομάδας εργασίας DELOS WG 2.1, όπου κάθε ΨΒ μπορεί να τεθεί σε διαδικασία αξιολόγησης και να συλλέξει απόψεις για την ποιότητά της. Τα Παθήματα έγιναν Μαθήματα κι έτσι..  Επανασχεδιασμός ερωτήσεων  Περισσότερες ευκαιρίες για απαντήσεις σε ελεύθερο κείμενο  Ιεραρχική δομή με βάση το γενικό πλάνο ταξινόμησης

Συμπεράσματα Συμπεράσματα  Η αξιολόγηση των ΨΒ δεν είναι αδύνατη  Αποτελεί δύσκολη διαδικασία (πολυπλοκότητα)  Περιορισμένη χρηματοδότηση  Περιορισμένο ενδιαφέρον  Ανωριμότητα αξιολόγησης σε οργανωμένη κλίμακα (προτυποποίηση) Σε γενικές γραμμές…  Πρέπει να στηρίζεται σε μία ευρεία άποψη της θεματικής περιοχής  Η αξιολόγηση των Ψ.Β. βρίσκεται σε περίοδο διάπλασης  Συνέχιση προσπαθειών…ΑΝΑΓΚΑΙΑ  Η αξιολόγηση των ΨΒ δεν είναι αδύνατη  Αποτελεί δύσκολη διαδικασία (πολυπλοκότητα)  Περιορισμένη χρηματοδότηση  Περιορισμένο ενδιαφέρον  Ανωριμότητα αξιολόγησης σε οργανωμένη κλίμακα (προτυποποίηση) Σε γενικές γραμμές…  Πρέπει να στηρίζεται σε μία ευρεία άποψη της θεματικής περιοχής  Η αξιολόγηση των Ψ.Β. βρίσκεται σε περίοδο διάπλασης  Συνέχιση προσπαθειών…ΑΝΑΓΚΑΙΑ

Προβληματισμοί Επικινδυνότητα επίδειξης πραγματικής απόδοσης? Τι μπορούμε να κάνουμε για να γίνει εμφανής στο ευρύ κοινό η αναγκαιότητα της αξιολόγησης των Ψηφιακών Βιβλιοθηκών? Επικινδυνότητα επίδειξης πραγματικής απόδοσης? Τι μπορούμε να κάνουμε για να γίνει εμφανής στο ευρύ κοινό η αναγκαιότητα της αξιολόγησης των Ψηφιακών Βιβλιοθηκών?

Η συζήτηση αρχίζει…