1 ΑΞΙΟΛΟΓΗΣΗ ΨΗΦΙΑΚΩΝ ΒΙΒΛΙΟΘΗΚΩΝ ΕΠΙΜΕΛΕΙΑ-ΠΑΡΟΥΣΙΑΣΗ: ΓΡΗΓΟΡΙΟΥ ΒΙΒΗ ΚΕΡΚΥΡΑ 2004 ΚΕΡΚΥΡΑ 2004

2 ΤΟ ΠΑΡΕΛΘΟΝ…ΤΟ ΠΑΡΟΝ… ΜΙΑ ΜΑΤΙΑ ΣΤΟ ΜΕΛΛΟΝ… Βιβλιοθήκη (κτίριο, βιβλία, ράφια, προσωπικό) Βιβλιοθήκη (κτίριο, βιβλία, ράφια, προσωπικό) Ψηφιακή Βιβλιοθήκη Ψηφιακή Βιβλιοθήκη - ψηφιοποιημένο υλικό - αλλαγή απαιτήσεων Στόχος : μια «καλή» Ψηφιακή Βιβλιοθήκη Στόχος : μια «καλή» Ψηφιακή Βιβλιοθήκη - πώς επιτυγχάνεται ? - παράγοντες που παίζουν ρόλο - μέσο η ΑΞΙΟΛΟΓΗΣΗ

3 Γιατί είναι σημαντική η αξιολόγηση Ψηφιακών Βιβλιοθηκών ; (1) Οι ΨΒ υποστηρίζουν συγκεκριμένες δραστηριότητες σε συγκεκριμένους τομείς επιμορφωτικούς κυρίως αλλά και ψυχαγωγικούς. Οι ΨΒ υποστηρίζουν συγκεκριμένες δραστηριότητες σε συγκεκριμένους τομείς επιμορφωτικούς κυρίως αλλά και ψυχαγωγικούς. Η αξιολόγηση είναι σημαντική γιατί εξετάζει: Η αξιολόγηση είναι σημαντική γιατί εξετάζει:  λειτουργικότητα του συστήματος  τεχνολογίες πληροφόρησης - διαδραστικότητα - υιοθέτηση - χρήση - υλοποίηση - κοινωνικός αντίκτυπος

4 Γιατί είναι σημαντική η αξιολόγηση Ψηφιακών Βιβλιοθηκών ; (2)  κοστολόγηση διαδικασιών και ιδιαίτερα όσον αφορά την χρησιμότητα  εξοικονόμηση πόρων από χαμένη παραγωγικότητα

5 Τι είναι η αξιολόγηση ;  Η αξιολόγηση ενός συστήματος είναι ένας γενικός όρος που περιλαμβάνει απόψεις απόδοσης, μετρήσεων και εκτιμήσεων των ανθρώπων που χρησιμοποιούν το σύστημα.  Οι δραστηριότητές της περιλαμβάνουν εργαστηριακά πειράματα, έρευνες σε τοπικό, εθνικό και διεθνές επίπεδο, αναλύσεις, παρακολούθηση και καταγραφή της διεπαφής χρήστη-συστήματος, παρατηρήσεις χρηστών κ.λ.π.

6 Τύποι αξιολόγησης (1) 4 τύποι αξιολόγησης είναι συμβατοί με τις Ψηφιακές Βιβλιοθήκες : Παραγωγική αξιολόγηση (formative) – ορίζει προτεραιότητες σε τρέχοντα ζητήματα, θέτει στόχους και προκαθορίζει τα επιθυμητά αποτελέσματα. Παραγωγική αξιολόγηση (formative) – ορίζει προτεραιότητες σε τρέχοντα ζητήματα, θέτει στόχους και προκαθορίζει τα επιθυμητά αποτελέσματα. Αθροιστική αξιολόγηση (summative) – το αν επιτεύχθηκαν οι στόχοι ή όχι εξετάζεται στο τέλος της όλης διαδικασίας. Αλληλοσυμπληρώνεται με την παραγωγική. Αθροιστική αξιολόγηση (summative) – το αν επιτεύχθηκαν οι στόχοι ή όχι εξετάζεται στο τέλος της όλης διαδικασίας. Αλληλοσυμπληρώνεται με την παραγωγική.

7 Τύποι αξιολόγησης (2) Επαναληπτική αξιολόγηση (iterative) – θέτει αρχικά μετρήσιμους στόχους όμως δίνει τη δυνατότητα αναθεώρησης και επαναπροσδιορισμού τους μέσα από την αναπτυξιακή διαδικασία. Επαναληπτική αξιολόγηση (iterative) – θέτει αρχικά μετρήσιμους στόχους όμως δίνει τη δυνατότητα αναθεώρησης και επαναπροσδιορισμού τους μέσα από την αναπτυξιακή διαδικασία. Συγκριτική αξιολόγηση (comparative) – το αποτέλεσμα προκύπτει μέσα από συγκρίσεις συστημάτων, μετρήσεις και διασταύρωση των αποτελεσμάτων τους (συγκρίνουμε διαφορετικές λειτουργίες και αλγόριθμους). Συγκριτική αξιολόγηση (comparative) – το αποτέλεσμα προκύπτει μέσα από συγκρίσεις συστημάτων, μετρήσεις και διασταύρωση των αποτελεσμάτων τους (συγκρίνουμε διαφορετικές λειτουργίες και αλγόριθμους).

8 Κοινό Ψηφιακών Βιβλιοθηκών Για να μπορέσουμε να προχωρήσουμε στην αξιολόγηση μιας ΨΒ θα πρέπει πρώτα να προσδιορίσουμε το αναγνωστικό κοινό της. Για να μπορέσουμε να προχωρήσουμε στην αξιολόγηση μιας ΨΒ θα πρέπει πρώτα να προσδιορίσουμε το αναγνωστικό κοινό της. Ανάλογα με την κοινότητα χρηστών στην οποία απευθυνόμαστε θα προσαρμόσουμε και τα κριτήρια της αξιολόγησης. Ανάλογα με την κοινότητα χρηστών στην οποία απευθυνόμαστε θα προσαρμόσουμε και τα κριτήρια της αξιολόγησης. Απευθυνόμαστε λοιπόν: Απευθυνόμαστε λοιπόν: 1. στην ερευνητική κοινότητα χρηστών 2. στην «παραδοσιακή» κοινότητα χρηστών

9 Συνέχεια… 1. Στην πρώτη περίπτωση μας ενδιαφέρει να ικανοποιήσουμε τις ανάγκες συγκεκριμένων ομάδων χρηστών, ερευνητών, επιστημόνων, μελετητών κ.λ.π. Η ψηφιοποιημένη πληροφορία πρέπει να είναι σωστά κατανεμημένη, εύκολα και γρήγορα προσβάσιμη και όσο το δυνατόν πιο πρόσφατη. 2. Αντίθετα, το παραδοσιακό κοινό μιας βιβλιοθήκης αντιμετωπίζει τις ΨΒ ως οργανισμούς που προσφέρουν τις ίδιες πληροφορίες με παλιότερα απλά τώρα πια με διαφορετική / ψηφιοποιημένη μορφή.

10 Ερωτήματα Για να προχωρήσουμε στην αξιολόγηση μιας ΨΒ θα πρέπει να λάβουμε υπόψη τα παρακάτω ερωτήματα:  Τι αξιολογούμε ; (π.χ. συλλογή, τεχνολογία)  Με τι κριτήρια αξιολογούμε τις μετρήσεις ; (αποδοτικότητα ή αποτελεσματικότητα συστήματος)  Ποιόν ενδιαφέρουν τα αποτελέσματα της αξιολόγησης ;  Πότε είναι η κατάλληλη στιγμή για να προχωρήσουμε στο στάδιο της αξιολόγησης ;

11 Θέματα που πρέπει να λάβουμε υπόψη πριν ξεκινήσουμε μια διαδικασία αξιολόγησης ΔΟΜΗ ΔΟΜΗ ΠΕΡΙΕΧΟΜΕΝΟ ΠΕΡΙΕΧΟΜΕΝΟ ΚΡΙΤΗΡΙΑ ΚΡΙΤΗΡΙΑ ΕΙΔΟΣ ΜΕΤΡΗΣΕΩΝ ΕΙΔΟΣ ΜΕΤΡΗΣΕΩΝ ΟΡΙΑ ΟΡΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΜΕΘΟΔΟΛΟΓΙΑ

12 Προσπάθειες Αξιολόγησης  US DLI test suite: 6 τεστ αξιολόγησης ΨΒ (Digital Library Initiative)  D-Lib Working Group on Digital Library Metrics μια πρώτη προσπάθεια πάνω σε θέματα αξιολόγησης το  DELOS Network of Excellence (Digital Library Evaluation Forum δημιουργία υποδομής για αξιολόγηση και σχετικές ενέργειες)

13 Παράμετροι Αξιολόγησης Το πρόβλημα στην αξιολόγηση μιας ΨΒ έγκειται στην πολυπλοκότητα του περιεχομένου της και στην διαφορετικότητα της δομής της σε σχέση με μια υβριδική βιβλιοθήκη. Το πρόβλημα στην αξιολόγηση μιας ΨΒ έγκειται στην πολυπλοκότητα του περιεχομένου της και στην διαφορετικότητα της δομής της σε σχέση με μια υβριδική βιβλιοθήκη. Παράμετροι που πρέπει να λάβουμε υπόψη κατά τον σχεδιασμό ενός μοντέλου αξιολόγησης: Παράμετροι που πρέπει να λάβουμε υπόψη κατά τον σχεδιασμό ενός μοντέλου αξιολόγησης: επεκτασιμότητα επεκτασιμότητα αποτελεσματικότητα αποτελεσματικότητα αποδοτικότητα αποδοτικότητα κόστος κόστος ποιότητα ποιότητα

14 Συνέχεια… Οι μέθοδοι και οι τεχνικές για τη δημιουργία ενός μοντέλου αξιολόγησης θα πρέπει να στηρίζονται σε δεδομένα: Οι μέθοδοι και οι τεχνικές για τη δημιουργία ενός μοντέλου αξιολόγησης θα πρέπει να στηρίζονται σε δεδομένα:  ποσοτικής ανάλυσης  ποιοτικής ανάλυσης

15 Ολική Προσέγγιση Αξιολόγησης ΨΒ Θεωρώντας μια ΨΒ ως ένα είδος πληροφοριακού συστήματος θα πρέπει να λάβουμε υπόψη και τις επιμέρους συνιστώσες του «συστήματος»: Θεωρώντας μια ΨΒ ως ένα είδος πληροφοριακού συστήματος θα πρέπει να λάβουμε υπόψη και τις επιμέρους συνιστώσες του «συστήματος»: - συλλογή - υπολογιστικά συστήματα (τεχνολογία) - άτομα (προσωπικό, χρήστες) - περιβάλλον χρήσης Μεμονωμένες προσεγγίσεις θα είναι αναποτελεσματικές. Μεμονωμένες προσεγγίσεις θα είναι αναποτελεσματικές.

16 Θέματα Αξιολόγησης Το σύστήμα και οι συνιστώσες του. Το σύστήμα και οι συνιστώσες του. (περιλαμβάνει αξιολόγηση μεθόδων και τεχνικών ανάκτησης πληροφοριών και γενικότερα λειτουργικότητα του συστήματος) Το επίπεδο αλληλεπίδρασης χρήστη – συστήματος. Το επίπεδο αλληλεπίδρασης χρήστη – συστήματος. Υποστήριξη των διαφόρων στρατηγικών πρόσβασης και χρήσης. Υποστήριξη των διαφόρων στρατηγικών πρόσβασης και χρήσης. Υποστήριξη συγκεκριμένων εργασιών. Υποστήριξη συγκεκριμένων εργασιών. π.χ. αναζήτηση π.χ. αναζήτηση Οργανωσιακά θέματα και άλλοι παράγοντες περιστασιακοί ή μη. Οργανωσιακά θέματα και άλλοι παράγοντες περιστασιακοί ή μη.

17 Συνιστώσες αξιολόγησης 1. ΧΡΗΣΤΕΣ 2. ΔΕΔΟΜΕΝΑ / ΣΥΛΛΟΓΗ 3. ΤΕΧΝΟΛΟΓΙΑ Χαρακτηριστικά: Αλληλεπίδραση Αλληλεπίδραση Αλληλεξάρτηση Αλληλεξάρτηση

18

19

20 ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ (1) ΧΡΗΣΤΕΣ ΚΑΙ ΧΡΗΣΕΙΣ ΧΡΗΣΤΕΣ ΚΑΙ ΧΡΗΣΕΙΣ Για να μπορέσουμε να προχωρήσουμε στην αξιολόγηση μίας ΨΒ θα πρέπει να απαντήσουμε σε 4 βασικές ερωτήσεις σχετικά με τα χαρακτηριστικά των χρηστών της: 1. Ποιοι είναι οι χρήστες της ; - εσωτερικοί – εξωτερικοί - ερευνητές - φοιτητές - ……

21 Συνέχεια … 2. Ποια είναι τα θεματικά πεδία που ενδιαφέρουν τους χρήστες της ; τους χρήστες της ; 3. Πώς γίνεται η αναζήτηση και τελικά η ανάκτηση των πληροφοριών ; (αφορά τη χρήση) των πληροφοριών ; (αφορά τη χρήση) - δομημένα θέματα με τη βοήθεια μηχανών αναζήτησης / δομημένη αναζήτηση - περιπλάνηση στον κατάλογο / αδόμητη αναζήτηση 4. Ποιοι οι σκοποί αλλά και ποιοι οι στόχοι της αναζήτησης ; αναζήτησης ;

22 ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ (2) ΔΕΔΟΜΕΝΑ / ΣΥΛΛΟΓΗ ΔΕΔΟΜΕΝΑ / ΣΥΛΛΟΓΗ Ο τομέας που αφορά στην αξιολόγηση του «υλικού» μιας ψηφιακής συλλογής μπορεί να περιγράφει σε 3 άξονες : Α. περιγραφή του περιεχομένου Β. προσδιοριστές ποιότητας και αξιοπιστίας Γ. προσδιοριστές διαχείρισης πληροφορίας και προσβασιμότητας.

23 ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ (3) ΤΕΧΝΟΛΟΓΙΑ ΤΕΧΝΟΛΟΓΙΑ Όσον αφορά τον τομέα της τεχνολογίας οι παράγοντες που πρέπει να ληφθούν υπόψη σε μια διαδικασία αξιολόγησης είναι : 1. Τεχνολογία του χρήστη : οι δυνατότητες που προσφέρει ένα σύστημα ΨΒ στο χρήστη - εύκολη αναζήτηση - αυτόματη ενημέρωση για νέο υλικό - ….. 2. Πρόσβαση στην πληροφορία - Ανάκτηση πληροφοριών - Ανάκτηση πληροφοριών - διασυνδέσεις (κείμενα, μεταδεδομένα)

24 Συνέχεια… 3. Τεχνολογία δομημένων συστημάτων - αρχιτεκτονική συστημάτων - πρωτόκολλα επικοινωνίας και διεπαφής 4. Τεχνολογία κειμένων / παρουσίασης υλικού - δομή κειμένων - παρουσίαση κειμένων - χαρακτηριστικά και δυνατότητες του υλικού

25 Ερωτηματολόγια - μετρήσεις Όλα όσα περιγράψαμε παραπάνω αποτελούν τη βάση για την εκπόνηση μιας διαδικασίας αξιολόγησης ΨΒ. Όλα όσα περιγράψαμε παραπάνω αποτελούν τη βάση για την εκπόνηση μιας διαδικασίας αξιολόγησης ΨΒ. Λαμβάνοντας απαντήσεις στα ερωτήματα τα οποία τέθηκαν παραπάνω μπορούμε να έχουμε την περιγραφή και παράλληλα την αξιολόγηση μιας ΨΒ. Λαμβάνοντας απαντήσεις στα ερωτήματα τα οποία τέθηκαν παραπάνω μπορούμε να έχουμε την περιγραφή και παράλληλα την αξιολόγηση μιας ΨΒ. Η συγκέντρωση όλων των ερωτήσεων σε απλά ερωτηματολόγια και η διάθεση τους τόσο στο αναγνωστικό κοινό όσο και στο προσωπικό της βιβλιοθήκης είναι ίσως η καλύτερη και η πιο αποτελεσματική μέθοδος για να επιτευχθεί η αξιολόγηση. Η συγκέντρωση όλων των ερωτήσεων σε απλά ερωτηματολόγια και η διάθεση τους τόσο στο αναγνωστικό κοινό όσο και στο προσωπικό της βιβλιοθήκης είναι ίσως η καλύτερη και η πιο αποτελεσματική μέθοδος για να επιτευχθεί η αξιολόγηση.

26 Πρώτη Προσπάθεια Αξιολόγησης 2 ερωτηματολόγια (Α + Β) 2 ερωτηματολόγια (Α + Β) Ερωτηματολόγιο Α : εξετάζει την πραγματική κατάσταση, το υπαρκτό. Ερωτηματολόγιο Α : εξετάζει την πραγματική κατάσταση, το υπαρκτό. Ερωτηματολόγιο Β : εκφράζει το επιθυμητό, μέσα από τις απαντήσεις προκύπτει ο μελλοντικός σχεδιασμός. Ερωτηματολόγιο Β : εκφράζει το επιθυμητό, μέσα από τις απαντήσεις προκύπτει ο μελλοντικός σχεδιασμός. Οι ερωτήσεις βασίζονται στους τομείς που ήδη αναφέρθηκαν (χρήστες / χρήση, δεδομένα / συλλογή, τεχνολογία) Οι ερωτήσεις βασίζονται στους τομείς που ήδη αναφέρθηκαν (χρήστες / χρήση, δεδομένα / συλλογή, τεχνολογία)

27 Συνέχεια… Απαντήσεις πολλαπλών επιλογών, ναι / όχι, σχόλια. Απαντήσεις πολλαπλών επιλογών, ναι / όχι, σχόλια. Η έρευνα διεξήχθη μέσα από την ηλεκτρονική σελίδα του SZTAKI και στάλθηκε με στους χρήστες της ΨΒ. Η έρευνα διεξήχθη μέσα από την ηλεκτρονική σελίδα του SZTAKI και στάλθηκε με στους χρήστες της ΨΒ. (MTA SZTAKI-Computer and Automation Research Institute Hungarian Academy of Sciences)

28 Νέα Προσπάθεια Αξιολόγησης DL MetaLibrary ( DELOS WG 2.1) DL MetaLibrary ( DELOS WG 2.1) Εκτεταμένη έρευνα όπου κάθε ΨΒ μπορεί να τεθεί σε διαδικασία αξιολόγησης και να συλλέξει απόψεις για την ποιότητά της. Φυσικά οι πληροφορίες και τα αποτελέσματα ανανεώνονται συνεχώς.

29

30

31

32

33

34

35

36

37 Αντικείμενο μελέτης… ECDL 2003 Workshop on Evaluation of Digital Libraries ECDL 2003 Workshop on Evaluation of Digital Libraries - US National Science Foundation - EU DELOS Network of Excellence for DL  Metrics, Testbeds and Processes  D-Lib Metrics Working Group (MWG)

38 ΒΙΒΛΙΟΓΡΑΦΙΑ/ΔΙΚΤΥΟΓΡΑΦΙΑ: duisburg.de/bib/fulltext/ir/fuhr_etal:01.pdf duisburg.de/bib/fulltext/ir/fuhr_etal:01.pdf duisburg.de/bib/fulltext/ir/fuhr_etal:01.pdf duisburg.de/bib/fulltext/ir/fuhr_etal:01.pdf g_group_reports/evaluation.html g_group_reports/evaluation.html g_group_reports/evaluation.html g_group_reports/evaluation.html

39 ΕΡΩΤΗΣΕΙΣ – ΑΠΟΡΙΕΣ