Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης1/70 Αξιολόγηση Προσαρμοστικών Συστημάτων Υπερμέσων Θανάσης.

Παρουσίαση με θέμα: "Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης1/70 Αξιολόγηση Προσαρμοστικών Συστημάτων Υπερμέσων Θανάσης."— Μεταγράφημα παρουσίασης:

1 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης1/70 Αξιολόγηση Προσαρμοστικών Συστημάτων Υπερμέσων Θανάσης Νταραντούμης daradoumis@aegean.gr

2 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης2/70 ανακεφαλαίωση •μέχρι τώρα είδαμε 1.τι είναι τα προσαρμοστικά υπερμέσα 2.γιατί είναι σημαντικά, ειδικά στην εκπαίδευση 3.πώς σχεδιάζονται 4.πώς υλοποιούνται •σήμερα θα δούμε oπώς αξιολογούνται

3 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης3/70 σύνοψη •η αξιολόγηση είναι πολύ σημαντική για τα διαδραστικά περιβάλλοντα, γενικά oπροσφέρει ανάδραση στο σύστημα – διαφορετικά δε μπορούμε να είμαστε σίγουροι ότι πετύχαμε κάτι… oγι αυτό υπάρχουν μια σειρά από μεθοδολογίες, τεχνικές, εργαλεία, κλπ. •στα προσαρμοστικά συστήματα πρέπει να αλλάξουμε κάτι oοι "παραδοσιακές" μέθοδοι δεν επαρκούν •άρα πρέπει να δούμε 1.πώς αξιολογούνται τα προσαρμοστικά συστήματα 2.τι αποτελέσματα έχουμε μέχρι σήμερα

4 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης4/70 μέθοδοι αξιολόγησης, γενικά •αναλυτικές μέθοδοι (από ειδικούς, έμπειρους γνώστες - χωρίς τη συμμετοχή χρηστών) oανάλυση πληκτρολογήσεων, γνωστικό περιδιάβασμα (όπου ο ειδικός παίζει το ρόλο ενός τυπικού χρήστη που εκτελεί μια συγκεκριμένη εργασία), ευρετική αξιολόγηση (ο ειδικός εφαρμόζει γνωστούς κανόνες/αρχές χρηστικότητας που πρέπει να πληρεί μια σωστή διεπαφή χρήστη), έλεγχος εφαρμογής κανόνων σχεδιασμού και προτύπων, κλπ. •πειραματικές μέθοδοι (με τη συμμετοχή χρηστών) oελεγχόμενη ποσοτική εκτίμηση, πρωτόκολλα ομιλούντων υποκειμένων, καταγραφή ενεργειών υποκειμένων, κλπ. •διερευνητικές μέθοδοι oσυνεντεύξεις υποκειμένων, συμπλήρωση ερωτηματολογίων, ομαδική αξιολόγηση, παρατήρηση πεδίου, κλπ

5 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης5/70 σύνοψη μεθόδων αξιολόγησης (με τη συμμετοχή χρηστών)

6 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης6/70 παράδειγμα: εργαστήρια χρηστικότητας της Microsoft

7 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης7/70 αξιολόγηση AEH 0.όπως και στα διαδραστικά συστήματα, γενικά 1.με ή χωρίς προσαρμοστικότητα •χωρίζουμε την εφαρμογή από το "προσαρμοστικό" της κομμάτι, και τα αξιολογούμε ξεχωριστά •αλλά, μπορούμε να το κάνουμε αυτό? •και πρέπει??? •επόμενα στάδια 2.στρωματική αξιολόγηση (layered evaluation) 3.εμβατική αξιολόγηση (modular evaluation) 4.ενιαία αξιολόγηση (integrated evaluation)

8 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης8/70 επισκόπηση μεθόδων αξιολόγησης για AEH

9 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης9/70 περιοχές 1.προσαρμοστικά υπερμέσα και υπερκείμενο 2.μοντελοποίηση μαθητή 3.αναγνώριση σχεδίου 4.αλληλεπίδραση μικτής πρωτοβουλίας 5.διεπαφές χρήστη, συστήματα βοήθειας

10 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης10/70 τεχνικές (1/2) 1.προσαρμοστικά υπερμέσα και υπερκείμενο oμέτρηση της ανάκλησης και της ακρίβειας των πληροφοριών στο μοντέλο γνωστικού πεδίου oδείκτες ομοιότητας/συνάφειας των προσαρμοστικών τεχνικών 2.μοντελοποίηση μαθητή oσύγκριση του συστήματος με και χωρίς προσαρμογή 3.αναγνώριση σχεδίου oποσοστό των πραγματικών σχεδίων που αναγνωρίζονται σε μια δοκιμαστική ποσότητα σχεδίων oσυχνότητα και ακρίβεια των προβλεπόμενων επόμενων κινήσεων oσύγκριση με έναν έμπειρο (άνθρωπο) αναγνωριστή σχεδίου

11 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης11/70 τεχνικές (2/2) 4.αλληλεπίδραση μικτής πρωτοβουλίας oσύγκριση αποκρίσεων/επιλογών συστήματος με τις ανθρώπινες επιλογές oαποτελεσματικότητα του διαλόγου που χρειάζεται για να επιτευχθεί μια εργασία μεταφοράς πληροφορίας 5.διεπαφές χρήστη, συστήματα βοήθειας oυποκειμενική ικανοποίηση χρήστη oταχύτητα ολοκλήρωσης εργασιών oδείκτης λαθών / ποιότητα επίτευξης εργασιών

12 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης12/70 2. στρωματική αξιολόγηση (layered evaluation)

13 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης13/70 αποσύνθεση του σχεδίου προσαρμογής ξεχωριστή αξιολόγηση adaptation mechanism high-level assessment conclusions -user is unable to complete task -user is disoriented -student has not understood the concept adaptation decision making interaction assessment adaptation decisions -display pop-up help window -re-structure hyperspace -provide details on learning concept low-level monitoring information -keystrokes -tasks initiated, completed, cancelled, etc -answers to quizzes monitoring module adaptive application

14 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης14/70 μια περίπτωση μαθησιακού περιβάλλοντος (1/3) •αξιολόγηση του InterBook με βάση τη στρωματική αξιολόγηση oως προς τον προσαρμοστικό σχολιασμό συνδέσμων: 1ο στάδιο (interaction assessment): εδώ ο σκοπός είναι να αξιολογηθεί η γνώση του χρήστη για κάθε έννοια (γνωστή, άγνωστη), παρακολουθώντας τις ενέργειες του χρήστη, δηλ. τις σελίδες που διαβάζει  υπόθεση: η μελέτη μιας σελίδας υπονοεί ότι όλες οι έννοιες που αντιστοιχούν στη σελίδα έχουν γίνει γνωστές για τον χρήστη καθώς και η εκπαιδευτική κατάσταση των σελίδων, που μπορεί να είναι: έτοιμες (δεν έχουν προαπαιτούμενες έννοιες), μη έτοιμες, δεν προσφέρουν τίποτα καινούριο (δεν έχουν ούτε προαπαιτούμενες ούτε άγνωστες έννοιες) 2ο στάδιο (adaptation decision making): για να σχολιάσει τους συνδέσμους (και έτσι να τους υποδείξει στο χρήστη), το Interbook χρησιμοποιεί:  ένα άσπρο σημάδι (bullet) για τις σελίδες που δεν προσφέρουν τίποτα καινούριο  ένα πράσινο σημάδι (bullet) για τις έτοιμες και συνιστούμενες σελίδες  ένα κόκκινο σημάδι (bullet) για τις μη έτοιμες σελίδες

15 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης15/70 μια περίπτωση μαθησιακού περιβάλλοντος (2/3) •ο στόχος της μελέτης ήταν να αξιολογήσει τι επιρροή είχε ο σχολιασμός συνδέσμων στη μάθηση του μαθητή και στην πλοήγηση στο μαθησιακό χώρο  δεν επέφερε καμιά σημαντική αλλαγή!!  οι μαθητές έδειξαν να κατανοούν και να τους αρέσει η προσαρμοστική υποστήριξη πλοήγησης, αλλά δεν είχε επιρροή στις επιδόσεις τους στα τεστ •εξήγηση αυτού του αποτελέσματος  η περισσότερη πλοήγηση έγινε με τα κουμπιά «Μπρος» και «Πίσω» ή με λέξεις-συνδέσμους (hot words).  μόνο πολύ λίγα clicks έγιναν σε σχολιασμένους συνδέσμους…

16 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης16/70 •από την πλευρά του μαθησιακού περιβάλλοντος  το κομμάτι της μοντελοποίησης του χρήστη ήταν επιτυχές  αλλά το πρόβλημα ήταν με το τμήμα adaptation decision making: δηλ. η απόφαση να χρησιμοποιηθεί ο προσαρμοστικός σχολιασμός συνδέσμων δεν ήταν η κατάλληλη μέθοδος για το είδος των μαθητών που υπήρχαν  ο προσαρμοστικός σχολιασμός συνδέσμων δουλεύει καλά με εκπαιδευόμενους με υψηλή προηγούμενη γνώση στο θέμα, αλλά δεν δουλεύει καλά με λιγότερο έμπειρους εκπαιδευόμενους ( για αυτούς δουλεύει καλύτερα η χρήση προσαρμοστικών «επόμενων» συνδέσμων – δηλ. ο σειριακός τρόπος πλοήγησης) μια περίπτωση μαθησιακού περιβάλλοντος (3/3)

17 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης17/70 αξιολογήσεις υπό το φως των μαθησιακών περιβαλλόντων (χωρίς στρωματική αξιολόγηση) μοντελοποίηση μαθητών προσαρμοστικά υπερμέσα- υπερκείμενο αναγνώριση σχεδίου - ποσοστό των πραγματικών σχεδίων που αναγνωρίζονται σε μια δοκιμαστική ποσότητα σχεδίων - συχνότητα και ακρίβεια των προβλεπόμενων επόμενων κινήσεων - σύγκριση με έναν έμπειρο (άνθρωπο) αναγνωριστή σχεδίου - σύγκριση αποκρίσεων/επιλογών συστήματος με τις ανθρώπινες επιλογές - αποτελεσματικότητα του διαλόγου που χρειάζεται για να επιτευχθεί μια εργασία μεταφοράς πληροφορίας - μέτρηση της ανάκλησης και της ακρίβειας των πληροφοριών στο μοντέλο γνωστικού πεδίου - δείκτες ομοιότητας/συνάφειας των προσαρμοστικών τεχνικών - υποκειμενική ικανοποίηση χρήστη - ταχύτητα ολοκλήρωσης εργασιών - δείκτης λαθών / ποιότητα επίτευξης εργασιών - σύγκριση του συστήματος με και χωρίς προσαρμογή περιοχή επιτυχία της προσαρμογής εκτίμηση της αλληλεπίδρασης (interaction assessment) λήψη αποφάσεων προσαρμογής (adaptation decision making) συνολική επιτυχία του συστήματος αλληλεπίδραση μικτής πρωτοβουλίας διεπαφές χρήστη / συστήματα βοήθειας

18 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης18/70 αλληλεπίδραση μικτής πρωτοβουλίας διεπαφές χρήστη / συστήματα βοήθειας - αξιολόγηση της εγκυρότητας της πληροφορίας που διατηρείται στο μοντέλο του χρήστη - αξιολόγηση της επιτυχίας των αποφάσεων προσαρμογής για την προσαρμοστική πλοήγηση ή/και την προσαρμοστική παρουσίαση - αξιολόγηση της εγκυρότητας της πληροφορίας που διατηρείται στο μοντέλο του χρήστη - αξιολόγησης της επιτυχίας των αποφάσεων προσαρμογής στο διδακτικό μοντέλο - αξιολόγηση της εγκυρότητας της πληροφορίας που διατηρείται στο μοντέλο του χρήστη - αξιολόγησης της επιτυχίας των αποφάσεων προσαρμογής - αξιολόγηση της συνολικής επιτυχίας του συστήματος - αξιολόγηση της εγκυρότητας της πληροφορίας που διατηρείται στο μοντέλο του χρήστη - αξιολόγηση της συνολικής επιτυχίας του συστήματος περιοχή επιτυχία της προσαρμογής εκτίμηση της αλληλεπίδρασης λήψη αποφάσεων προσαρμογής συνολική επιτυχία του συστήματος μοντελοποίηση μαθητών προσαρμοστικά υπερμέσα- υπερκείμενο αναγνώριση σχεδίου - ποσοστό των πραγματικών σχεδίων που αναγνωρίζονται σε μια δοκιμαστική ποσότητα σχεδίων - συχνότητα και ακρίβεια των προβλεπόμενων επόμενων κινήσεων - σύγκριση με έναν έμπειρο (άνθρωπο) αναγνωριστή σχεδίου - σύγκριση αποκρίσεων/επιλογών συστήματος με τις ανθρώπινες επιλογές - αποτελεσματικότητα του διαλόγου που χρειάζεται για να επιτευχθεί μια εργασία μεταφοράς πληροφορίας - υποκειμενική ικανοποίηση χρήστη - ταχύτητα ολοκλήρωσης εργασιών - δείκτης λαθών / ποιότητα επίτευξης εργασιών - σύγκριση του συστήματος με και χωρίς προσαρμογή αξιολογήσεις υπό το φως των μαθησιακών περιβαλλόντων (με στρωματική αξιολόγηση) εκτίμηση της αλληλεπίδρασης (interaction assessment) λήψη αποφάσεων προσαρμογής (adaptation decision making) - μέτρηση της ανάκλησης και της ακρίβειας των πληροφοριών στο μοντέλο γνωστικού πεδίου - δείκτες ομοιότητας/συνάφειας των προσαρμοστικών τεχνικών

19 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης19/70 3. εμβατική αξιολόγηση (modular evaluation)

20 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης20/70 Το προσαρμοστικό μοντέλο υπό μελέτη

21 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης21/70 στοιχεία προσαρμογής (1/8) •έλεγχος αλληλεπίδρασης oαναφέρεται σε εκείνες τις δυνατότητες του συστήματος που επιτρέπουν τις ανταλλαγές μεταξύ του χρήστη και της διεπαφής του, σε διαφορετικά επίπεδα αλληλεπίδρασης (π.χ. φυσική, συντακτική, σημασιολογική)

22 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης22/70 στοιχεία προσαρμογής (2/8) •ερμηνεία/συμπεράσματα oαυτό το μέρος του συστήματος είναι υπεύθυνο για την ερμηνεία των πληροφοριών που αποκτούνται μέσω του τμήματος παρακολούθηση της αλληλεπίδρασης (interaction monitoring). oτα συμπεράσματα αυτά χρησιμοποιούνται για να ενημερωθούν (update) τα μοντέλα που συντηρούνται από το σύστημα (π.χ. το μοντέλο χρήστη)

23 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης23/70 στοιχεία προσαρμογής (3/8) •ρητώς παρεχόμενη γνώση oαναφέρεται στις πληροφορίες σχετικά με τα χαρακτηριστικά, τα σχέδια, τις εργασίες, το πλαίσιο, κλπ. του χρήστη που παρέχονται στο σύστημα απευθείας από τους ίδιους τους χρήστες (σε αντίθεση με αυτές που συμπεραίνονται έμμεσα από τα δεδομένα της αλληλεπίδρασης)

24 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης24/70 στοιχεία προσαρμογής (4/8) •μοντελοποίηση oαναφέρεται στις ρητές ή έμμεσες αναπαραστάσεις των χρηστών (συμπεριλαμβάνοντας, για παράδειγμα, τις ικανότητες, τις δεξιότητες, τις ανάγκες, τις προτιμήσεις τους), στα σχέδια τους σε σχέση με μια συγκεκριμένη διαδραστική σύνοδο, στις εργασίες που μπορούν να πραγματοποιηθούν με το σύστημα, κλπ. oεδώ μας ενδιαφέρουν πιο πολύ εκείνα τα μοντέλα που ενημερώνονται δυναμικά κατά τη διάρκεια της αλληλεπίδρασης, και τα οποία βασίζονται στη γνώση που αποκτήθηκε σε πραγματικό χρόνο (τέτοια τυπική περίπτωση είναι το μοντέλο χρήστη)

25 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης25/70 στοιχεία προσαρμογής (5/8) •λήψη αποφάσεων προσαρμογής oαναφέρεται στο κομμάτι (ή τα κομμάτια) του προσαρμοστικού συστήματος που είναι υπεύθυνο για να αποφασίζει την αναγκαιότητα, καθώς και τον απαιτούμενο τύπο των προσαρμογών, δεδομένης μια συγκεκριμένης διαδραστικής κατάστασης

26 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης26/70 στοιχεία προσαρμογής (6/8) •εφαρμογή προσαρμογών oαναφέρεται στην εισαγωγή των προσαρμογών στην αλληλεπίδραση του χρήστη με το σύστημα, με βάση τις προηγούμενες αποφάσεις oαυτό το τμήμα προσαρμογής μπορεί να περιλαμβάνει διαφορετικές προσαρμοστικές στρατηγικές

27 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης27/70 στοιχεία προσαρμογής (7/8) •"λογική" διάφανων μοντέλων και προσαρμογής oαναφέρεται στη δυνατότητα που δίνει το σύστημα στο χρήστη να «επιθεωρήσει» τα μοντέλα που διατηρούνται από το σύστημα (σε διαφορετικά επίπεδα "διαφάνειας"), ή τη λογική που διέπουν τις αποφάσεις προσαρμογής που πήρε το σύστημα oστην περίπτωση διαφανούς μοντελοποίησης, οι χρήστες μπορούν επίσης να έχουν τη δυνατότητα να τροποποιήσουν αυτά τα μοντέλα, έτσι ώστε να περιγράφουν καλύτερα τα ιδιαίτερα ή άλλα χαρακτηριστικά τους

28 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης28/70 στοιχεία προσαρμογής (8/8) •εκτίμηση αυτόματης προσαρμογής oαναφέρεται στην πραγματικού χρόνου εκτίμηση των συνεπειών από τις προσαρμογές που αποφασίστηκαν και εφαρμόστηκαν, με σκοπό τη αξιολόγηση της "επιτυχίας" τους (π.χ. αν οι στόχοι που εξυπηρετούσαν έχουν εκπληρωθεί) oαυτό το στάδιο αναφέρεται ως "προσαρμογή δεύτερου επιπέδου", και μπορεί περαιτέρω να συμπεριλαμβάνει την τροποποίηση ζητημάτων προσαρμογής κατώτερου επιπέδου (π.χ. ενεργοποιώντας ή απενεργοποιώντας κανόνες σε προσαρμογή βασισμένη στους κανόνες, ή αλλάζοντας το "βάρος" των επιλογών, στη προσαρμογή που βασίζεται στη θεωρία αποφάσεων)

29 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης29/70 μονάδες αξιολόγησης* * περιλαμβάνει ένα ή περισσότερα από τα προηγούμενα στάδια/τμήματα που μπορούν να αξιολογηθούν είτε ατομικά είτε σε συνδυασμούς

30 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης30/70 μονάδα αξιολόγησης A1 •στόχος oθέλουμε να δούμε αν τα μοντέλα που διαθέτει το σύστημα (π.χ. το μοντέλο χρήστη) και τα οποία προκύπτουν μέσα από τη δυναμική αλληλεπίδραση είναι τα «βέλτιστα» δυνατά. •κριτήρια αξιολόγησης oορθότητα ερμηνειών/συμπερασμάτων oπεριεκτικότητα του μοντέλου (μπορεί το σύστημα να αναπαραστήσει εντελώς τα συμπεράσματα που έβγαλε για το χρήστη;) oπλεονασμός του μοντέλου (περιέχει το σύστημα στοιχεία του χρήστη που δεν μπορούν να εξαχθούν από την αλληλεπίδραση;) oακρίβεια του μοντέλου (με τι ακρίβεια αναπαριστά το σύστημα το χρήστη;) oευαισθησία της διαδικασίας μοντελοποίησης (πόσο γρήγορα συγκλίνει η διαδικασία μοντελοποίησης σε μια περιεκτική και ακριβή αναπαράσταση του χρήστη;)

31 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης31/70 μονάδα αξιολόγησης A2 •παρόμοια με την προηγούμενη με τις εξής εξαιρέσεις oαφού η γνώση παρέχεται από τον ίδιο το χρήστη, (δηλ. δεν υπάρχει αυτόματη αξιολόγηση αλληλεπίδρασης), κριτήρια όπως η ορθότητα ερμηνειών/συμπερασμάτων δεν έχουν νόημα oεπιπρόσθετα κριτήρια: η διαφάνεια της διαδικασίας (σε ποιο βαθμό μπορεί ο χρήστης να κατανοήσει ή να προβλέψει τον τρόπο με τον οποίο οι πληροφορίες που παρέχει επηρεάζουν το μοντέλο χρήστη) oη συμμετοχή έμπειρων αξιολογητών μπορεί να μην αποδώσει αξιόλογα αποτελέσματα όπως στην περίπτωση της μονάδας Α1. αυτό οφείλεται στο γεγονός ότι η απευθείας ενημέρωση του μοντέλου χρήστη σχετίζεται με το τι νομίζει ο χρήστης ότι μοντελοποιείται και πώς (αυτό είναι πολύ δύσκολο κανείς να το προσομοιώσει ή να το προβλέψει).

32 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης32/70 μονάδα αξιολόγησης B •στόχος oεδώ θέλουμε να βεβαιωθούμε ότι οι αποφάσεις προσαρμογής που λήφθηκαν από το αντίστοιχο τμήμα είναι "σωστές" •κριτήρια αξιολόγησης oαναγκαιότητα της προσαρμογής (είναι ανάγκη να γίνει προσαρμογή στην παρούσα στιγμή της αλληλεπίδρασης;) oκαταλληλότητα της προσαρμογής (ταιριάζει στις απαιτήσεις της παρούσας περίστασης;) oαποδοχή της προσαρμογής (πιστεύει ο χρήστης ότι η προσαρμογή είναι και αναγκαία και κατάλληλη;)

33 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης33/70 μονάδα αξιολόγησης C •στόχος oσυμπληρωματική στη μονάδα B •κριτήρια αξιολόγησης oεγκαιρότητα της προσαρμογής (εφαρμόστηκε έγκαιρα η προσαρμογή που αποφασίστηκε;) oφορτικότητα της προσαρμογής (σε ποιο βαθμό «ενοχλεί/εμποδίζει» η εφαρμογή της προσαρμογής το χρήστη κατά τη διάρκεια της εργασίας/αλληλεπίδρασής του με το σύστημα;) oέλεγχος του χρήστη στην προσαρμογή (μπορεί ο χρήστης να μην επιτρέψει ή ακόμη να απορρίψει μια προσαρμογή;)  Τα κριτήρια αυτά επηρεάζουν το κριτήριο της αποδοχής της μονάδας Β

34 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης34/70 μονάδα αξιολόγησης D1 •στόχος oεδώ θέλουμε να βεβαιωθούμε ότι η αντίληψη που έχει ο χρήστης για τα μοντέλα του συστήματος (π.χ. το μοντέλο χρήστη το οποίο επιθεωρεί) ταιριάζει με την πραγματική κατάσταση των μοντέλων •κριτήρια αξιολόγησης oπληρότητα της παρουσίασης (έχει ο χρήστης μια πλήρη εικόνα για το τι μοντελοποιεί το σύστημα και για το περιεχόμενο των μοντέλων;) oσυνεκτικότητα (συνάφεια) της παρουσίασης (πόσο καλά μπορεί ο χρήστης να κατανοήσει τις ιδιότητες των μοντέλων;) oλογικότητα της παρουσίασης (καταλαβαίνει ο χρήστης γιατί το μοντέλο βρίσκεται στη συγκεκριμένη κατάσταση;)

35 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης35/70 μονάδα αξιολόγησης D2 •παρόμοια με την προηγούμενη, με κύρια διαφορά ότι oαυτό που παρουσιάζεται στο χρήστη δεν είναι ένα μοντέλο, αλλά η λογική που διέπει μια συγκεκριμένη προσαρμογή •κριτήρια αξιολόγησης oσυνεκτικότητα (συνάφεια) της λογικής της προσαρμογής (πόσο καλά μπορεί να καταλάβει ένας χρήστης τι ακριβώς προσαρμόζεται και με ποιον τρόπο;) oαιτιότητα της λογικής (καταλαβαίνει ο χρήστης τι προκάλεσε μια συγκεκριμένη προσαρμογή;)

36 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης36/70 μονάδα αξιολόγησης E •στόχος oεδώ θέλουμε να βεβαιωθούμε ότι το σύστημα έχει τις ίδιες απόψεις με τους χρήστες όσον αφορά στην "επιτυχία", ή την "αποτυχία" των προσαρμογών που εφαρμόστηκαν •σημαντικά διαφορετική από τις προηγούμενες μονάδες αξιολόγησης, στο ότι oχρειάζεται να ληφθεί υπόψη η γνώμη των χρηστών σχετικά με συγκεκριμένες προσαρμογές και τις συνέπειές τους στην αλληλεπίδραση και στη συνέχεια να συγκριθεί με τις απόψεις του συστήματος για τις ίδιες προσαρμογές

37 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης37/70 4. ενιαία αξιολόγηση (integrated evaluation) ενσωμάτωση μαθησιακού περιβάλλοντος και υπερμεσικού περιβάλλοντος

38 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης38/70 ευρετική αξιολόγηση : 10 αρχές που διέπουν τη χρηστικότητα ενός συστήματος 1.ορατότητα της κατάστασης του συστήματος 2.ταίριασμα μεταξύ συστήματος και πραγματικού κόσμου 3.έλεγχος και ελευθερία από τον χρήστη 4.συνέπεια και standards 5.πρόβλεψη/αποτροπή λαθών 6.αναγνώριση αντί ανάκλησης 7.ευελιξία και αποτελεσματικότητα χρήσης 8.αισθητική και μινιμαλιστικός σχεδιασμός 9.βοήθεια στους χρήστες να αναγνωρίσουν, να διαγνώσουν και να ανακάμψουν από λάθη 10.βοήθεια και τεκμηρίωση

39 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης39/70 Ευρετική διαδικασία για την αξιολόγηση Προσαρμοστικών Εκπαιδευτικών Περιβαλλόντων (ΠΕΠ) (1/5) 1.ορατότητα ΠΕΠ oη προσαρμογή του συστήματος προσελκύει την προσοχή του χρήστη oτο περιβάλλον πάντα ενημερώνει τους εκπαιδευόμενους σχετικά με το περιεχόμενο που είναι πιο κατάλληλο για τη δεδομένη στιγμή oπαρέχεται ανατροφοδότηση και πληροφόρηση σχετικά με την πρόοδο του εκπαιδευόμενου ώστε να ενθαρρύνει τη σκέψη 2.ταίριασμα μεταξύ ΠΕΠ και του πραγματικού κόσμου oτο μαθησιακό περιβάλλον παρουσιάζει πληροφορίες με τέτοιο τρόπο που να ταιριάζει με τις μαθησιακές προτιμήσεις του καθενός επιμέρους κριτήρια

40 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης40/70 3.διάφορα επίπεδα ελέγχου του εκπαιδευόμενου oοι εκπαιδευόμενοι είναι ελεύθεροι να αναπτύξουν τις προσωπικές τους στρατηγικές, να επιλέξουν και να ιεραρχήσουν εργασίες, να ενεργοποιήσουν ή να απενεργοποιήσουν τη προσαρμοστική λειτουργία, να αλλάξουν τα μαθησιακά μοντέλα 4.συνέπεια και standards oη προσαρμοστική συμπεριφορά δεν τροποποιεί τη χρήση του συστήματος, αλλά επιτρέπει στους εκπαιδευόμενους να χρησιμοποιήσουν τον ίδιο τρόπο αλληλεπίδρασης ανεξάρτητα από τις λειτουργίες προσαρμογής ή το μαθησιακό μοντέλο Ευρετική διαδικασία για την αξιολόγηση Προσαρμοστικών Εκπαιδευτικών Περιβαλλόντων (ΠΕΠ) (2/5)

41 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης41/70 Ευρετική διαδικασία για την αξιολόγηση Προσαρμοστικών Εκπαιδευτικών Περιβαλλόντων (ΠΕΠ) (3/5) 5.πρόβλεψη/αποτροπή λαθών oη καταλληλότητα των αποφάσεων προσαρμογής βοηθάει τους εκπαιδευόμενους να αποφεύγουν τα λάθη

42 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης42/70 Ευρετική διαδικασία για την αξιολόγηση Προσαρμοστικών Εκπαιδευτικών Περιβαλλόντων (ΠΕΠ) (4/5) 6.αναγνώριση παρά ανάκληση oοι οδηγίες και βοήθεια που παρέχει το σύστημα για τους χρήστες ώστε να αντιληφθούν εύκολα τα αποτελέσματα της προσαρμογής 7.ευελιξία και αποτελεσματικότητα χρήσης oτο σύστημα εξυπηρετεί τις προτιμήσεις των εκπαιδευόμενων παρέχοντας εναλλακτικούς τρόπους γρήγορης πρόσβασης στις πληροφορίες και πειραματισμού με διάφορες έννοιες

43 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης43/70 Ευρετική διαδικασία για την αξιολόγηση Προσαρμοστικών Εκπαιδευτικών Περιβαλλόντων (ΠΕΠ) (5/5) 8.αισθητική και μινιμαλιστικός σχεδιασμός oτο σύστημα παρέχει στους εκπαιδευόμενους μια ευχάριστη εμπειρία υιοθετώντας μινιμαλιστικό και αισθητικό σχεδιασμό 9.βοηθάει τους χρήστες να αναγνωρίσουν, να διαγνώσουν και να ανακάμψουν από λάθη oτο σύστημα δείχνει τον τρόπο στο χρήστη να ανακάμψει από τα λάθη oοι χρήστες δεν κολλάνε όταν κάνουν ένα λάθος 10.λειτουργίες αναζήτησης βοήθειας και τεκμηρίωση oβοηθάει στην εστίαση στις δραστηριότητες που αναλαμβάνει ο εκπαιδευόμενος την εκάστοτε στιγμή και παρέχει μια λίστα από συγκεκριμένα βήματα που πρέπει να ακολουθηθούν

44 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης44/70 Ενσωμάτωση κριτηριίων σε στρωματική αξιολόγηση (layered evaluation) – στρώμα 1 – ορθότητα της απόκτησης δεδομένων εισαγωγής

45 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης45/70 κριτήρια για το στρώμα 2 – ορθότητα των συμπερασμάτων

46 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης46/70 κριτήρια για το στρώμα 3 – καταλληλότητα των αποφάσεων προσαρμογής

47 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης47/70 κριτήρια για το στρώμα 4 – αλλαγή της συμπεριφοράς του συστήματος όταν το σύστημα προσαρμόζεται (1/2)

48 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης48/70 κριτήρια για το στρώμα 5 – αλλαγή της συμπεριφοράς του χρήστη όταν το σύστημα προσαρμόζεται (2/2)

49 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης49/70 κριτήρια για το στρώμα 6 – αλλαγή και ποιότητα της συνολικής αλληλεπίδρασης

50 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης50/70 μερικά αποτελέσματα μέχρι τώρα Eklund, Brusilovsky

51 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης51/70 de La Passardiere & Dufresne, 1992 (1/2) •έκαναν πειράματα με το MANUEL EXCEL, το πρώτο σύστημα σε λειτουργία που χρησιμοποίησε προσαρμοστικό σχολιασμό συνδέσμων •το σύστημα χρησιμοποίησε ένα μηχανισμό που βασίστηκε σε τρία στάδια σχολιασμού (αδιάβαστο, μερικώς διαβασμένο και ολοκληρωμένο) και στη χρήση της προσαρμοστικής συμβουλής oη συμβουλή υπολογιζόταν από τη διάγνωση λαθών των απαντήσεων του μαθητή στα τεστ και τον αριθμό των δοκιμών •οι μαθητές ανταποκρίνονταν στην ανατροφοδότηση του συστήματος (συμβουλή) και εξέταζαν ξανά τις απαντήσεις τους

52 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης52/70 de La Passardiere & Dufresne, 1992 (2/2) •το πείραμα χρησιμοποίησε προσέγγιση "με και χωρίς" προσαρμοστικότητα oσυγκρίνοντας τα μονοπάτια που ακολούθησε μια ομάδα 20 μαθητών, που χρησιμοποίησε το περιβάλλον χωρίς τα προσαρμοστικά τμήματα oμε μια ομάδα 30 μαθητών που το χρησιμοποίησε με προσαρμοστικές συμβουλές και τα τρία στάδια σχολιασμού •τα δύο περιβάλλοντα είναι αρκετά διαφορετικά oτο ένα προσφέρει ανατροφοδότηση, ενώ το άλλο όχι, και αυτό είναι μια σημαντική διαφορά στη βασική λειτουργία των συστημάτων, ανεξάρτητα από την υποστήριξη προσαρμοστικής πλοήγησης oτο πείραμα κρίθηκε αξιόλογο με την έννοια ότι έδωσε την ένδειξη για το πώς ο σχολιασμός συνδέσμων θα μπορούσε να δουλέψει σε ένα εκπαιδευτικό περιβάλλον, και την αντίληψη ότι θα μπορούσε να είναι μια σημαντική προσαρμογή, αλλά το αποτέλεσμα είναι απλά εμπειρικό

53 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης53/70 Brusilovsky & Pesin, 1995 (1/2) •έκαναν μία από τις παλαιότερες και πιο σημαντικές μελέτες στον προσαρμοστικό σχολιασμό συνδέσμων και στους μηχανισμούς απόκρυψης συνδέσμων στο σύστημα ISIS- Tutor oτο ISIS-Tutor χρησιμοποιούσε χρώματα και σύμβολα σε μια μη γραφική DOS οθόνη για να σχολιάσει προσαρμοστικά τους συνδέσμους μιας σελίδας με τις σχετικές σελίδες με τις τιμές: "όχι έτοιμη να διδαχθεί", "έτοιμη να διδαχθεί", και "σε λειτουργία" •κύρια αποτελέσματα o"...ο συνολικός αριθμός των βημάτων πλοήγησης, ο αριθμός των επαναλήψεων σε προηγούμενα μελετημένες έννοιες, ο αριθμός των μεταβάσεων από έννοια σε έννοια και από τα περιεχόμενα σε έννοια είναι σημαντικά μικρότερος."

54 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης54/70 Brusilovsky & Pesin, 1998 (2/2) •ύστερες μελέτες oλόγω της μεγάλης ποικιλίας των στυλ πλοήγησης μέσα σε κάθε ομάδα, πολύ λίγες εξαρτημένες μεταβλητές δείχνουν σημαντική διαφορά μεταξύ ομάδων με/χωρίς προσαρμοστικότητα oο συνολικός αριθμός των βημάτων πλοήγησης, καθώς και ο αριθμός των μη εξαναγκασμένων επαναλήψεων σελίδων εννοιών και εργασιών ήταν σημαντικά μικρότερος με την προσαρμοστική έκδοση του ISIS-Tutor oδε βρέθηκε διαφορά μεταξύ τεχνικών σχολιασμού και απόκρυψης συνδέσμων oδε βρέθηκε διαφορά για την ποιότητα των νοητικών χαρτών του υπερχώρου που αναπτύχθηκαν από τους μαθητές

55 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης55/70 Eklund & Sawers, 1996 •έγιναν δοκιμαστικά με μια ομάδα 30 φοιτητών που μελετούν HTML χρησιμοποιώντας ένα σύστημα που λέγεται WEST-KBNS oτο σύστημα παράγει ένα σφαιρικό χάρτη των κόμβων του μαθήματος με σχολιασμούς oχρησιμοποιώντας ερωτηματολόγια και ομάδες εστίασης (focus grups), είδαν ότι οι φοιτητές βρήκαν το σφαιρικό χάρτη με σχολιασμούς ένα χρήσιμο βοήθημα για πλοήγηση και μετακίνηση μέσα στον υπερχώρο oοι φοιτητές γενικά βρήκαν αξιόλογο το χάρτη ενώ οι σχολιασμοί σ’ αυτόν πρότειναν για το πού να συνεχίσουν μετά από κάθε τεστ oπάλι αυτή η δουλειά δεν προσφέρει σταθερή εμπειρική ένδειξη υπέρ του προσαρμοστικού σχολιασμού συνδέσμων, αλλά είναι αξιόλογη με την έννοια ότι χρησιμοποίησε ένα εύρος δεδομένων που αποκτήθηκαν από πηγές που γενικά δεν χρησιμοποιήθηκαν σε άλλες αξιολογήσεις.

56 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης56/70 Weber & Specht, 1997 •συγκρίνανε oτο μέσο αριθμό σελίδων και τέστς που έκαναν οι επισκέπτες στον ιστοχώρο ELM-ART-II, με και χωρίς προσαρμοστικό σχολιασμό συνδέσμων και προσαρμοστική σειριακή εξέλιξη •βρέθηκε ότι oυπήρχε μια στατιστικά σημαντική επίπτωση της προσαρμοστικής σειριακής εξέλιξης, αλλά όχι σημαντική διαφορά στο σχολιασμό συνδέσμων oπεραιτέρω, αναφέρουν ότι ο προσαρμοστικός σχολιασμός συνδέσμων δεν είχε σημαντική συνέπεια στον πλήθος των βημάτων πλοήγησης που πραγματοποιήθηκαν

57 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης57/70 Weber, Brusilovsky & Specht, 1998 •χρησιμοποίησαν το σύστημα ELM-ART για να δοκιμάσουν τα αποτελέσματα της προσαρμοστικής σειριακής εξέλιξης, και του σχολιασμού συνδέσμων oδεν υπήρξε σημαντική επίπτωση στο πλήθος των βημάτων πλοήγησης μέσω της χρήσης του προσαρμοστικού σχολιασμού συνδέσμων oυπήρχαν μερικές ενδείξεις ότι τα προσαρμοστικά στοιχεία ήταν χρήσιμα για τους αρχάριους, αλλά κι αυτές οι μικρές συνέπειες εξαφανίζονταν καθώς οι χρήστες εξοικειώνονταν περισσότερο με το σύστημα oαυτό δε σημαίνει ότι οι χρήστες δεν επωφελήθηκαν από τη χρήση του συστήματος, φυσικά αυτό έγινε, oσυμπέραναν όμως ότι ο σχολιασμός συνδέσμων είναι χρήσιμος για άπειρους χρήστες καθώς τους παρέχει μια αρχική υποστήριξη στη χρήση μιας άγνωστης διεπαφής

58 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης58/70 συνοπτικά (1/2) •η μελέτη των Brusilovsky & Pesin's (1995; 1998) για την αποτελεσματικότητα του προσαρμοστικού σχολιασμού συνδέσμων στο ISIS Tutor παραμένει το μόνο πιστικό κομμάτι εμπειρικής δουλειάς το οποίο είχε ευνοϊκό αποτέλεσμα για την τεχνική υποστήριξης προσαρμοστικής πλοήγησης του σχολιασμού συνδέσμων στα εκπαιδευτικά υπερμέσα

59 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης59/70 συνοπτικά (2/2) •το συνολικό αποτέλεσμα είναι ότι oη μάθηση με τη χρήση σχολιασμού συνδέσμων είναι ταχύτερη, περισσότερο προσανατολισμένη στο στόχο, και μειώνει σημαντικά το πλήθος των βημάτων που πρέπει να ακολουθήσει ο μαθητής oαποκτά ιδιαίτερη αξία στην περιοχή της ανάκτησης πληροφοριών oαν υποθέσουμε ότι με την υποστήριξη προσαρμοστικής πλοήγησης, οι μαθητές χρησιμοποίησαν ένα "πιο αποτελεσματικό" μονοπάτι σε ένα εκπαιδευτικό χώρο,  τότε, θα μπορούσε να επιτευχθεί ένα ακόμη πιο αποτελεσματικό μονοπάτι αν εφαρμόζαμε άλλες μη προσαρμοστικές στρατηγικές (πιο παραδοσιακές), όπως η χρήση μελετών περίπτωσης (case studies), διαδραστικών παραδειγμάτων, ή επίλυσης προβλημάτων;

60 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης60/70 Συμπεράσματα πώς μπορείτε να σχεδιάσετε τη δική σας εμπειρική αξιολόγηση

61 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης61/70 κανόνες έγκρισης πειραμάτων (1/3) •ανάθεση αρκετών συμμετεχόντων σε ομάδες με τυχαίο τρόπο •ανάθεση διαθέσιμου χρόνου σε συμμετέχοντες με τυχαίο τρόπο •τα δωμάτια για τεστ δεν πρέπει να έχουν παράθυρα ή οτιδήποτε που να αποσπά την προσοχή (π.χ. πόστερς) και πρέπει να είναι ήσυχα, οι συμμετέχοντες πρέπει να είναι όσο το δυνατόν περισσότερο απομονωμένοι •ο χώρος του υπολογιστή πρέπει να προετοιμαστεί εργονομικά προβλέποντας συμμετέχοντες με διαφορετικές σωματικές διαστάσεις •αν χρησιμοποιείται δίκτυο, καλύτερα να αποφευχθούν οι ώρες υψηλής κυκλοφορίας του δικτύου

62 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης62/70 κανόνες έγκρισης πειραμάτων (2/3) •προετοιμάστε ομοιόμορφες οδηγίες για τους συμμετέχοντες, κατά προτίμηση σε γραπτή ή μαγνητοσκοπημένη (ήχος ή βίντεο) μορφή. Ελέγξτε τις οδηγίες για καθαρότητα με ένα δείγμα συμμετεχόντων σε πιλοτική μελέτη. Η αναπαραγωγή των οδηγιών με τον υπολογιστή είναι επίσης χρήσιμη •οι πειραματιστές δεν θα πρέπει να γνωρίζουν αν οι συνθήκες του πειράματος ακολουθούν ένα μοντέλο χρήστη. Κάθε πειραματιστής θα πρέπει να χρησιμοποιεί τις ίδιες συνθήκες (ανεξάρτητες τιμές μεταβλητών) για να αποφεύγονται μεροληψίες. Οι πειραματιστές πρέπει να έχουν ελάχιστες αλληλεπιδράσεις με τους συμμετέχοντες, ωστόσο οι πειραματιστές πρέπει να είναι εξοικειωμένοι με το σύστημα μοντελοποίησης χρήστη και να μπορούν να απαντούν σε ερωτήσεις

63 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης63/70 κανόνες έγκρισης πειραμάτων (3/3) •να είστε σε ετοιμότητα να απορρίψετε δεδομένα του συμμετέχοντα σε περίπτωση που ο συμμετέχων χρειάζεται να αλληλεπιδράσει με τον πειραματιστή κατά τη διάρκεια του πειράματος •να ακολουθείτε όλους τους τοπικούς κανόνες και νόμους σχετικά με τον ανθρώπινο πειραματισμό •να επιτρέπετε αρκετό χρόνο, τα πειράματα συνήθως χρειάζονται μήνες για να εκτελεστούν •να εκτελείτε μια πιλοτική μελέτη πριν τη βασική μελέτη •να κάνετε συζήτηση σχετικά με «ενοχλητικές» μεταβλητές

64 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης64/70 τροφή για σκέψη •είμαστε πεπεισμένοι για την αξία της αξιολόγησης oκαι... υποχρεωμένοι να την πραγματοποιήσετε; •έχουμε ένα προσαρμοστικό σύστημα, και θέλουμε να το αξιολογήσουμε – τι κάνουμε??? oανάπτυξη ενός σχεδίου αξιολόγησης oεκτέλεση της αξιολόγησης oαναφορά αποτελεσμάτων •πώς??? oπαράδειγμα: αξιολόγηση KOD

65 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης65/70 different learners e-learning system content packages learning objects content packages content packaging toolkit authors KOD idea (Knowledge On Demand) KOD Packager knowledge packages authors educational meta-data toolkit adaptability KOD adaptor adaptivity

66 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης66/70 παράδειγμα λογικής σχεδίου αξιολόγησης

67 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης67/70 παράδειγμα αναφοράς αξιολόγησης (ToC) •εισαγωγή oτοποθέτηση της αναφοράς μέσα στο πλαίσιο της δουλειάς oαρχικό σημείο, καθορισμός του πλαισίου και των όρων •συλλογή δεδομένων oχρήστες, μέθοδος, χρόνος, υλικό, στόχος •ανάλυση δεδομένων oγια κάθε στοιχείο •επίλογος oσυμπεράσματα και μελλοντικές υποδείξεις

68 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης68/70 να θυμάστε... •μη σταματάτε να κάνετε ερωτήσεις oγιατί το κάνετε αυτό, με αυτό τον τρόπο, για ποιον, πώς, πότε, πού; oποια είναι η αξία; oποιο είναι το πραγματικό πλεονέκτημα; •πρόκειται για δημόσιο χρήμα oέχετε υπογράψει μια συμφωνία που υπόσχεται να παραδώσει γνώση και μετρίσιμα οικονομικά και κοινωνικά οφέλη στην Ευρώπη oως αξιολογητής, παίρνω την υπόσχεση στα σοβαρά!" Jane Massy, EC projects evaluator

69 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης69/70 ειδική βιβλιογραφία •Chin D., Empirical Evaluation of User Models and User-Adapted Systems, User Modeling and User-Adapted Systems, 11(1-2), 2001. •Brusilovsky P., Karagiannidis C. & Sampson D., The Benefits of Layered Evaluation of Adaptive Applications and Services, EEAS Workshop, UM 01, Sonthofen, Germany, July 2001. •Paramythis A., Totter A. & Stephanidis C., A Modular Approach to the Evaluation of Adaptive User Interfaces, EEAS Workshop, UM 01, Sonthofen, Germany, July 2001. •Magoulas G., Chen S. & Papanikolaou K., Integrating Layered and Heuristic Evaluation for Adaptive Learning Environments, EEAS Workshop, UM 03, Pittsburgh, USA, June 2003. •Eklund J. & Brusilovsky P., The Value of Adaptivity in Hypermedia Learning Environments: A Short Review of Empirical Evidence, AHH Workshop, HT 98, Pittsburgh, June 1998.

70 Προσαρμοστικά Συστήματα Υπερμέσων στην ΕκπαίδευσηΔιαλέξεις 7 & 8: Αξιολόγηση Θ. Νταραντούμης70/70 καλό μεσημέρι για οτιδήποτε χρειαστεί κτήριο “Θεοφράστειο”, Θεοφράστου & Αλκαίου, 1ος Όροφος daradoumis@aegean.gr