Αξιολόγηση εκπαιδευτικού λογισμικού Χριστίνα Σολομωνίδου Καθηγήτρια ΠΤΔΕ, Π.Θ.

Αξιολόγηση εκπαιδευτικού λογισμικού (ελ) Αξιολόγηση εκπαιδευτικού λογισμικού (ελ) Τυπική διαδικασία που σχετίζεται άμεσα με τη σχεδίαση ελ Επιτρέπει σε τρίτους να εκτιμήσουν έναν τίτλο ελ, και κυρίως την αποτελεσματικότητά του ως προς το σκοπό για τον οποίον αναπτύχθηκε ή χρησιμοποιείται

Ανασκόπηση της βιβλιογραφίας ΟCDE/ΟECD. Centre for Educational Research and Technology (1989). Information Technologies in Education. The quest for quality software. Paris (επισήμανση της έλλειψης ελ ποιότητας και προτάσεις για τη σχεδίαση και αξιολόγηση) Squires, D. & McDougall, A. (1994). Choosing and Using Educational Software: A Teacher’s Guide. London: The Falmer Press (κατάρτιση ενός σχετικά πλήρους καταλόγου κριτηρίων αξιολόγησης ελ) Squires, D. & Preece, J. (1999). Predicting quality in educational software: Evaluating for learning, usability and the synergy between them. Interacting with Computers, 11, 467-483 (σειρά κριτηρίων αξιολόγησης ελ συμβατών με την εποικοδομητική προσέγγιση για τη μάθηση) Hinostroza, E., Rehbein, L., Mellar, H. & Preston, C. (2000). Developing educational software: A professional tool perspective. Education and Information Technologies, 5 (2), 103-117 (τρεις κατηγορίες μεθόδων αξιολόγησης τίτλων ελ: πειραματικές, με καταλόγους ελέγχου κριτηρίων -check-lists, ποιοτικές) Παναγιωτακόπουλος Χ., Πιερρακέας Χ. & Πιντέλας Π. (2003). Το εκπαιδευτικό λογισμικό και η αξιολόγησή του. Αθήνα: Μεταίχμιο (μια πιο τεχνική προσέγγιση στην αξιολόγηση ελ)

Ένας χρήσιμος δικτυακός τόπος Software Evaluation: http://hagar.up.ac.za/catts/learner/eel/ Conc/conceot.htm#Criteria%20for%20Evaluation

Κατηγορίες & διαδικασίες αξιολόγησης ελ (Hinostroza et al., 2000)

Πειραματικές μέθοδοι Αξιολογούν την κατάκτηση ενός σώματος γνώσης από τους/ις μαθητές/ριες Χρησιμοποιούν αρχικά (pre-) και τελικά ερωτηματολόγια (post-tests) όπου απαντούν άτομα από πειραματικές ομάδες (εργασία με το ελ), και άτομα από ομάδες ελέγχου (εργασία δίχως ελ) Χρησιμοποιήθηκαν: στις αρχικές έρευνες της δεκαετίας του ’80 που διερεύνησαν το μαθησιακό αποτέλεσμα της χρήσης του υπολογιστή, στις μετα-έρευνες που επέτρεψαν την εξαγωγή συμπερασμάτων σε ένα 2ο επίπεδο αξιολόγησης του αποτελέσματος της χρήσης ενός ελ στη μάθηση (πχ. Κulik, Kulik & Bangert, 1980, Kulik, Bangert & Williams, 1983)

Προσεγγίσεις με κριτήρια αξιολόγησης (check-lists) Αναφέρονται στην παιδαγωγική και στην τεχνική αξιολόγηση του ελ Τα κριτήρια διερευνούν εάν στο ελ υπάρχουν και σε ποιο βαθμό μια σειρά από χαρακτηριστικά που κατατάσσονται σε 4 κατηγορίες (οι 2 πρώτες αναφέρονται στην παιδαγωγική αξιολόγηση, και οι επόμενες 2 στην αισθητική & τεχνική αξιολόγηση του ελ)

1η κατηγορία: Εκπαιδευτικά χαρακτηριστικά Το ελ παρέχει κίνητρα, δηλαδή: προσελκύει και διατηρεί την προσοχή, προσδιορίζει την ενίσχυση, προκαλεί, προωθεί την άμιλλα, ελέγχει την εμπιστοσύνη, κεντρίζει την περιέργεια γενικά και ειδικά τη γνωστική περιέργεια, κινητοποιεί τη φαντασία, θέτει στόχους, υπολογίζει το βαθμό επίτευξής τους, είναι χρήσιμο, ικανοποιεί, έχει κατάλληλη διάρκεια & ποικιλία; Προωθεί την αλληλεπίδραση και την ανάδραση; Είναι προσανατολισμένο στο στόχο; Προσδιορίζει τον ρόλο του/ης εκπαιδευτικού; Χειρίζεται με κατάλληλο τρόπο τα λάθη των μαθητών/ριών;

2η: Σχέση με το αναλυτικό πρόγραμμα Το ελ περιέχει αλληλουχίες συμβατές με το αναλυτικό πρόγραμμα; Επιτρέπει τον πειραματισμό, δηλαδή την εφαρμογή σε πραγματικές καταστάσεις; Χρησιμοποιεί τις θέσεις της γνωστικής υπερφόρτωσης; Είναι συμβατό με τα νοητικά σχήματα των μαθητών/ριών; Κατανοούν οι χρήστες/ριες πώς πρέπει να πλοηγούνται και σε ποιο σημείο του λογισμικού βρίσκονται κάθε στιγμή; Αισθάνονται ότι βρίσκονται σε οικείο περιβάλλον ή ότι χάνονται; Παρέχονται εργαλεία ελέγχου της διαδικασίας από το/η μαθητή/ρια ή ο έλεγχος γίνεται εξ ολοκλήρου από το λογισμικό; Οι μαθητές/ριες είναι ελεύθεροι/ες να ‘ανακαλύψουν’ το λογισμικό, Η πλοήγηση είναι γραμμική ή διακλαδωμένη;

3η : Αισθητική Τα χρώματα είναι ελκυστικά και βοηθούν στην κατανόηση; Ο τρόπος παρουσίασης των κειμένων είναι κατάλληλος, γίνεται χρήση κατάλληλων υπερκειμένων, γραφικών, ήχου, κινούμενων σχεδίων και βίντεο; Η παρουσίαση της οθόνης είναι ελκυστική και κατανοητή; Η παρουσίαση των εκπαιδευτικών οδηγιών είναι κατανοητή; Υπάρχουν επαρκείς κατάλογοι επιλογών και εικονίδια; Η σχεδίαση της διεπαφής είναι κατάλληλη, παρέχονται πληροφορίες για τον προσανατολισμό και κατάλληλα εργαλεία πλοήγησης;

4η : Τεχνική Εξασφαλίζεται η ατομική χρήση του ελ; Το ελ καταγράφει δεδομένα από τις απαντήσεις και την επίδοση του/ης μαθητή/ριας; Μπορεί το ελ να χρησιμοποιηθεί με ασφάλεια σε περίπτωση περιορισμένης βλάβης;

Menon: Ένα μοντέλο αξιολόγησης ελ με τη μέθοδο των κριτηρίων αξιολόγησης Αναπτύχθηκε στο πλαίσιο του ομώνυμου δικτύου συνεργαζόμενων ακαδημαϊκών και ερευνητικών φορέων σε χώρες της Ευρώπης Από την Ελλάδα συμμετέχει το Ίδρυμα μελετών Λαμπράκη (http://www.lrf.gr) Με βάση το μοντέλο αυτό έχει αξιολογηθεί ένας μεγάλος αριθμός γνωστών τίτλων ελ πολυμέσων Menon, δικτυακός τόπος: http://www.menon.org

Ποιοτικές μέθοδοι Αξιολόγηση εγκατεστημένη σε συγκεκριμένα περιβάλλοντα και καταστάσεις Πχ. Squires & McDougall (1994): μέθοδος ανάλυσης των χαρακτηριστικών ελ με βάση τις αλληλεπιδράσεις μεταξύ χρήστη-σχεδιαστή, μεταξύ εκπαιδευτικού-χρήστη & μεταξύ εκπαιδευτικού-σχεδιαστή Crook (1994): αλληλεπιδράσεις δια μέσου των υπολογιστών ή με τη συνεργασία των μαθητών/ριών μπροστά ή γύρω από τον υπολογιστή Στην πλειοψηφία τους τα κριτήρια αυτά είναι εμπνευσμένα κυρίως από τη συμπεριφορική και λιγότερο από τη γνωστική προσέγγιση Squires & Preece (1999): επισήμανση του γεγονότος & διατύπωση μιας σειράς κριτηρίων αξιολόγησης ελ που είναι συμβατά με τις εποικοδομητικές προσεγγίσεις για τη μάθηση: γνωστική αυθεντικότητα και αυθεντικότητα πλαισίου γνωστικές προσεγγίσεις για την πρόβλεψη της αξιολόγησης κριτήρια ευχρηστίας και κοινωνικο-εποικοδομητικής αντίληψης για τη μάθηση αξιοπιστία, πολυπλοκότητα, αίσθημα οικειότητας και προσωπικής ‘ιδιοποίησης’ συνεργασία, συμφωνία με το αναλυτικό πρόγραμμα μάθηση μέσα από δημιουργικές στρατηγικές του λογισμικού

Αξιολόγηση κατά την ανάπτυξη ελ Αξιολόγηση συμβαίνει και κατά την ανάπτυξη του ελ. Μια τυπική διαδικασία στις περιπτώσεις αυτές ακολουθεί τα εξής στάδια: Ανάλυση των αναγκών εκπαίδευσης των μαθητών/ριών (ερωτηματολόγια, συνεντεύξεις, παρατηρήσεις, κλπ.) Παραγωγή πρωτοτύπων, ώστε να ληφθούν αποφάσεις για τη βασική παιδαγωγική προσέγγιση και παραγωγή ενός πρωτοτύπου (demo) του ελ Διαμορφωτική αξιολόγηση, ώστε να διαπιστωθεί εάν το ελ καλύπτει τις ανάγκες από την ανάλυση που προηγήθηκε και εάν μπορεί να βελτιωθεί Υλοποίηση των αναγκαίων αλλαγών, ώστε να διορθωθούν τα προβλήματα που φάνηκαν κατά τη διαμορφωτική αξιολόγηση Αρχική δοκιμασία ελέγχου (pre-test), ώστε να διαπιστωθεί εάν το ελ καλύπτει τους στόχους του (συμμετοχή μαθητών/ριών σε ομάδες πειραματικές και ομάδες ελέγχου)

Εφαρμογή του λογισμικού σε πραγματικές εκπαιδευτικές συνθήκες, με στόχο τη διερεύνηση της λειτουργίας του Τελική δοκιμασία ελέγχου (post-test) των μαθητών/ριών που μετέχουν σε πειραματικές ομάδες και σε ομάδες ελέγχου ώστε να διαπιστωθεί η αποτελεσματικότητα του ελ, και εάν υπάρχουν στατιστικά σημαντικές διαφορές μεταξύ των επιδόσεων των μαθητών/ριών στις δύο ομάδες Συνολική αξιολόγηση, που αποτιμά συνολικά τη συμβολή της χρήσης του ελ για τις συνθήκες της εργασίας των μαθητών/ριών και της διδασκαλίας γενικότερα Λήψη αποφάσεων σχετικά με την περαιτέρω εφαρμογή του ελ ως έχει, καθώς και για την περαιτέρω ανάπτυξή του Εφαρμογή σε ευρύ επίπεδο, ώστε να διαπιστωθεί η συμβολή της συστηματικής χρήσης του ελ στην εκπαίδευση και στους/ις μαθητές/ριες