Αξιολόγηση Εκπαιδευτικού Λογισμικού

ΤΙ ΑΞΙΟΛΟΓΟΥΜΕ; Η αξιολόγηση ως διαδικασία είναι άρρηκτα δεμένη με την παραγωγή του λογισμικού Δεν μπορούν να αξιολογούνται τα πάντα Προσδιορίζονται οι στόχοι της αξιολόγησης Πραγματοποιείτε προσδιορισμός αξόνων, βασικών κατευθύνσεων Ορίζονται τα διάφορα κριτήρια αξιολόγησης

Αξιολόγηση UNESCO: «Αξιολόγηση είναι μια διαδικασία που αποβλέπει στο να προσδιορίσει, όσο πιο συστηματικά και αντικειμενικά γίνεται, την καταλληλότητα, την αποτελεσματικότητα και το αποτέλεσμα μιας δραστηριότητας σε σχέση με τους στόχους της».

Προϊόν Περιγραφή Αξιολόγηση Κριτική Βελτίωση

Αξιολόγηση εκπαιδευτικού λογισμικού Η Σολωμονίδου (2006) ορίζει την αξιολόγηση εκπαιδευτικού λογισμικού πολυμέσων ως μια τυπική διαδικασία η οποία σχετίζεται άμεσα με τη σχεδίαση και επιτρέπει σε τρίτους να εκτιμήσουν ένα τίτλο λογισμικού και, ιδιαίτερα, την αποτελεσματικότητα του ως προς τον σκοπό για τον οποίο αναπτύχθηκε ή χρησιμοποιείται. Ο Μακράκης (2001) στο πλαίσιο αξιολόγησης υπερμεσικού εκπαιδευτικού υλικού συμπληρώνει πως η αξιολόγηση δεν είναι αυτοσκοπός αλλά μια συστηματική διαδικασία συλλογής και επεξεργασίας δεδομένων που αφορούν όλο τον κύκλο ενός λογισμικού

Στόχοι Αξιολόγησης (McDougall & Squires, 1995) να αναγνωρίζονται οι απόλυτοι εκπαιδευτικοί στόχοι που συμβαδίζουν με το πρόγραμμα σπουδών να μπορούν να συνδυάζονται οι σαφείς και οι απόλυτοι στόχοι για την επίτευξη συγκεκριμένων απαιτήσεων του προγράμματος σπουδών να αναγνωρίζεται πότε υπάρχει πρόθεση υπονόμευσης των ρητών και σαφών εκπαιδευτικών στόχων για τις ανάγκες του προγράμματος σπουδών να γίνονται αντιληπτές οι εκπαιδευτικές δυνατότητες που δίνει ένα εκπαιδευτικό λογισμικό που δεν κατασκευάστηκε με κάποιους συγκεκριμένους και σαφείς εκπαιδευτικούς στόχους.

Γενικές Αρχές Εκπαιδευτικής Αξιολόγησης Η αξιολόγηση πρέπει να έχει επίκεντρο τη μάθηση Μέσα από την αξιολόγηση είναι δυνατόν να βελτιωθεί το αξιολογούμενο προϊόν και τα συμπεράσματα που θα εξαχθούν να ληφθούν υπόψη σε μεταγενέστερο χρόνο Η αξιολόγηση είναι μία ερευνητική διαδικασία μέσα από αυτή μπορεί να παραχθεί νέα γνώση αν και προσανατολίζεται περισσότερο στην πρακτική χρήση των αποτελεσμάτων Η αξιολόγηση δεν είναι δυνατό να γίνει θεωρώντας που το εκπαιδευτικό λογισμικό είναι ένα ανεξάρτητο αντικείμενο από το γενικό εκπαιδευτικό πλαίσιο στο οποίο θα χρησιμοποιηθεί

Αντικειμενικοί Στόχοι Αξιολόγησης Από μαθησιακής άποψης Για να εντοπίσουμε το βαθμό της αποτελεσματικότητας του προϊόντος Για να διαπιστώσουμε το βαθμό καταλληλότητας του προϊόντος Για το σχεδιασμό νέων στρατηγικών, επιλογών και προτεραιοτήτων Από τεχνολογικής άποψης Για να εντοπίσουμε το βαθμό αποτελεσματικότητας των τεχνολογιών που χρησιμοποιήθηκαν για την ανάπτυξη του Για να διαπιστώσουμε το βαθμό καταλληλότητας των εργαλείων που χρησιμοποιήθηκαν για την ανάπτυξη του Για το σχεδιασμό νέων στρατηγικών, επιλογών και προτεραιοτήτων από τεχνολογικής άποψης

Ποιους αφορά η αξιολόγηση την επιστημονική ομάδα παραγωγής τον εκπαιδευτικό τον μαθητή τους ειδικούς στη διδακτική μεθοδολογία το φορέα χρηματοδότησης για την παραγωγή του προϊόντος την εκπαιδευτική - διοικητική αρχή την ερευνητική - εκπαιδευτική κοινότητα

Στρατηγικές Αξιολόγησης Αναλυτική ή Παραδοσιακή (Πραγματοποίηση συγκεκριμένων στόχων) Ποσοτική – Κυρίως με Ερωτηματολόγια Ποιοτική ή διευκρινιστική (Ο άνθρωπος ως κύριο ερευνητικό εργαλείο) Διάλογος Συνέντευξη Συμμετοχική Παρατήρηση Συνδυασμένη ή μεικτή Ποσοτικές και Ποιοτικές Αναλύσεις

Θεωρητικό Πλαίσιο αξιολόγησης Αποτελείται από παράγοντες προσωπικούς παιδαγωγικούς οργανωτικούς δημογραφικούς τεχνολογικούς Όλοι οι παραπάνω παράγοντες αλληλοεπηρεάζονται.

Θεωρητικό Πλαίσιο αξιολόγησης Στους προσωπικούς συμπεριλαμβάνονται οι προσδοκίες ικανότητες οι γνώσεις και εμπειρίες οι στάσεις και αντιλήψεις που έχουν οι εκπαιδευόμενοι προτού έρθω σε επαφή κατά τη διάρκεια και μετά το τέλος της ενασχόλησή τους με το λογισμικό Στους παιδαγωγικούς συμπεριλαμβάνεται το γνωστικό επίπεδο οι διδακτικές μέθοδοι και τα είδη μάθησης. Στους οργανωτικούς παράγοντες συμπεριλαμβάνεται η ανθρώπινη υποδομή, ο τρόπος οργάνωσης και ο τρόπος διαχείρισης πόρων Η δημογραφικούς αναφέροντας τα χαρακτηριστικά της ομάδας στόχου που θα χρησιμοποιήσει το υπό αξιολόγηση λογισμικό όπως φύλο ηλικία κοινωνικο- οικονομικό επίπεδο. Στους τεχνολογικούς συμπεριλαμβάνεται κυρίως η διαθέσιμη υλικοτεχνική υποδομή.

Ορισμός Πλαισίου Αξιολόγησης Ποιο είναι το γενικό θεωρητικό-εννοιολογικό πλαίσιο της αξιολόγησης Ποιοι είναι οι αντικειμενικοί στόχοι της αξιολόγησης (τόσο της τεχνικής, όσο και της εκπαιδευτικής-παιδαγωγικής): για παράδειγμα αν αξιολογείται η αποτελεσματικότητα ενδεχομένων νέων τεχνολογιών ή καινοτομιών που χρησιμοποιούνται, ο βαθμός καταλληλότητας του λογισμικού, ο λόγος κόστους προς απόδοση (διδακτική ή άλλη απόδοση). Ποιους αφορά η αξιολόγηση, με άλλα λόγια ποιοι θα είναι οι τελικοί αποδέκτες των αποτελεσμάτων της αξιολόγησης; Ποιοι θα αποτελούν τους αξιολογητές και με ποιο τρόπο θα επιλεγούν; Ποια κατηγορία (στρατηγική) αξιολόγησης επιλέγεται: αναλυτική ή συνοπτική, ποσοτική, ποιοτική, διευκρινιστική, συνδυασμένη κλπ Το είδος της αξιολόγησης που επιλέγεται: διαμορφωτική, τελική, ερμηνευτική ή σύμφωνη με διάφορα άλλα μοντέλα, (όπως το μοντέλο Lawton - δες σχετική βιβλιογραφία).

Ποιοι αξιολογούν Όλα τα εμπλεκόμενα μέλη της υλοποίησης Εκπαιδευτές Εκπαιδευόμενοι

Μια προσέγγιση κατηγοριών αξιολόγησης, με βάση τον χρόνο (Kennedy, 2003) τυπική διαρθρωτική αξιολόγηση (formal evaluation): Στοχεύει στον επαναπροσδιορισμό και τη βελτίωση ενός εκπαιδευτικού λογισμικού όταν αυτό είναι υπό κατασκευή. αθροιστική αξιολόγηση (summalive evaluation): Στοχεύει να αξιολογήσει την άμεση αποτελεσματικότητα του εκπαιδευτικού λογισμικού αμέσως μόλις εφαρμοστεί σε μια μαθησιακή διαδικασία διαθεματική αξιολόγηση (integrative evaluation): Στοχεύει στο να αξιολογήσει πως το πρόγραμμα ενσωματώνεται στο υπάρχον πρόγραμμα σπουδών με στόχο να ενσωματωθεί όσο το δυνατόν γίνεται καλύτερα προγνωστική αξιολόγηση ή αξιολόγηση πρόβλεψης (predictive evaluation) που αναφέρεται στην προγενέστερη αποτίμηση της ποιότητας και των δυνατοτήτων ενός λογισμικού πριν χρησιμοποιηθεί από την ομάδα στόχο και μπορεί να αποτελεί και μέρος της διαμορφωτικής αξιολόγησης

Μέθοδοι αξιολόγησης εκπαιδευτικού λογισμικού Διαμορφωτική Τελική Προβλεπτική Ερμηνευτική Μοντέλο Lawton Ευρετική Ανάλογα με το χρόνο πραγματοποίησης τον προσωπικό στόχο ή το θεωρητικό πλαίσιο λειτουργίας τους.

Διαμορφωτική Αξιολόγηση Πραγματοποιείται κατά την εξέλιξη του σχεδιασμού και την ανάπτυξη του εκπαιδευτικού λογισμικού Μπορεί να εφαρμοστεί σε διάφορα στάδια της παραγωγής του εκπαιδευτικού λογισμικό Μπορεί να πραγματοποιηθεί υπό προϋποθέσεις και κατά τη διάρκεια της εφαρμογής του εκπαιδευτικού λογισμικού (για τη βελτίωση ενός μερικώς νέου σχεδιασμού) Έχει ως στόχο να αναδείξει τις απαιτούμενες αλλαγές που πρέπει να γίνουν ώστε να διατηρήσει τις μαθησιακές ωφέλιμες επιδράσεις του Αποσκοπεί να δώσει πληροφορίες σχετικά με την ποιότητα του Εκπαιδευτικού Λογισμικού, οι οποίες πιθανόν να συντελέσουν στη βελτίωση του

Διαμορφωτική Αξιολόγηση Εκτίμηση Αναγκών (των χρηστών ώστε να υπάρχει κατάλληλη ανταπόκριση από το λογισμικό) Καθορισμός της δομής (Περιεχόμενο σε σχέση με την ομάδα στόχου) Διαδικασία Υλοποίησης έργου (Πορεία με εναλλακτικές προσεγγίσεις) Πιστότητα Υλοποίησης σε σχέση με τις προδιαγραφές που έχουν τεθεί Πρόκειται για μία καθαρά ποιοτική προσέγγιση Μέσα από αυτή εξετάζονται οι έννοιες και τα περιεχόμενα των γνωστικών αντικειμένων που διδάσκονται αν είναι επαρκώς προσβάσιμα και κατανοητά από τους διδασκόμενους

Τελική – Συνολική Αξιολόγηση Αποτελέσματος (Αν έχουν επιτευχθεί οι επιδιωκόμενοι στόχοι) Επίδρασης (Επιδράσεις από αποτελέσματα που δεν έχουν προβλεφθεί) Δευτερεύουσα (Νέες ερευνητικές ερωτήσεις που αναδείχθηκαν από την τελική αξιολόγηση) Μετα – ανάλυσης (αναστοχασμός με βάση τις αξιολογήσεις)

Η αξιολόγηση Πρόβλεψης Διενεργείται από εκπαιδευτικούς ή από ειδικούς. Μπορεί να αποτελέσει μέρος της διαμορφωτικής αξιολόγησης. Μέσω checklist, εκθέσεις, κριτικές Προσανατολισμένη στο προϊόν και όχι με βάση το θεωρητικό πλαίσιο.

Η Ερμηνευτική Αξιολόγηση Στηρίζεται στην παρατήρηση της χρήσης του λογισμικού Συνδέεται άμεσα με το διδακτικό περιεχόμενο Αυστηρά με βάση το καθορισμένο θεωρητικό πλαίσιο

Το μοντέλο του Lawton Το πειραματικό Μοντέλο Στο εργαστήριο Τεχνικά κυρίως χαρακτηριστικά Ποσοτικού τύπου Μερικές φορές δε συμφωνούν με τα αποτελέσματα της χρήσης Δεν υπάρχουν καθόλου ποιοτικές μετρήσεις (π.χ. κίνητρο χρήσης) Το διαφωτιστικό Μοντέλο Ποιοτικής Αξιολόγησης Ελάχιστη ανάμειξη αξιολογητή Στηρίζεται στην παρατήρηση και στις συνεντεύξεις Ανακάλυψη ατομικών διαφορών Όχι αντικειμενικότητα αξιολογητή

Το μοντέλο του Lawton Κοινοποίηση αποτελεσμάτων Αφορά τους συμβούλους λογισμικού Έκθεση και κοινοποίηση απόψεων Το Μοντέλο Δασκάλου - Ερευνητή Είδος διαμορφωτικής αξιολόγησης Χρησιμοποιείται ο δάσκαλος Βοηθάει στα προβλήματα που αντιμετωπίζουν οι μαθητές με το λογισμικό Εκτιμάται το μαθησιακό αποτέλεσμα του λογισμικού Χρησιμοποιείται μαζί με άλλες μεθόδους

Το μοντέλο του Lawton Το ερευνητικό & Αναπτυξιακό Μοντέλο Απαιτεί τον καθορισμό των μετρήσιμων αντικειμενικών στόχων Λαμβάνει υπόψη το εκπαιδευτικό λογισμικό ως πρόγραμμα και όχι ως εκπαιδευτικό εργαλείο Το Μοντέλο μελέτης περίπτωσης Τμήμα τις τελικής αξιολόγησης Εστιάζει σε ειδικές περιπτώσεις Επιλέγονται πολύ προσεκτικά οι περιπτώσεις μελέτης Δεν υπάρχει γενίκευση της μεθόδου

Η Ευρετική Αξιολόγηση Άτυπη προσέγγιση Από ειδικούς Με βάση κανόνων και ερωτήσεων Στηρίζετε σε θεωρητικά μοντέλα και συσσωρευμένη εμπειρία Καλύτερα να πραγματοποιείται από ομάδα ειδικών Καλή μέθοδος όταν το λογισμικό έχει ασαφείς προδιαγραφές

Η αξιολόγηση του εκπαιδευτικού λογισμικού με βάση τους στόχους και το χώρο αναφοράς της (Wrench, 2001, Παναγιωτακόπουλος, Πιερρακέας & Πιντέλας, 2003, Lobo, Mousalli-Kayat & Rivas, 2010) Αξιολόγηση των παιδαγωγικών χαρακτηριστικών, τα οποία έχουν προκύψει με βάση τις προδιαγραφές που τέθηκαν πριν την έναρξη της υλοποίησης του εκπαιδευτικού λογισμικού. Αξιολόγηση των τεχνολογικών χαρακτηριστικών, τα οποία επίσης, έχουν υιοθετηθεί με βάση τις προδιαγραφές που τέθηκαν πριν την έναρξη της υλοποίησης του εκπαιδευτικού λογισμικού. Αν ως κριτήριο χρησιμοποιηθεί η προέλευση του αξιολογητή, τότε η αξιολόγηση μπορεί να διαχωριστεί κυρίως σε εσωτερική και σε εξωτερική (Lobo, Mousalli-Kayat & Rivas, 2010).

Κριτήρια αξιολόγησης εκπαιδευτικού λογισμικού Αξιολόγηση του περιεχομένου (εφόσον υφίσταται) Αξιολόγηση της παιδαγωγικής ή διδακτικής μεθόδου Αξιολόγηση της διεπαφής (διεπιφάνειας) συστήματος - χρήστη (interface) Αξιολόγηση μαθητή και μαθησιακού αποτελέσματος ("διδακτική αποτελεσαμτικότητα") Στήριξη της διδασκαλίας – ύπαρξη εγχειριδίων Αξιολόγηση κόστους Τεχνική αξιολόγηση Λοιπά θέματα (Θέματα που δεν έχουν οριστεί)

Μιχαήλ Κλεισαρχάκης Ε.Δι.Π. Τέλος Μιχαήλ Κλεισαρχάκης Ε.Δι.Π.