Τεχνικά ζητήματα εκπαιδευτικής αξιολόγησης Θάνος Βέρδης

Συνεργασία με τους ειδικούς μαθημάτων για την κατασκευή και τη στάθμιση αξιολογικών εργαλείων Συνεργασία για την ποιοτική ή ποσοτική αξιολόγηση του εκπαιδευτικού έργου Έκφραση έγκυρης και τεκμηριωμένης γνώμης προς τα κέντρα χάραξης εκπαιδευτικής πολιτικής

Υπάρχουν δύο τρόποι για να κάνουμε στάθμιση: ο κλασικός και ο νέος Συνεργασία με τους ειδικούς μαθημάτων για την κατασκευή και τη στάθμιση αξιολογικών εργαλείων Υπάρχουν δύο τρόποι για να κάνουμε στάθμιση: ο κλασικός και ο νέος

Σύμφωνα με τον κλασικό τρόπο, βρίσκουμε τον συντελεστή αξιοπιστίας ενός εργαλείου αξιολόγησης και μετά βλέπουμε ποια ερωτήματα ή θέματα δεν δουλεύουν καλά (έχουν μικρό συντελεστή) Δείκτης αξιοπιστίας Μικροί συντελεστές

Στη συνέχεια, υπολογίζουμε το συνολικό σκορ των μαθητών σε όλα ή σε κάποια ισοδύναμα από τα εναπομείναντα θέματα ή ερωτήματα ή ερωτήσεις

b - Δυσκολία του θέματος. Όσο δεξιότερα, τόσο δυσκολότερα Σύμφωνα με τον νέο τρόπο στάθμισης, συνδέουμε τον βαθμό μιας ικανότητας ή τον βαθμό γνώσης ενός αντικειμένου με την πιθανότητα να απαντήσει σωστά ο μαθητής. η γραφική παράσταση της «ικανότητας» προς την πιθανότητα σωστής απάντησης. Όσο αυξάνεται η ικανότητα, τόσο αυξάνεται και η πιθανότητα σωστής απάντησης c - «Ασυμπτωτικός παράγοντας» πιθανότητα να απαντήσει σωστά κάτι που δεν γνωρίζει Now that you have a solution, outline your action plan. Using the group process, agree upon an orderly direction to reach your goals. List the action steps. You can use the Meeting Minder to record action items for meeting participants. Identify resources needed. Assign responsibilities. Establish methods of accountability. Define a time line. Identify costs. Define current resources. Also, consider what is needed for success. Training? Specific expertise? Additional information? Special materials? Additional resources? Management buy-in? Proper planning prior to action leads to goal achievement. b - Δυσκολία του θέματος. Όσο δεξιότερα, τόσο δυσκολότερα a - Διάκριση. Όσο πιο απότομη η καμπύλη, τόσο μεγαλύτερη η διακριτική ικανότητα για μαθητές με διαφορετική γνώση του αντικειμένου

Καθήκον του ειδικού είναι να υπολογίσει τους συνετελεστές a, b, και c

Στάθμιση ερωτηματολογίων Εκτός, όμως, από στάθμιση τεστ, ο ειδικός σε θέματα αξιολόγησης θα πρέπει να σταθμίζει ερωτηματολόγια. Αυτό γίνεται ως εξής: Φανταστείτε ότι έχετε μια πολλαπλή παλινδρόμηση, μόνο που ως ανεξάρτητη μεταβλητή έχετε την πιθανότητα να απαντήσει κάποιος «πολύ λίγο», «λίγο», «αρκετά», και «πάρα πολύ». Εξαρτημένες μεταβλητές στο μοντέλο αυτό είναι όλα τα άτομα που έχετε στο δείγμα, τα διαφορετικά επίπεδα ικανότητάς των ατόμων και την αλληλεπίδραση ατόμων-ικανότητας. Αυτή είναι η στάθμιση μέσω Rasch Models (προς τιμήν του Δανού μαθηματικού Georg Rasch που τα εφάρμοσε στην εκπαιδευτική αξιολόγηση). Αριστερά, βλέπουμε μια τέτοια στάθμιση ερωτηματολογίου από έρευνα του Παιδαγωγικού Ινστιτούτου Βλέπουμε ότι κάποιοι με πολύ θετική άποψη για το πρόγραμμα, είχαν σχεδόν 30% πιθανότητα να απαντήσουν «λίγο ικανοποιημένοι»!

Pisa: What makes the difference? Explaining the gap in Pisa scores between German and Finland Andreas Ammermüller

Όταν κάνουμε μια αξιολόγηση και βλέπουμε διαφορές στην επίδοση, πόσο από αυτή τη διαφορά οφείλεται στο σχολείο και πόσο σε προσωπικούς παράγοντες των μαθητών;

Δύο σχολεία, με δύο μαθητές το καθένα Μέσοι όροι Δύο σχολεία, με δύο μαθητές το καθένα 3 2 -1 -4 επίδοση Σχολείο 2 Σχολείο 1 Ο γενικός μέσος όρος (είναι 0) Γενικός μέσος όρος = (3+2+(-1)+(-4))/4=0

Συνολική διακύμανση (variance) 3 2 -1 -4 επίδοση Σχολείο 2 Σχολείο 1 Ο γενικός μέσος όρος (0) Η συνολική διακύμανση είναι το άθροισμα των τετραγώνων των διαφορών των τιμών από τον γενικό μέσο όρο, διαιρεθέν δια το μέγεθος του δείγματος (4) (9+4+1+16)/4=7,5

Διακύμανση σε επίπεδο σχολείου (μεταξύ σχολείων) 3 2 -1 -4 επίδοση Σχολείο 2 Σχολείο 1 2,5 -2,5 γενικός μέσος (0) Διακύμανση των μέσων των σχολείων από τον γενικό μέσο = (2,52+(-2,5)2)/2=6,25 Συνολική διακύμανση =7,5

Διακύμανση σε επίπεδο μαθητών (εντός σχολείων) 3 2 -1 -4 επίδοση Σχολείο 2 Σχολείο 1 2,5 -2,5 Η διακύμανση των σκορ των μαθητών γύρω από τον μέσο όρο τους είναι ((3-2,5)2 + (2-2,5)2 + (-1-(-2,5))2 + (-4-(-2,5))2 )/4 =1,25 Η διακύμανση των μέσων όρων των σχολείων γύρω από τον γενικό μέσο όρο = (2,52+(-2,5)2)/2=6,25 Συνολική διακύμανση =7,5=6,25+1,25

Ξαναθέτοντας την ερώτηση Όταν κάνουμε μια αξιολόγηση και βλέπουμε διαφορές στην επίδοση, πόσο από αυτή τη διαφορά οφείλεται στο σχολείο και πόσο σε προσωπικούς παράγοντες των μαθητών; 6,25/7,5= 82% από τη συνολική διακύμανση οφείλεται σε παράγοντες που έχουν να κάνουν με το σχολείο 1,25/7,5= 18% από τη συνολική διακύμανση οφείλεται σε παράγοντες που έχουν να κάνουν με τους μαθητές

Εξήντα πέντε σχολεία, τέσσερεις χιλιάδες μαθητές γενικός μέσος όρος=0 Συνολική διακύμανση = 1 Διακύμανση των μέσων των σχολείων γύρω από τον γενικό μέσο=0,15 Διακύμανση των σκορ των μαθητών γύρω από τους μέσους όρους των σχολείων τους=8,85 85% της διακύμανσης οφείλεται σε παράγοντες που έχουν να κάνουν με μαθητές. Το 15% οφείλεται σε παράγοντες που έχουν να κάνουν με το σχολείο

Το multilevel model υποθέτει ότι οι μέσοι όροι των σχολείων, καθώς και οι αποκλίσεις των μαθητών από τους μέσους όρους των σχολείων τους είναι κανονικά κατανεμημένες. Η Κανονική κατανομή έχει δύο παραμέτρους Τον μέσο όρο και τη διακύμανση. Στο μοντέλο μας N(0, 0,85) για τους μαθητές και N(0, 0,15) για τα σχολεία σχολεία μαθητές Κερδίζουμε σε ισχύ και σε ευελιξία όταν έχουμε να κάνουμε με κανονικές κατανομές

Πώς μπορούμε να εξηγήσουμε τη διακύμανση σε επίπεδο μαθητών και σχολείων; Γνωρίζουμε την προηγούμενη επίδοση των μαθητών

Πώς μπορούμε να εξηγήσουμε τη διακύμανση σε επίπεδο μαθητών και σχολείων; Πώς βλέπουμε τη διακύμανση μεταξύ σχολείων και τη διακύμανση μεταξύ μαθητών, όταν λαμβάνουμε υπόψη την προηγούμενη επίδοση; επίδοση προηγούμενη επίδοση επίδοση Τόσο η διακύμανση μεταξύ σχολείων, όσο και η διακύμανση μεταξύ μαθητών θα μειωθούν, αν λάβουμε υπόψη την προηγούμενη επίδοση

Τώρα, σε πραγματικά δεδομένα… Θυμηθείτε ότι η διακύμανση μεταξύ σχολείων και μεταξύ μαθητών, πριν λάβουμε υπόψη την προηγούμενη επίδοση ήταν 0,15 και 0,85 αντιστοίχως. Όταν λάβαμε υπόψη την προηγούμενη επίδοση, η διακύμανση μεταξύ σχολείων και μεταξύ μαθητών μειώθηκε στο 0,092 και 0,566. Έτσι, η γνώση της προηγούμενης επίδοσης μειώνει κατά 39% τη διακύμανση μεταξύ σχολείων και κατά 35% τη διακύμανση μεταξύ μαθητών Το παραπάνω εύρημα είναι σημαντικό αλλά αναμενόμενο: Σε επίπεδο μαθητών, η προηγούμενη επίδοση είναι αξιόπιστος δείκτης για τη μελλοντική επίδοση, ενώ αυτό ισχύει και για τη σύσταση του σχολείου από πλευράς επιδόσεως των μαθητών

Επεκτείνοντας την ερώτηση… Υπάρχουν κι άλλες μεταβλητές που να «εξηγούν» τις διαφορές μεταξύ σχολείων Για παράδειγμα, παίζει ρόλο ο τύπος του σχολείου; Αν, επιπροσθέτως της προηγούμενης επίδοσης, λάβουμε υπόψη και τον τύπο του σχολείου, η διακύμανση σε επίπεδο σχολείου μειώνεται κατά 13% επιπλέον.

Διαφορές σχολείων ανάλογα με τον τύπο τους mixed school boy school girl school Goldstein, H. and M. Healy (1995). "The graphical presentation of a collection of means." Journal of the Royal Statistical Society 158(1): 175-177.

Δεν μπορούμε να τα κάνουμε αυτά ταυτόχρονα Γνωστές τεχνικές Πόση είναι η διακύμανση μεταξύ σχολείων; Ποιες «ανεξάρτητες» (καλύτερα «επεξηγούσες») μεταβλητές σε επίπεδο σχολείου την εξηγούν; Με τις γνωστές στατιστικές τεχνικές μπορούμε: Να υπολογίσουμε τη διακύμανση μεταξύ σχολείων ή Να βρούμε επεξηγούσες μεταβλητές (όπως είναι ο τύπος του σχολείου) Δεν μπορούμε να τα κάνουμε αυτά ταυτόχρονα

mixed school boy school girl school Επίσης… Αν φτιάξουμε ένα συνηθισμένο γραμμικό μοντέλο καταλήγουμε να έχουμε ψευδή διαστήματα εμπιστοσύνης Αυτό γίνεται γιατί τα συνηθισμένα γραμμικά μοντέλα δεν λαμβάνουν υπόψη τις ομαδοποιήσεις των δεδομένων μέσα στα ίδια σχολεία mixed school boy school girl school Οι προϋποθέσεις περί κανονικότητας στις κατανομές (θυμηθείτε) επιτρέπουν στο multilevel model να υπολογίσει τόσο τη διακύμανση μεταξύ σχολείων, όσο και τις επεξηγούσες μεταβλητές

Το πιο σπουδαίο πράγμα είναι η διακύμανση Φτιάξαμε ένα μοντέλο, με βάση την προηγούμενη επίδοση και τον τύπο του σχολείου Άρα έχουμε μοντελοποιήσει τη συνολική διακύμανση με βάση μεταβλητές σε επίπεδο μαθητών και σε επίπεδο σχολείου Οι γνωστές στατιστικές μέθοδοι δεν μπορούν να διαχωρίσουν τη διακύμανση σε διακύμανση μεταξύ σχολείου και διακύμανση μεταξύ μαθητών. Η συνολική διακύμανση αναφέρεται ως “error” (σφάλμα) Όμως αυτή η διακύμανση δεν είναι “error”, γιατί περιέχει δομή. Τα ιεραρχικά γραμμικά μοντέλα (multilevel modells) αποτελούν κατάλληλο εργαλείο για την αποκάλυψη της εν λόγω δομής

Η επίδραση του οικογενειακού περιβάλλοντος; Πρόσφατες μελέτες στον τομέα της Εξελικτικής Ψυχολογίας και της δείχνουν ότι κατά πάσα πιθανότητα η επίδραση του ατομικού-ιδιωτικό περιβάλλοντος (non-shared environment), καθώς και διάφοροι προσωπικοί γενετικοί παράγοντες (genetic influences) παίζουν μεγαλύτερο ρόλο από το περιβάλλον που μοιραζόμαστε με τους άλλους (shared environment), όπως είναι π.χ. το σχολείο (Plomin et al, 1994˙ Turkheimer&Waldron, 2000)

Θα διανεμηθεί το άρθρο: Understanding the sources of differential parenting: the role of child and family level effects. Jenny Jenkins, Jon Rasbash and Tom O’Connor Developmental Psychology 2003(1) 99-113

Differential parental treatment Σημαντικός παράγοντας του ιδιωτικού-ατομικού περιβάλλοντος είναι η διαφοροποίηση μεταξύ των αδερφών Διαφοροποιημένη γονική συμπεριφορά εξηγεί διαφορές στην ομαλή adustumetn Ποιες είναι οι πηγές της διαφορικής γονικής συμπεριφοράς; Χαρακτηριστικά του παιδιού που δεν μοιράζονται: ηλικία, βιολογικοί παράγοντες Μπορεί το κοινό οικογενειακό περιβάλλον να εξηγήσει τη διαφορική συμπεριφορά των γονέων;

Το συνολικό περιβάλλον της οικογένειας (κοινό περιβάλλον) επηρεάζει τον βαθμό διαφοροποίησης στη συμπεριφορά απέναντι στα παιδιά; «Οι γονείς έχουν κάποιους συγκεκριμένους πόρους (χρόνος, προσοχή, υπομονή, οικονομική στήριξη) να δώσουν στα παιδιά τους. Σε οικογένειες στις οποίες αυτοί οι πόροι επενδύονται για την αντιμετώπιση οικονομικών ή άλλων δυσκολιών ή προβλημάτων στον γάμο, οι γονείς γίνονται συνειδητά ή ασυνείδητα λιγότερο «δίκαιοι» σε σχέση με το πώς φέρονται στα παιδιά τους» Henderson et al 1996. Οι Jenny Jenkins, Jon Rasbash και Tom O’Connor χρησιμοποιούν multilevel models για να ελέγξουν την παραπάνω υπόθεση. Χρησιμοποιούν τέσσερις επεξηγούσες μεταβλητές: (α) κοινωνικο-οικονομικό επίπεδο, (β) μονογονεϊκή οικογένεια, (γ) μεγάλη οικογένεια, και (δ) συζυγικά προβλήματα

Μέσος όρος και διακύμανση Ο μέσος όρος και η διακύμανση μέσα σε κάθε οικογένεια επηρεάζεται από το κοινωνικο-οικονομικό επίπεδο Πέντε οικογένειες διαφορετικού κοινωνικο-οικονομικού επιπέδου (κοε) Μοντελοποιούμε την επίδραση του κοε στους μέσους όρους των οικογενειών καλή γονεϊκότητα Οι μέσοι όροι των οικογενειών γύρω από τη διακεκομμένη γραμμή Κοινωνικό-οικονομικό επίπεδο Όμως, η καλή γονεϊκότητα μειώνεται, ανάλογα με το πόσο μειώνεται το κοινωνικο-οικονομικό επίπεδο

Το πρώτο σκαλί Εις τον Θεόκριτο παραπονιούνταν μιά μέρα ο νέος ποιητής Ευμένης· «Τώρα δυό χρόνια πέρασαν που γράφω κ' ένα ειδύλιο έκαμα μονάχα. Το μόνον άρτιόν μου έργον είναι. Αλλοίμονον, είν' υψηλή το βλέπω, πολύ υψηλή της Ποιήσεως η σκάλα· και απ' το σκαλί το πρώτο εδώ που είμαι ποτέ δεν θ' αναιβώ ο δυστυχισμένος». Ειπ' ο Θεόκριτος· «Αυτά τα λόγια ανάρμοστα και βλασφημίες είναι». Κι αν είσαι στο σκαλί το πρώτο, πρέπει νάσαι υπερήφανος κ' ευτυχισμένος. Εδώ που έφθασες, λίγο δεν είναι· τόσο που έκαμες, μεγάλη δόξα. Κι αυτό ακόμη το σκαλί το πρώτο πολύ από τον κοινό τον κόσμο απέχει. Εις το σκαλί για να πατήσεις τούτο πρέπει με το δικαίωμά σου νάσαι πολίτης εις των ιδεών την πόλι. Και δύσκολο στην πόλι εκείνην είναι και σπάνιο να σε πολιτογραφήσουν. Στην αγορά της βρίσκεις Νομοθέτας που δεν γελά κανένας τυχοδιώκτης. Εδώ που έφθασες, λίγο δεν είναι· τόσο που έκαμες, μεγάλη δόξα

Τέλος