Αξιολόγηση μαθητών σε θέματα Φυσικών Επιστημών του PISA: μεθοδολογικά ζητήματα Δρ. Ψαλίδας Αργύριος, Γενικό Λύκειο Κολλεγίου Αθηνών, Μονάδα Εκπαιδευτικής.

Παρουσίαση με θέμα: "Αξιολόγηση μαθητών σε θέματα Φυσικών Επιστημών του PISA: μεθοδολογικά ζητήματα Δρ. Ψαλίδας Αργύριος, Γενικό Λύκειο Κολλεγίου Αθηνών, Μονάδα Εκπαιδευτικής."— Μεταγράφημα παρουσίασης:

1 Αξιολόγηση μαθητών σε θέματα Φυσικών Επιστημών του PISA: μεθοδολογικά ζητήματα
Δρ. Ψαλίδας Αργύριος, Γενικό Λύκειο Κολλεγίου Αθηνών, Μονάδα Εκπαιδευτικής Έρευνας και Παιδαγωγικής, Σχολή Ανθρωπιστικών Σπουδών, Ελληνικό Ανοικτό Πανεπιστήμιο. Δρ. Αποστολόπουλος Κωνσταντίνος Γενικό Πειραματικό Λύκειο Βαρβακείου Σχολής, Μονάδα Εκπαιδευτικής Έρευνας και Παιδαγωγικής, Σχολή Ανθρωπιστικών Σπουδών, Ελληνικό Ανοικτό Πανεπιστήμιο. Αναπληρώτρια Καθηγήτρια Χατζηνικήτα Βασιλεία Μονάδα Εκπαιδευτικής Έρευνας και Παιδαγωγικής, Επίκουρος Καθηγητής Κατσής Αθανάσιος Τμήμα Κοινωνικής & Εκπαιδευτικής Πολιτικής, Πανεπιστήμιο Πελοποννήσου.

2 Δομή εισήγησης PISA και επιστημονικός εγγραμματισμός
Αναγκαιότητα και στόχοι και της έρευνας Μέθοδος Αποτελέσματα Συμπεράσματα – Περιορισμοί - Προτάσεις

3 Η διεθνής συγκριτική έρευνα PISA
Εκκίνηση: 1997 Πολιτική, κυρίως, πρωτοβουλία. Παρακολούθηση εκπαιδευτικών συστημάτων ανά 3ετία. Με όρους επίδοσης μαθητών. Σκοπός: διαμόρφωση προτάσεων για βελτίωση ποιότητας εκπαιδευτικών συστημάτων.

4 Οι κύκλοι του PISA Αξιολόγηση γνώσεων και δεξιοτήτων σε τρία γνωστικά πεδία: Κατανόηση Κειμένου, Μαθηματικά, Φυσικές Επιστήμες. Αξιολόγηση μέσω γραπτού τεστ (διάρκεια 2 ωρών). 1ος κύκλος το 2000: Κατανόηση Κειμένου 2ος κύκλος το 2003: Μαθηματικά 3ος κύκλος το 2006: Φυσικές Επιστήμες Ολοκλήρωση προγράμματος PISA: 2015.

5 Ο εγγραμματισμός Κεντρική έννοια PISA: Εγγραμματισμός (literacy).
Εγγραμματισμός: συνδυασμός των γνώσεων γύρω από μία γνωστική περιοχή και ικανότητα εφαρμογής τους σε καθημερινές καταστάσεις. Οι ερωτήσεις επιλέγονται ανεξάρτητα από το αν περιλαμβάνονται ή ασκούνται στο πλαίσιο εφαρμογής των εθνικών ΑΠΣ.

6 Σκοπός του PISA H αξιολόγηση της ικανότητας των 15χρονων μαθητών να εφαρμόζουν βασικές γνώσεις και δεξιότητες για να αντιμετωπίζουν καταστάσεις και προβλήματα της καθημερινής ζωής.

7 Ο επιστημονικός εγγραμματισμός σύμφωνα με το PISA
«Η ικανότητα του ατόμου να χρησιμοποιεί την επιστημονική γνώση, να αναγνωρίζει ερωτήματα και να βγάζει συμπεράσματα που βασίζονται σε επιστημονικά δεδομένα, έτσι ώστε να κατανοεί το φυσικό κόσμο που τον περιβάλλει και να συμβάλλει στη λήψη των αποφάσεων για τις αλλαγές που η ανθρώπινη δραστηριότητα επιφέρει σ’ αυτόν» (OECD, 1999˙ OECD, 2003).

8 Δομή του επιστημονικού εγγραμματισμού
Τρεις οργανωτικοί άξονες δομούν και ορίζουν λειτουργικά τον επιστημονικό εγγραμματισμό (OECD, 2003). 1. Επιστημονικές έννοιες (γνωστικές περιοχές) 2. Επιστημονικές διαδικασίες 3. Πλαίσιο (πεδίο εφαρμογής των επιστημονικών εννοιών και διαδικασιών)

9 Πεδία και διαδικασίες 9 Πεδία Φυσικών Επιστημών Ζωή και Υγεία
Περιβάλλον Τεχνολογία Επιστημονικές διαδικασίες Περιγραφή, εξήγηση και πρόβλεψη επιστημονικών φαινομένων Κατανόηση της σημασίας της επιστημονικής έρευνας και της μεθοδολογίας της Ερμηνεία επιστημονικών δεδομένων και εξαγωγή συμπερασμάτων

10 Η μορφή των ερωτήσεων του PISA
Δομημένες σε θεματικές ομάδες. Κάθε θέμα περιλαμβάνει ένα εισαγωγικό κείμενο-ερέθισμα. Ακολουθεί μια σειρά από ερωτήσεις κλειστού ή ανοικτού τύπου (π.χ. πολλαπλής επιλογής, συμπλήρωσης κενού, σύντομης απάντησης, εκτεταμένης απάντησης) που σχετίζονται με αυτό το αρχικό κείμενο-ερέθισμα.

11 Εισαγωγικό κείμενο: * εκτεταμένο * αφορά σε αυθεντική κατάσταση καθημερινής ζωής, * περιλαμβάνει απεικονιστικό υλικό (διάγραμμα, πίνακας ή εικόνα), αποσπάσματα από επιστημονικά και εκλαϊκευμένα άρθρα εφημερίδων, ιστορικά ντοκουμέντα, πρωτόκολλα έρευνας ή συνδυασμό όλων αυτών.

12 ΗΜΕΡΟΛΟΓΙΟ ΤΟΥ ΣΕΜΕΛΒΑΪΣ
Να διαβάσεις τα παρακάτω κείμενα και να απαντήσεις στις ερωτήσεις που ακολουθούν. ΗΜΕΡΟΛΟΓΙΟ ΤΟΥ ΣΕΜΕΛΒΑΙΣ: κείμενο 1 «Ιούλιος Την ερχόμενη εβδομάδα θα αναλάβω τη θέση του «Επιμελητή Α΄» στην Πρώτη Πτέρυγα της μαιευτικής κλινικής του Γενικού Νοσοκομείου της Βιέννης. Τρόμαξα, όταν άκουσα το ποσοστό των ασθενών που πεθαίνουν σ’ αυτήν την κλινική. Αυτό το μήνα 36 από τις 208 μητέρες πέθαναν εκεί, όλες από επιλόχειο πυρετό. Το να φέρεις στη ζωή ένα παιδί είναι τόσο επικίνδυνο όσο η πνευμονία πρώτου βαθμού». Αυτό το κείμενο από το ημερολόγιο του Ιγνάτιου Σεμελβάις ( ) περιγράφει τις καταστροφικές συνέπειες του επιλόχειου πυρετού, μιας μεταδοτικής ασθένειας, που προκάλεσε το θάνατο πολλών γυναικών μετά τον τοκετό. Ο Σεμελβάις συνέλεξε στοιχεία για τον αριθμό των θανάτων που οφείλονταν στον επιλόχειο πυρετό και από την Πρώτη και από τη Δεύτερη Πτέρυγα (βλέπε το διάγραμμα). Οι γιατροί, μεταξύ των οποίων και ο Σεμελβάις, αγνοούσαν την αιτία που προκαλούσε τον επιλόχειο πυρετό. Πάλι από το ημερολόγιο του Σεμελβάις διαβάζουμε: «Δεκέμβριος Γιατί τόσες πολλές γυναίκες πεθαίνουν από αυτόν τον πυρετό μετά από έναν τοκετό χωρίς προβλήματα; Επί αιώνες η επιστήμη μας έλεγε ότι πρόκειται για μια αόρατη επιδημία που θανατώνει μητέρες. Αιτίες μπορεί να είναι οι αλλαγές στον αέρα ή κάποια εξωγήινη επίδραση ή μια κίνηση της ίδιας της Γης, όπως ένας σεισμός».Σήμερα, λίγοι άνθρωποι θα μπορούσαν να θεωρήσουν ως πιθανές αιτίες πυρετού μια εξωγήινη επίδραση ή ένα σεισμό. Όμως, την εποχή που ζούσε ο Σεμελβάις, πολλοί άνθρωποι, ακόμη και επιστήμονες, το πίστευαν. Τώρα ξέρουμε ότι αιτία είναι οι συνθήκες καθαριότητας. Ο Σεμελβάις ήξερε ότι ήταν απίθανο ο πυρετός να προκαλείται από εξωγήινη επίδραση ή από ένα σεισμό. Επικεντρώθηκε στα στοιχεία που συνέλεξε (βλέπε το διάγραμμα) και τα χρησιμοποίησε για να προσπαθήσει να πείσει τους συναδέλφους του. Ερώτηση 1: ΗΜΕΡΟΛΟΓΙΟ ΤΟΥ ΣΕΜΕΛΒΑΪΣ Ας υποθέσουμε ότι είσαι ο Σεμελβάις. Δώσε μια δικαιολογία, (βασιζόμενος/η στα στοιχεία που συνέλεξε ο Σεμελβάις), για ποιο λόγο ο επιλόχειος πυρετός είναι απίθανο να προκαλείται από τους σεισμούς. Απάντηση:………………………………………………………………………………………………………………………………………….… ………………………………………………………………………………………………………………………………………………………...... .……………………………………………………………………………………………………………………………………………………….....

13 Οι επιδόσεις των Ελλήνων μαθητών στον επιστημονικό εγγραμματισμό
Κύκλος PISA Επίδοση Ελλήνων μαθητών Κατάταξη της Ελλάδας Αριθμός χωρών που συμμετείχαν 2000 461 25η 30 2003 481 30η 40 2006 473 38η 57

14 Δομή εισήγησης PISA και επιστημονικός εγγραμματισμός
Αναγκαιότητα και στόχοι και της έρευνας Μέθοδος Αποτελέσματα Συμπεράσματα - Περιορισμοί - Προτάσεις

15 Αναγκαιότητα της έρευνας
PISA και TIMSS: το γραπτό τεστ ως εργαλείο συλλογής δεδομένων. Αμφισβητείται όμως η ικανότητα του γραπτού τεστ να αποτυπώσει έγκυρα τις γνώσεις και δεξιότητες που πράγματι διαθέτουν οι μαθητές στις Φ.Ε.

16 Τέτοιας υφής μεθοδολογικά ζητήματα έχουν διερευνηθεί σε σχέση με την έρευνα TIMSS (Harlow & Jones, 2004˙ Schoultz, Säljö, & Wyndhamn, 2001). Απουσία συναφών ερευνών για PISA. Ελλάδα: * Σχολιασμός και «δαιμονοποίηση» της κατάταξής της στο PISA από τα ΜΜΕ. * Ιδιαίτερα περιορισμένη η έρευνα για επιδόσεις ελλήνων μαθητών.

17 Έντονη ανάγκη για: * ουσιαστική συζήτηση & * έρευνα σχετικά με τις επιδόσεις των ελλήνων μαθητών στο PISΑ.

18 Στόχοι της έρευνας 1) Σε ποιο βαθμό οι απαντήσεις των μαθητών σε ερωτήσεις Φ.Ε. του γραπτού τεστ PISA αποτυπώνουν τις γνώσεις και τις δεξιότητες των 15χρονων ελλήνων μαθητών.

19 2) Διερεύνηση παραγόντων που ενδεχομένως επηρεάζουν τις επιδόσεις των μαθητών στις ερωτήσεις Φ.Ε. του PISA: φύλο, τύπος ερωτήσεων, πεδίο εφαρμογής της επιστήμης, επιστημονική διαδικασία.

20 Δομή εισήγησης PISA και επιστημονικός εγγραμματισμός
Αναγκαιότητα και στόχοι και της έρευνας Μέθοδος Αποτελέσματα Συμπεράσματα - Περιορισμοί - Προτάσεις

21 συνέντευξης – γραπτού τεστ
Μέθοδος Γραπτό τεστ ▪ Συνολική Επίδοση ▪ Φύλο ▪ Τύπος ερωτήσεων ▪ Πεδίο ▪ Επιστ. διαδικασίες Επιδόσεις μαθητών Συνέντευξη Διαφορές συνέντευξης – γραπτού τεστ ▪ Συνολική Επίδοση ▪ Φύλο ▪ Τύπος ερωτήσεων ▪ Πεδίο ▪ Επιστ. διαδικασίες

22 Δείγμα γραπτού τεστ Α΄ Λυκείου. 106 μαθητές (56 αγόρια – 50 κορίτσια).
Γενικό Πειραματικό Λύκειο Βαρβακείου Σχολής.

23 Δείγμα συνεντεύξεων 20 μαθητές (10 αγόρια & 10 κορίτσια) από τους 106 μαθητές που συμπλήρωσαν το γραπτό τεστ. Επιλογή μαθητών: τυχαία στρωματοποιημένη δειγματοληψία & εθελοντικά.

24 Το γραπτό τεστ 14 ερωτήσεις (5 θέματα) Φυσικών Επιστημών που εμπίπτουν στη γνωστική περιοχή της Βιολογίας και της Χημείας ως εξής: Ημερολόγιο του Σεμελβάις (4 ερωτήσεις - PISA 2000). Κλωνοποίηση (3 ερωτήσεις - PISA 2003). Όζον (4 ερωτήσεις - PISA 2000). Σοκολάτα (2 ερωτήσεις - ενδεικτικό). Σταματήστε αυτό το μικρόβιο! (1 ερώτηση - ενδεικτικό).

25 Συνεντεύξεις Στις ίδιες ερωτήσεις PISA.
Ατομικές ημιδομημένες συνεντεύξεις. Σε κατάλληλα διαμορφωμένο χώρο στο σχολείο. Μαγνητοφώνηση. Διάρκεια από 30 έως 70 λεπτά.

26 Ανάλυση Δεδομένων Βαθμολόγηση απαντήσεων κατά PISA Στατιστική
επεξεργασία Ανάλυση του λόγου των μαθητών

27 Δομή εισήγησης PISA και επιστημονικός εγγραμματισμός
Αναγκαιότητα και στόχοι και της έρευνας Μέθοδος Αποτελέσματα Συμπεράσματα– Περιορισμοί - Προτάσεις

28 Οι επιδόσεις των μαθητών στο γραπτό τεστ
Πλήθος μαθητών Μέση επίδοση (άριστα το 19) Μέση % επίδοση Επίδοση στην 20βαθμη κλίμακα 106 8,37 44,07 8,81

29 Σύγκριση επιδόσεων ανάμεσα σε γραπτό τεστ και συνέντευξη
Μέση Επίδοση (άριστα το 19) Μέση % στην 20βαθμη κλίμακα Γραπτό τεστ 9,30 48,95 9,79 Συνέντευξη 13,85 72,89 14,58 Διαφορά 4,55 23,95 4,79

30 Σύγκριση μέσων τιμών επιδόσεων ανά Επιστημονική διαδικασία
Συνοπτικός Πίνακας Σύγκριση μέσων τιμών επιδόσεων ανά Φύλο Τύπος ερωτήσεων Πεδίο Επιστημονική διαδικασία Αγ. Κο. Αν. Κλ. Γη & Π. Ζωή & Υ. Ερμ. Επιστ. Δεδομ. Κατ. επιστ. έρευν. Περ. εξήγ. & πρόβλ. Γραπτό τεστ Συνέντευ-ξη

31 Δομή εισήγησης PISA και επιστημονικός εγγραμματισμός
Αναγκαιότητα και στόχοι και της έρευνας Μέθοδος Αποτελέσματα Συμπεράσματα – Περιορισμοί - Προτάσεις

32 Τα βασικά ευρήματα της έρευνας
● Οι ερωτήσεις Φ.Ε. του γραπτού τεστ της παρούσας έρευνας, δεν φαίνεται να αποτυπώνουν σε σημαντικό βαθμό τις γνώσεις και δεξιότητες που έχουν οι μαθητές στις Φυσικές Επιστήμες.

33 Το εύρημα δεν πρέπει να ερμηνευθεί ως στοιχείο που βελτιώνει τη θέση στην οποία κατατάχθηκε η χώρα μας στον επιστημονικό εγγραμματισμό στο PISA 2000 και στο PISA 2003, επειδή ανάλογες διαπιστώσεις έχουν γίνει για το γραπτό τεστ άλλων διεθνών συγκριτικών ερευνών όπως η TIMSS (Harlow, & Jones, 2004˙ Schoultz, Säljö, & Wyndhamn, 2001).

34 τον τύπο της ερώτησης (ανοικτή, κλειστή),
● Οι επιδόσεις των μαθητών στο γραπτό τεστ είναι χαμηλές και εξαρτώνται από: το φύλο του μαθητή, τον τύπο της ερώτησης (ανοικτή, κλειστή), την επιστημονική διαδικασία και το πεδίο εφαρμογής της επιστήμης. ● Αντίθετα, οι επιδόσεις των μαθητών στη συνέντευξη είναι αρκετά υψηλότερες και δεν εξαρτώνται από τους προαναφερθέντες παράγοντες.

35 Περιορισμοί ● Τα προαναφερθέντα ευρήματα δεν μπορούν να γενικευθούν στον ελληνικό μαθητικό πληθυσμό καθώς το δείγμα της έρευνας δεν είναι αντιπροσωπευτικό των 15χρονων ελλήνων μαθητών.

36 Προτάσεις για περαιτέρω έρευνα
Χρήσιμη η επανάληψη της έρευνας σε αντιπροσωπευτικό δείγμα του ελληνικού μαθητικού πληθυσμού, με παράλληλο εμπλουτισμό του χρησιμοποιούμενου εργαλείου με θέματα τα οποία δημοσιοποιήθηκαν στο πλαίσιο διεξαγωγής του PISA 2006.

37 ΤΗΝ ΠΡΟΣΟΧΗ ΣΑΣ ΣΑΣ ΕΥΧΑΡΙΣΤΩ ΓΙΑ

38 Μέγεθος μετάφρασης Χρησιμοποιήθηκαν 28 ερωτήσεις, από 12 θέματα. Διαπιστώθηκε, αύξηση του αριθμού των λέξεων κατά την μετάφραση στα ελληνικά κατά 9,7 %. Περιορίζεται, συνεπώς, ο διαθέσιμος χρόνος για επεξεργασία και απάντηση και αυξάνεται η κόπωση των μαθητών μας, τουλάχιστον σε σχέση με τους μαθητές από αγγλοσαξονικές χώρες.

39 Δυσκολία ερωτήσεων Ενδέχεται οι στατιστικά σημαντικές διαφορές που εντοπίσθηκαν να επηρεάζεται σε σημαντικό βαθμό και από τον παράγοντα «δυσκολία των ερωτήσεων». Για μία καταρχήν εκτίμηση υπολογίσθηκε ο βαθμός συσχέτισης ανάμεσα στη δυσκολία των ερωτήσεων και την Μ%Ε των μαθητών, ανά ερώτηση.

40 Για τις Μ%Ε στο γραπτό τεστ βρέθηκε ότι r = - 0,975 (πολύ ισχυρή αρνητική συσχέτιση).