Embodiment, Multimodality, and Composition: Convergent Themes across HCI and Education for Mixed-Reality Learning Environments By David Birchfield, Harvey Thornburg, M. Collen Megowan – Romanowicz, Sarah Hatton, Brandon Mechtley, Igor Dolgov and Winslow Burleson Παρουσίαση : Γριζιώτη Μαριάνθη

Οι πρόσφατες προσεγγίσεις στον τομέα της Αλληλεπίδρασης Ανθρώπου – Υπολογιστή (Human Computer Interaction) ανοίγουν νέες δυνατότητες για την μελλοντική εκπαίδευση Νέα μαθησιακά περιβάλλοντα όπου οι μαθητές θα έχουν την αίσθηση της κυριότητας αλλά και του παιχνιδιού

Παρουσίαση προηγούμενων δουλειώνΠαρουσίαση της πλατφόρμας SMALLabΠαρουσίαση μιας πειραματικής έρευνας με το SMALLabΑποτελέσματα - ΣυμπεράσματαΕπίλογος και μελλοντικά σχέδια Ερευνητικό ερώτημα: Ο συνδυασμός τριών βασικών αξόνων: Ενσωμάτωση, Πολυτροπικότητα και Σύνθεση σε ένα ολοκληρωμένο, τεχνολογικά και θεωρητικά, πλαίσιο μάθησης. Είναι αποτελεσματικός; Μπορεί να εφαρμοστεί σε πραγματικές τάξεις;

Ανάλυση των 3 εννοιών στα πλαίσια των παιδαγωγικών επιστημών, της αλληλεπίδρασης ανθρώπου υπολογιστή (HCI) και παραδειγμάτων από προηγούμενες εφαρμογές Ενσωμάτωση (Embodiment) Πολυτροπικότητα (Multimodality Πολυτροπικότητα (Multimodality) Σύνθεση (Composition)

Παιδαγωγικές Επιστήμες Fauconnier & Turner : Οι λέξεις ως ζεύγη εννοιολογικών σχημάτων. Κινήσεις και θέση του σώματος Αλληλεπιδράσεις με τον κόσμο γύρο μας Ο τρόπος σκέψης μας Η εξερεύνηση εννοιών και συστημάτων μέσα από την κίνηση και την πράξη στο περιβάλλον. Οι αλληλεπιδράσεις των μαθητών που συνδυάζουν σώμα και μυαλό

Έμφαση στη σύνδεση : Φυσική δραστηριότηταΓνώση Ενσώματη γνώση (embodied cognition): Η αντίληψη, η γνώση και η πράξη συμβαίνουν ταυτοχρόνως και είναι στενά συνυφασμένες. Dourish: Το πλαίσιο στην ενσώματη αλληλεπίδραση πρέπει να αναδύεται μέσα από την ίδια την αλληλεπίδραση και όχι να είναι προκαθορισμένο από το σύστημα. Shepard, Gibson, Norman and Galperin: Η σημασία της ενσώματης σχέσης μεταξύ ανθρώπων και αντικειμένων και ο ρόλος που παίζει ο χειρισμός φυσικών αντικειμένων στη γνώση. Ishii : Απτές Διεπαφές Χρήστη ή Tangible User Interfaces (TUIs) HCI

Παραδείγματα Συστημάτων HCI HCI

Εικονικό διαδικτυακό περιβάλλον Μαθητές του γυμνασίου μαθαίνουν για τις μεταδιδόμενες ασθένειες Εικονικά μικροσκόπια, ακουστικά και οπτικά ερεθίσματα, κοινωνική ενσωμάτωση μέσω avatars. Αλληλεπίδραση: Οθόνη υπολογιστή (όχι κιναισθητική) Παράδειγμα

Παιδαγωγικές Επιστήμες Αλληλεπιδράσεις και γνωστικές αναπαραστάσεις που περιλαμβάνουν όλες τις αισθήσεις και ικανότητες των μαθητών και συμπεριλαμβάνουν ήχο, εικόνα, αφή και κίνηση. Έρευνα του Jackendoff : Οι πληροφορίες που ένα άτομο αφομοιώνει κωδικοποιούνται είτε ως χωρικές αναπαραστάσεις (εικόνες) είτε ως εννοιολογικές δομές (σύμβολα, λέξεις ή εξισώσεις) Η παραδοσιακή διδασκαλία εστιάζει μόνο στη μετάδοση εννοιολογικών δομών μερικές από τις οποίες πολλοί μαθητές δυσκολεύονται να τις μεταφράσουν σε χωρικές αναπαραστάσεις ΟΜΩΣ

Σημασία της πολυαισθητηριακής αλληλεπίδρασης μέσω της διεπαφής. Πρόσφατες έρευνες: Παραδείγματα ερευνητών HCI

Σχεδιάστηκε για την ενίσχυση της αίσθηση της οργάνωσης και της δημιουργικής έκφρασης ατόμων με αυτιστικό σύνδρομο. Πολυτροπικό 3D περιβάλλον, όπου η διεπαφή του συνδυάζει ήχο, εικόνα και αφή Δεν έχει γενικευθεί για καθημερινή χρήση σε τάξη. Οι χρήστες δεν μπορούν να αλλάξουν τις αλληλεπιδράσεις όπως στο SMALLab  Σύνθεση Παράδειγμα

Παιδαγωγικές Επιστήμες Η δυνατότητα αναμόρφωσης, επέκτασης και προγραμματισμού των εμπειριών και των εργαλείων αλληλεπίδρασης Κονστροκτουβιστική Οπτική Η διδασκαλία και η μάθηση θα πρέπει να έχουν το κέντρο τους στην κατασκευή, επικύρωση και εφαρμογή μοντέλων (γνωστικών δομών) τα οποία δημιουργούν σκαλωσιές. Η γνώση πρέπει να κατασκευάζεται ενεργά από τον μαθητή, αντί να λαμβάνεται παθητικά από το περιβάλλον Η προϋπάρχουσα γνώση των μαθητών διαμορφώνει τη διαδικασία της νέας κατασκευής Η μαθησιακή διαδικασία είναι κοινωνικό φαινόμενο, η πραγματικότητα δεν ανακαλύπτεται αλλά «εφευρίσκεται» κοινωνικά. (Vygotsky, Bruner, Bandura, Cobb, Roth)

Ενσώματη πολυτροπική σύνθεση: Ryokai’s I/O Brush HCI Η χελώνα Logo των Papert και Minsky ενισχύει την δημιουργική ανακάλυψη και το παιχνίδι σε ένα προγραμματιστικό περιβάλλον Star Logo Lego Mindstorms Resnik: Intel Computer Club Houses PIE Museum Network Χορήγησε στις κοινότητες εργαλεία για δημιουργική σύνθεση σε εμπλουτισμένα κοινωνικοπολιτισμικά πλαίσια. Ανάπτυξη γλωσσών προγραμματισμού για δημιουργική χρήση: γραφικά προγραμματιστικά περιβάλλοντα για μουσικούς (Reaktor, PD)

Επιτρέπει στους μαθητές να δημιουργήσουν παιχνίδια, διαδραστικές ιστορίες, κινούμενα σχέδια, μουσική, μέσα από ένα γραφικό προγραμματιστικό περιβάλλον Επιτρέπει στους μαθητές να πειραματιστούν και να επανασχεδιάσουν τις δημιουργίες τους Έχει μεγάλη διαδικτυακή κοινότητα Παράδειγμα Η ενσωμάτωση γίνεται με τη μορφή avatar στην οθόνη του υπολογιστή και όχι με κιναισθητικό τρόπο όπως στο SMALLab

Salen and Zimmerman: Πολλαπλούς ορισμούς 1.«Being Playful» : π.χ. παιχνίδια με τις λέξεις (wordplaying) ή το πείραγμα 2.«Μια Παιγνιώδη δραστηριότητα» : π.χ. το παιχνίδι με μια μπάλα αλλά χωρίς συγκεκριμένη δομή παιχνιδιού 3.«Το Game play» : οι παίκτες ακολουθούν κανόνες που ορίζουν ένα συγκεκριμένο τρόπο παιχνιδιού Jekins: «Παιχνίδι είναι η ικανότητα να πειραματίζεται κάποιος με το περιβάλλον του σε μια μορφή επίλυσης ενός προβλήματος» SMALLab: Παιχνίδι = Η συνεργατική επίλυση προβλήματος

Πολλές προσπάθειες περιορίζονται από την χρήση πρωτοπόρων τεχνολογιών που συχνά είναι απαγορευτικά ακριβές ή υπερβολικά εύθραυστες για χρήση σε πραγματικές τάξεις. Ενώ υπάρχουν αρκετά παραδείγματα διαδραστικών διεπαφών Σημαντικό: Η επίτευξη μιας ισορροπίας μεταξύ της χρήσης πρωτοπόρων τεχνολογιών και της πλαισίωσης τους σε περιβάλλοντα πραγματικών τάξεων ελάχιστα αξιοποιούν το μαθησιακό πλαίσιο μεικτής πραγματικότητας (mixed reality)

Πλούσια βάση δεδομένων με πολυμεσικό περιεχόμενο: Ήχους, εικόνες, βίντεο, κείμενο και 3D αντικείμενα Τεχνικά χαρακτηριστικά: 6 firewire cameras για την αναγνώριση κίνησης, έναν βιντεοπροβολέα, 4 ηχεία,5 glowballs. 15’x 15’ x 12’ φορητό ανεξάρτητο περιβάλλον Η ανεξαρτησία των τεχνολογιών εξασφαλίζει φορητότητα και δυνατότητα αντικατάστασης σε περίπτωση βλάβης

SCREM: SMALLab Core for Realizing Experiential Media  Πλαίσιο που παρέχει μια σειρά από γραφικά περιβάλλοντα για τη δημιουργία ή τροποποίηση σεναρίων Σύνθεση τριών επιπέδων: Slink Web Portal Μαθητές και εκπαιδευτικοί μπορούν να υποβάλουν ή να ψάξουν υλικό για το SMALLab

Συμμετείχαν: Μαθητές και καθηγητές της 9 ης τάξης του προγράμματος για μαθητές σε ρίσκο «at risk». Οι μαθητές είχαν τουλάχιστον 2 επίπεδα χαμηλότερη ικανότητα ανάγνωσης από το αναμενόμενο της ηλικίας τους. Καλοκαίρι 2007 Λύκειο στο Phoenix AZ metropolitan area Οι μαθητές του σχολείου ήταν ποικίλων εθνικοτήτων και κοινονικοοικωνμικών θέσεων Ερευνητικό πλαίσιο

Βασίστηκε στους 3 κεντρικούς άξονες του θεωρητικού πλαισίου: (Ενσωμάτωση, Πολυτροπικότητα,Σύνθεση) Προβλήματα με την παραδοσιακή διδασκαλία: Διδακτικό αντικείμενο: Η εξέλιξη της επιφάνεια της Γης Οι μαθητές δεν εμπλέκονται ενεργά με την γεωλογική εξέλιξη Δεν την βλέπουν σαν γεννητική διαδικασία βασισμένη στον χρόνο. Δεν αντιλαμβάνονται τα αντικείμενα ως προϊόντα μιας σύνθετης δυναμικής διαδικασίας Δυσκολεύονται να αναπτύξουν εύρωστα μοντέλα κατά τη μαθησιακή διαδικασία 6 εβδομάδες : Ανάπτυξη νέου σεναρίου ανάμεικτων πραγματικοτήτων (mixed-realities) σε συνεργασία με τον δάσκαλο. Τρείς μέρες με 75 μαθητές

Να προαχθεί η κατανόηση των συμμετεχόντων μαθητών για έννοιες που σχετίζονται με την γεωλογική εξέλιξη Να αξιολογηθεί το θεωρητικό πλαίσιο και η πλατφόρμα του SMALLab για μάθηση μεικτής πραγματικότητας σε ένα πραγματικό περιβάλλον τάξης

Επίσης οι μαθητές μετα τη διδασκαλία θα πρέπει να είναι σε θέσει να μπορούν ν εφαρμόσουν ένα εννοιολογικό μοντέλο της γεωλογικής εξέλιξης που να ενσωματώνει περιγραφικές και επεξηγηματικά στοιχεία. Κατανόηση της έννοιας της υπέρθεσης (όταν παλαιότερες δομές υπάρχουν κάτω από νεότερες δομές στην επιφάνεια της Γης) Κατανόηση της γεωλογικής εξέλιξης ως μια σύνθετη διεργασία με σχέσεις αλληλεξάρτησης μεταξύ των συνθηκών επιφάνειας, των θλάσεων των πετρών και των δυνάμεων διάβρωσης Κατανόηση της γεωλογικής εξέλιξης ως διαδικασία βασισμένη στον χρόνο η οποία ξεδιπλώνεται πάνω από πολλαπλές κλίμακες Κατανόηση του τρόπου με τον οποίο οι καταγραφές απολιθωμάτων μπορούν να παρέχουν στοιχεία για την ηλικία των γεωλογικών δομών

Εικονική σκηνή που προβάλλεται στο πάτωμα Διαδραστικό ρολόι με γεωλογικό χρόνο που αυξάνει σε κάθε νέα περίοδο Κατασκευαστική περιοχή Οι μαθητές δρουν στον χώρο και το σενάριο κάνει χρήση των πλεονεκτημάτων της ενσωμάτωσης που παρέχει το SMALLab. Π.χ σεισμος Επιλογή και μετακίνηση αντικείμενων με ασύρματα χειριστήρια και Glowballs Χειριστήριο του Wii : παραγωγή θλάσεων και σεισμικών δονήσεων Κάθε πράξη των μαθητών συνοδεύεται από αντίστοιχο ήχο που έχει ηχογραφηθεί από φυσικές καταστάσεις (π.χ. τρεχούμενο νερό)

4 κύριοι ρόλοι των μαθητών: 1.Επιλογέας του περιβάλλοντος απόθεσης 2.Επιλογέας του στρώματος ιζήματος 3.Επιλογέας της καταγραφής απολιθώματος 4.Παραγωγός γεγονότων διάβρωσης Ο δάσκαλος : Ελεγκτής γεωλογικού χρόνου ομάδα του περιβάλλοντος απόθεσης ομάδα απολιθωμάτων & παραγωγής γεγονότων ομάδα του στρώματος ιζήματος ομάδα αξιολόγησης 3 ομάδες σε συνεχή εναλλαγή κατά τη διάρκεια του χτισίματος Συντονισμός χτισίματος Καταγραφή πράξεων άλλων ομάδων Κατεύθυνση συζήτησης κατά την αξιολόγηση

Ομάδα περιβάλλοντος: Εξετάζει την αρχική δομή Επιλέγει το κατάλληλο περιβάλλον επιφάνειας Ομάδα ιζήματος: Επιλέγει και τοποθετεί το κατάλληλο πέτρωμα Ομάδα απολιθωμάτων: Επιλέγει και τοποθετεί έναν απολιθωμένο οργανισμό Σε κάθε κύκλο του γεωλογικού ρολογιού (μια γεωλογική περίοδος) Χαρακτηριστικά: Συλλογική επιτυχία/αποτυχία : Η σύνθεση επιτυγχάνεται με τη συνεισφορά όλων των μαθητών. Συνεχείς πρόσωπο με πρόσωπο επικοινωνία Αορίστου χρόνου και αυτοσχεδιαστική οπτική

Τρεις 45λεπτες περιόδους σε 3 συνεχόμενες μέρες Μαθητοκεντρική προσέγγιση Δραστηριότητα των μαθητών  Δομημένη γύρω από έναν επαναλαμβανόμενο κύκλο σύνθεσης αναστοχασμού 1 η Φάση Δραστηριότητα = Σύνθεση Γνωστική Διεργασία = Κατασκευή γνώσης Κατασκευή ενός απλού εννοιολογικού μοντέλου εξέλιξης του φλοιού της Γής Δραστηριότητα = Σύνθεση Γνωστική Διεργασία = Κατασκευή γνώσης Κατασκευή ενός απλού εννοιολογικού μοντέλου εξέλιξης του φλοιού της Γής 2 η Φάση Δραστηριότητα = Αναστοχασμός Γνωστική Διεργασία = Εγκαθίδρυση της γνώσης Συζήτηση, ανάλυση, υποστήριξη αποφάσεων - επιλογών Δραστηριότητα = Αναστοχασμός Γνωστική Διεργασία = Εγκαθίδρυση της γνώσης Συζήτηση, ανάλυση, υποστήριξη αποφάσεων - επιλογών

Μέρα 1η Εισαγωγή μαθητών στην τεχνολογία, καθορισμός των ομάδων Οι μαθητές : Δημιουργία στρωματικών δομών (ανοιχτή εξερευνητική διαδικασία) Ο εκπαιδευτικός: Συχνές παρεμβάσεις. Παρότρυνση μαθητών να σκεφτούν πριν τις ενέργειές τους. Με την πάροδο της μέρας: όλο και λιγότερες παρεμβάσεις Εισαγωγή μαθητών στην τεχνολογία, καθορισμός των ομάδων Οι μαθητές : Δημιουργία στρωματικών δομών (ανοιχτή εξερευνητική διαδικασία) Ο εκπαιδευτικός: Συχνές παρεμβάσεις. Παρότρυνση μαθητών να σκεφτούν πριν τις ενέργειές τους. Με την πάροδο της μέρας: όλο και λιγότερες παρεμβάσεις Μέρα 2η Παρουσίαση του Fault Event Interface, λεπτομερείς συζητήσεις για απολιθώματα και περιβαλλοντικές συνθήκες Οι μαθητές: Δομημένη διαδικασία χτισίματος. Εναλλαγή ρόλων, μέτρηση της προόδου τους. Διαδικασία σύνθεση->αναστοχασμός. Ο εκπαιδευτικός: Κάποιες φορές καθοδηγούσε την αναστοχαστική διαδικασία. Παρουσίαση του Fault Event Interface, λεπτομερείς συζητήσεις για απολιθώματα και περιβαλλοντικές συνθήκες Οι μαθητές: Δομημένη διαδικασία χτισίματος. Εναλλαγή ρόλων, μέτρηση της προόδου τους. Διαδικασία σύνθεση->αναστοχασμός. Ο εκπαιδευτικός: Κάποιες φορές καθοδηγούσε την αναστοχαστική διαδικασία. Μέρα 3η Δραστηριότητα Συνολικής Αξιολόγησης Οι μαθητές: Κατασκευή συγκεκριμένων προκαθορισμένων δομών (layer-cakes) Καταγραφή τυχόν αποκλίσεων Δραστηριότητα Συνολικής Αξιολόγησης Οι μαθητές: Κατασκευή συγκεκριμένων προκαθορισμένων δομών (layer-cakes) Καταγραφή τυχόν αποκλίσεων

Όλες οι ομάδες έδειξαν μεγάλη ικανότητα στην ακριβή αναπαραγωγή της πηγαίας δομής. Όλοι οι μαθητές συνεργατικά κατασκεύασαν 15 layer cakes, 11 από τα οποία ταίριαζαν απόλυτα ή με πολύ μικρές ανεκτές αποκλείσεις με την αρχική δομή. Οι διαφοροποιήσεις συνήθως ήταν επιλογή εναλλακτικών απολιθωμάτων σε περιπτώσεις που υπήρχε δυνατότητα επέμβασης στο περιβάλλον Η συζήτηση την 1 η μέρα ήταν καθοδηγούμενη αποκλειστικά από τον εκπαιδευτικό ενώ την 3 η μέρα ο καθηγητής απλώς συντονίζει την συζήτηση Βελτίωση της ικανότητας τους να αιτιολογούν τις επιλογές τους και να αναπτύσσουν επιχειρήματα.

Η στατιστική ανάλυση Αξιολόγηση γνώσεων που αποκτήθηκαν: Γραπτό τεστ 10 ερωτήσεων Περιελάμβανε: Ερωτήσεις πολλαπλής επιλογής ακολουθούμενες από ανοιχτού τύπου αιτιολόγησης απάντησης. Δόθηκε μια μέρα πριν το πείραμα και μια μέρα μετά Αξιολόγηση γνώσεων που αποκτήθηκαν: Γραπτό τεστ 10 ερωτήσεων Περιελάμβανε: Ερωτήσεις πολλαπλής επιλογής ακολουθούμενες από ανοιχτού τύπου αιτιολόγησης απάντησης. Δόθηκε μια μέρα πριν το πείραμα και μια μέρα μετά Σχεδόν όλοι οι μαθητές έκαναν σημαντική πρόοδο στην κατανόηση εννοιών Μπορούσαν με ακρίβεια να αιτιολογήσουν τις απαντήσεις τους Παρατηρήθηκε ότι οι μαθητές είχαν χαμηλές επιδόσεις λόγω έλλειψης κινήτρου τα οποία αυξήθηκαν Κατά τη διάρκεια του πειράματος δεν παρουσιάστηκαν στους μαθητές νέες έννοιες αλλά ενισχύθηκαν έννοιες που είχαν ήδη διδαχθεί με τον παραδοσιακό τρόπο διδασκαλίας

Η επιτυχία του πειράματος αποδεικνύει: 1 ον Την χρησιμότητα της μαθησιακής σχεδίασης μεικτής πραγματικότητας και την επιτυχία εφαρμογής της σε ένα κοινό σχολικό μαθησιακό περιβάλλον 2 ον Πως υπάρχουν μεγάλες προοπτικές στην εφαρμοσμένη έρευνα των τομέων Αλληλεπίδρασης Ανθρώπου-Υπολογιστή (HCI) και εκπαίδευσης Περισσότεροι μηχανισμοί ανατροφοδότησης Δεδομένα ήχου & βίντεο πραγματικού χρόνου Αναγνώριση της ακριβής θέσης του παίκτη Αναβάθμιση των glowballs Ανάπτυξη εργαλείων αξιολόγησης