Identifying bullies with a computer game Juan F. Mancilla-Caceres,Wen Pu, Eyal Amir Department of Computer Science University of Illinois at Urbana-Champaign.

Παρουσίαση με θέμα: "Identifying bullies with a computer game Juan F. Mancilla-Caceres,Wen Pu, Eyal Amir Department of Computer Science University of Illinois at Urbana-Champaign."— Μεταγράφημα παρουσίασης:

1 Identifying bullies with a computer game Juan F. Mancilla-Caceres,Wen Pu, Eyal Amir Department of Computer Science University of Illinois at Urbana-Champaign Dorothy Espelage Department of Educational Psychology University of Illinois at Urbana-Champaign Παρουσιάζει ο Αντώνης Λοΐζου

2 Περίληψη ›Bully: να βλάψεις ή να τρομάξεις κάποιον που είναι πιο αδύναμος από εσένα, συχνά αναγκάζοντας τον να κάνει κάτι που δεν θέλει να κάνει. ›Σκοπός εργασίας –Η χρησιμοποίηση ενός παιχνιδιού σε ηλεκτρονικό υπολογιστή –Ανάλυση των αποτελεσμάτων για εύρεση παιδιών της Ε τάξης τα οποία είναι bullies. –Mε αυτό τον τρόπο τα παιδιά – θύτες μπορούν να προστατευθούν ›Πιθανοτικό μοντέλο του παιχνιδιού ›Περιεχόμενο της συζήτησης των παικτών (chat) ›Κατηγοριοποίηση παιδιών σε bully ή non-bully ›Aξιολόγηση –με χρησιμοποίηση συμπερασμάτων προηγούμενων ψυχολογικών ερευνών στο ίδιο πληθυσμό – σύγκριση της απόδοσης του νέου μοντέλου με ταξινομητές ›Το παιχνίδι προσομοιώνει καταστάσεις φυσικών αλληλεπιδράσεων μεταξύ των συμμετεχόντων –Περιορισμένοι πόροι: κέρματα και πόντοι –Συλλογική εργασία –Ανταγωνιστική εργασία

3 Το παιχνίδι Η/Υ ›Διαδικτυακό παιχνίδι γνώσεων πολλαπλών παικτών –Συμμετέχουν παιδιά της Ε τάξης (ανήκουν στην ίδια τάξη) ›Στάδιο 1: Κάθε παιδί επιλέγει με ποια παιδιά θέλει ή δεν θέλει να συνεργαστεί. –Γίνεται δημιουργία ομάδων παιδιών –Ανεξάρτητη από τις επιλογές των παιδιών! Η επιλογή των ομάδων γίνεται με βάση προγενέστερη έρευνα (θα συζητηθεί σε λίγο), έτσι ώστε σε κάθε ομάδα να υπάρχει τουλάχιστον ένας bully. –Η πληροφορία προτίμησης των παιδιών θα χρησιμοποιηθεί στη συνέχεια για εύρεση των bullies

4 Το παιχνίδι Η/Υ ›Στάδιο 2: Συλλογικότητα παικτών –Τα παιδιά της ίδιας ομάδας συνεργάζονται για να απαντήσουν 5 ερωτήσεις γενικής γνώσεως –4 δυνατές απαντήσεις, μόνο 1 είναι η σωστή –Κάθε σωστή απάντηση επιβραβεύεται υπό μορφή κερμάτων σε κάθε παίκτη –Όλα τα παιδιά της ομάδας πρέπει να απαντήσουν σωστά, αλλιώς κανένα παιδί δεν παίρνει κέρματα –Παροτρύνει τους παίκτες να συνεργαστούν για να αυξήσουν το ατομικό τους σκορ

5 Το παιχνίδι Η/Υ ›Στάδιο 3: Ανταγωνιστικότητα παικτών –5 ερωτήσεις γενικής γνώσεως –Από τις δυνατές απαντήσεις, μόνο 1 είναι η λανθασμένη –Παροτρύνει τους παίκτες να εξαναγκάσουν τους συμπαίκτες τους να επιλέξουν τη λάθος απάντηση –Η λάθος απάντηση είναι εμφανής: έντονα γράμματα! –Πρέπει να γίνει κάποιου είδους διαπραγμάτευση, γιατί κάποιος πρέπει να επιλέξει την λανθασμένη απάντηση. Προϋποθέσεις για να πάρουν οι παίκτες της ομάδας τα κέρματα: –Κάθε παίκτης της ομάδας πρέπει να επιλέξει διαφορετική απάντηση –Κάποιος από τα μέλη της ομάδας να έχει επιλέξει την λανθασμένη (ο μόνος παίκτης της ομάδας που δεν παίρνει κέρματα) ›Ανταλλαγή κερμάτων: Σε όλα τα στάδια οι παίκτες μπορούν να ανταλλάξουν κέρματα ›Κρυφοκοίταγμα σωστής/ών απαντησης/σεων: Σε όλα τα στάδια οι παίκτες μπορούν να κρυφοκοιτάξουν την σωστή απάντηση με αντάλλαγμα κάποια από τα κέρματα τους ›Διεπαφή συνομιλίας –Οι παίκτες μπορούν να επικοινωνήσουν μεταξύ τους μόνο μέσω της διεπαφής συνομιλίας του παιχνιδιού υπό τη μορφή γραπτών μηνυμάτων –Καταγραφή διαπραγματεύσεων για επιλογή λάθους απάντησης, παροτρύνσεων για μεταφορά κερμάτων κ.ά.

6 Το παιχνίδι Η/Υ ›Τελική Ανταμοιβή: –ο παίκτης με το μεγαλύτερο τελικό σκορ παίρνει δωροεπιταγή –η ομάδα με το μεγαλύτερο συναθροιστικό σκορ παίρνει βραβείο ομάδας ›Στο τέλος κάθε παιχνιδιού συλλέγονται πληροφορίες: –Υποψηφιότητες παικτών: για κάθε παίκτη, με ποιους επέλεξε ότι θέλει να συνεργαστεί ή δεν θέλει να συνεργαστεί με τη σειρά που τους επέλεξε –Συζητήσεις μεταξύ παικτών: όλες οι ιδιωτικές και δημόσιες συζητήσεις μεταξύ παικτών μαζί με σήμανση χρόνου –Συναλλαγές κερμάτων μεταξύ παικτών και απώλειες κερμάτων για κρυφοκοίταγμα σωστής απάντησης ›Συμμετέχοντες: –97 παιδιά της Ε τάξης από 6 διαφορετικές τάξεις και 2 διαφορετικά σχολεία στις Η.Π.Α. ›Προγενέστερη έρευνα: –Δόθηκαν στα ίδια παιδιά ερωτηματολόγια –Μία έμπειρη ψυχολόγος ανέλυσε τα δεδομένα από τα ερωτηματολόγια και έδωσε σε κάθε παιδί ένα από τους 2 χαρακτηρισμούς: “bully” και “non-bully” –Τα αποτελέσματα αυτά θα χρησιμοποιηθούν μεταγενέστερα για έλεγχο του μοντέλου

7 Μοντελοποίηση παιχνιδιού ›Χαρακτηρισμός μηνυμάτων από μία ομάδα 20 ατόμων (2 άτομα για κάθε μήνυμα) –Αλτρουιστικό (βοηθητικό, συνεργάσιμο, ευγενικό) ή εξαναγκαστικό (αγενές, επιθετικό) –Θετικού συναισθήματος (χαρά, χιούμορ) ή αρνητικού συναισθήματος (βαριεστημάρα, μελαγχολία) ›Δίκτυο Bayes S: αποστολέας μηνύματος R: παραλήπτης μηνύματος C: μήνυμα Αλτρουιστικό ή Εξαναγκαστικό N: μήνυμα Θετικού συναισθήματος ή Αρνητικού συναισθήματος O: ο S επέλεξε να συνεργαστεί με τον R ή όχι Τ: ο R και ο T ανήκουν στην ίδια ομάδα (η ανταλλαγή κερμάτων δεν μελετάται) ›Για να πάρουμε την πιθανότητα ένας αποστολέας S να είναι bully –Παρακολουθούμε τις αλληλεπιδράσεις του συγκεκριμένου ατόμου με όλους τους άλλους παίκτες

8 Μοντελοποίηση παιχνιδιού ›Κτίσιμο συνόλου εκπαίδευσης: –Για κάθε ζεύγος παικτών, ο ένας αναγνωρίζεται ως αποστολέας και ο άλλος ως παραλήπτης –Καθορισμός δυαδικής μεταβλητής C: C = 1 εάν αριθμός εξαναγκαστικών μηνυμάτων ≥ αριθμός αλτρουιστικών μηνυμάτων, αλλιώς C = 0 –Καθορισμός δυαδικής μεταβλητής N: Ν= 1 εάν αριθμός μηνυμάτων αρνητικού συναισθήματος ≥ αριθμός μηνυμάτων θετικού συν., αλλιώς N= 0 –Καθορισμός μεταβλητής O: Ο = 1 εάν ο S επέλεξε τον R να είναι στην ομάδα του Ο = -1 εάν ο S επέλεξε τον R να μην είναι στην ομάδα του Ο = 0 εάν ο S δεν είχε κάποια προτίμηση –Καθορισμός μεταβλητής Τ: Τ= 1 εάν ο S ανήκει στην ίδια ομάδα με τον R, αλλιώς Τ = 0 –Ο αποστολέας S μπορεί να είναι είτε bully είτε non-bully –Ο παραλήπτης R μπορεί να είναι είτε bully είτε non-bully

9 Μοντελοποίηση παιχνιδιού ›Δεδομένα εκπαίδευσης: –Κάθε γραμμή είναι η αλληλεπίδραση του αποστολέα S με το παραλήπτη R, η οποία περιγράφεται από τις 4 μεταβλητές C, N, O, T –2×2×2×2×3×2 = 96 πιθανές τιμές ›Πιθανότητα συγκεκριμένου παίκτη να είναι bully. Μας δίνεται από: –Συνολικός αριθμός αλληλεπιδράσεων μεταξύ ζευγών παικτών = 597 –Πιθανές τιμές των μεταβλητών –Παρατήρηση των 4 μεταβλητών C, N, O, T

10 Μοντελοποίηση παιχνιδιού ›Χειρισμός ανισορροπίας των δεδομένων –Σε κάθε τάξη αριθμός bullies >> αριθμός non-bullies –Στο μέσο αριθμό μαθητών = 15 μιας τάξης ο μέσος αριθμός bullies είναι 2 –Πιθανότητα Bully είναι 0.12 και για όλες τις τάξεις η εντροπία του συνόλου δεδομένων είναι 2.474 –Πρόβλημα: οι ταξινομητές που θα χρησιμοποιηθούν έχουν όριο απόφασης (κατώφλι) το οποίο υποθέτει ότι η αρνητική και θετική κλάση είναι ισορροπημένες, δηλαδή P(τυχαίο δείγμα να είναι θετικό) ≈ P(τυχαίο δείγμα να είναι αρνητικό) ≈ 0.5 –Το πιο συχνά παρατηρήσιμο ζεύγος παικτών είναι το ζεύγος (non-bully, non-bully) σε σύγκριση με όλους τους άλλους συνδυασμούς –Κάποιες πιθανές λύσεις: ›Υπερδειγματοληψία της κλάσης που είναι μειονότητα ›Αλλαγή του κατωφλίου απόφασης όποτε αυτό είναι δυνατό  ›Επαναπροσδιορισμός αρνητικής και θετικής κλάσης –Επιλογή αλλαγής ορίου απόφασης (κατωφλίου) λόγω της υποψίας ότι είναι οι bullies είναι αυτοί με τη μεγαλύτερη P(bully) ανεξάρτητα από τη πραγματική απόλυτη τιμή της πιθανότητας

11 Πειράματα και αξιολόγηση ›Υπολογισμός πιθανότητας αποστολέα S να είναι bully –η πιθανότητα ο αποστολέας S να είναι bully δοθείσας της αλληλεπίδρασης του με το παραλήπτη i και τις παρατηρηθείσες τιμές των υπόλοιπων μεταβλητών –Μας παράγει n διαφορετικές πιθανότητες για ένα συγκεκριμένο αποστολέα, n = αλληλεπιδράσεις του αποστολέα –Εμείς θέλουμε μόνο μία πιθανότητα για κάθε αποστολέα, η οποία ορίζει εάν ο αποστολέας είναι bully –Η πιθανότητα αυτή ορίζεται ως ο μέσος όρος όλων των πιθανοτήτων μεταξύ όλων των αλληλεπιδράσεων του αποστολέα

12 Πειράματα και αξιολόγηση ›Αξιολόγηση με μέθοδο παρόμοια με Cross-Validation –Μέθοδος άφησε-μία-τάξη-εκτός –Εκπαίδευσε το μοντέλο με τις 5 από τις 6 τάξεις και κάνε αξιολόγηση πάνω στην έκτη τάξη –Κάνε την διαδικασία αυτή επαναληπτικά, αφήνοντας μία διαφορετική τάξη τη φορά για αξιολόγηση ›Εύρεση κατωφλίου απόφασης –Βέλτιστο κατώφλι απόφασης thr για να μπορέσουμε να χαρακτηρίσουμε ένα παίκτη ως bully. –Το thr είναι το κατώφλι το οποίο δίνει το καλύτερο δυνατό συνδυασμό ορθότητας (Accuracy) acc, ανάκλησης (Recall) rec και ακρίβειας (Precision) pre –Bully είναι αυτός ο αποστολέας S ο οποίος έχει πιθανότητα να είναι bully μεγαλύτερη από το thr, αλλιώς ο αποστολέας S είναι non-bully ›Μετρικές απόδοσης: –Ορθότητα (Accuracy) = αριθμός ορθών αναθέσεων και για τις δύο κλάσεις (bully/non-bully)/ όλες τις αναθέσεις

13 Πειράματα και αξιολόγηση ›Μετρικές απόδοσης: –Ανάκληση (Recall) = αριθμός των ορθά ευρεθέντων bullies από το σύνολο όλων των διαθέσιμων bullies –Ακρίβεια (Precision) = αριθμός ορθών αναθέσεων για την κλάση bully / σύνολο όλων των αναθέσεων για τη κλάση Bully ›Προβλήματα μετρικών απόδοσης –Ορθότητα (Accuracy): ›Δεν είναι κατάλληλο μέτρο για δεδομένα που δεν είναι ισορροπημένα ›Ο κατηγοριοποιητής μπορεί να κατηγοριοποιήσει όλα τα αντικείμενα στην κλάση που έχει πλειοψηφία (non-bully) –Ανάκληση (Recall): ›Επιλογή κατωφλίου απόφασης κατά τη διάρκεια της εκπαίδευσης ›Επιλογή κατώτατου κατωφλίου κατά τη βελτιστοποίηση -> όλοι οι παίκτες είναι bullies Recall=100% !! –Ακρίβεια (Precision): ›Για βελτιστοποίηση αυτού του μέτρου ο κατηγοριοποιητής ελαχιστοποιεί το αριθμό των ευρεθέντων bullies -> μειώνεται αριθμός false positives -> αυξάνεται ακρίβεια -> μεγάλος αριθμός false negatives, αλλά δεν επηρεάζει το μέτρο της ακρίβειας

14 Πειράματα και αξιολόγηση ›Κατηγοριοποιητές –Δίκτυo Bayes  το είδαμε πριν –v-SVM ›Διανυσματικά Μοντέλα Υποστήριξης (Support Vector Machines): μοντέλο SVM είναι μια αναπαράσταση των παραδειγμάτων ως σημεία στο χώρο, τοποθετημένα με τέτοιο τρόπο ώστε παραδείγματα από διαφορετικές κατηγορίες να χωρίζονται από ένα σαφές κενό το οποίο να είναι όσο το δυνατό πιο ευρύ ›Παράμετρος v, η παράμετρος C αντικαθίσταται από τη παράμετρο ν ∈ [0, 1] ›Υλοποίηση από LIBSVM –One-Class SVM ›Παράγουν μία πρόβλεψη και μία πιθανότητα για κάθε περίπτωση όσο αφορά τα δεδομένα σκορ. Πρόβλεψη = 1 -> τυπική περίπτωση Πρόβλεψη = 0 -> μη τυπική περίπτωση ›Υλοποίηση από LIBSVM –Λογαριθμιστική εξάρτηση (Logistic Regression) ›Μετράει τη σχέση μεταξύ μιας εξαρτημένης μεταβλητής και συνήθως μιας (ή πολλές) συνεχούς ανεξάρτητης μεταβλητής μετατρέποντας την εξαρτημένη μεταβλητή σε πιθανοτικά σκορ ›Υλοποίηση από εργαλείο WEKA (Waikato Environment for Knowledge Analysis, University of Waikato, New Zealand) –Random Trees ›Κατασκευή δέντρου με Κ τυχαία επιλεγμένα χαρακτηριστικά σε κάθε κόμβο. Δεν εκτελεί κλάδεμα. ›Υλοποίηση από εργαλείο WEKA –Αφελής κατηγοριοποιητής Bayes (Naïve Bayes Classifier) ›Εφαρμογή του θεωρήματος Bayes με αφελείς υποθέσεις ανεξαρτησίας. ›Υλοποίηση από εργαλείο WEKA

15 Πειράματα και αξιολόγηση ›Αποτελέσματα - Παρατηρήσεις –Μέση απόδοση κάθε κατηγοριοποιητή, το σφάλμα (standard error) έχει τη μορφή ράβδου –Ακρίβεια ›Όλες οι μέθοδοι συμπεριφέρονται παρόμοια σε σχέση με την ακρίβεια, και η τιμή αυτή είναι χαμηλή ›Δηλαδή, παραγωγή false positives >> true positives –Ανάκληση ›SVM μεγαλύτερη ανάκληση αλλά με κάποιο τίμημα: πολύ χαμηλό accuracy ›Γενική παρατήρηση: κόστος μεγάλου Recall είναι χαμηλό Accuracy. Γιατί; ›Το κατώφλι γίνεται πολύ χαμηλό και η μέθοδος ισχυρίζεται ότι οι τα περισσότερα παιδιά είναι bullies ›Δίκτυο Bayes: το φαινόμενο Recall-Accuracy μόνο εδώ δεν παρατηρήθηκε –Ορθότητα ›Δίκτυο Bayes: μεγαλύτερη ορθότητα, μεγάλη διαφορά με τις υπόλοιπες μεθόδους εκτός από αφελής Bayes κατηγοριοποιητή –Οι κατηγοριοποιητές με τη καλύτερη απόδοση είναι το Δίκτυο Bayes και ο αφελής κατηγοριοποιητής Bayes ›Ο πρώτος δίνει έμφαση στο Recall σε σχέση με το Accuracy ενώ ο δεύτερος δίνει έμφαση στο Accuracy σε σχέση με το Recall ›Μεγάλη διακύμανση μέσης ανάκλησης στο δίκτυο Bayes -> όχι τόσο αξιόπιστο –Σχετικά χαμηλές απόλυτες τιμές ορθότητας και ανάκλησης στις 2 μεθόδους. Γιατί;

16 Πειράματα και αξιολόγηση ›Χαμηλές τιμές ορθότητας και ανάκλησης. 2 πιθανοί λόγοι: 1.Το μοντέλο ή το παιχνίδι δεν είναι σε θέση να προσδιορίσει αποτελεσματικά τα πρότυπα αλληλεπίδρασης όλων των bullies 2.Το μοντέλο καταγράφει μόνο τα πρότυπα συμπεριφοράς του μισού αριθμού bullies <- πιο πιθανό ›2 είδη bullies: 1.Αυτοί με καλή ικανότητα διαπραγμάτευσης <- το μοντέλο και παιχνίδι ανιχνεύει μόνο αυτούς ›Διαπραγματεύονται σε μεγάλο βαθμό για να γίνει αυτό που επιθυμούν εις βάρος των θυμάτων τους και των δάσκαλων τους ›Χρησιμοποιούν τη διεπαφή μηνυμάτων του παιχνιδιού για να εξαναγκάσουν την νίκη τους 2.Αυτοί με κακή ικανότητα διαπραγμάτευσης ›Απογοητεύονται εύκολα και αποσυνδέονται από κοινωνικά αποδεκτές αλληλεπιδράσεις ›Αποσυνδέονται από το παιχνίδι και σταματούν τα μηνύματα μέσω της διεπαφής μηνυμάτων του παιχνιδιού ›Το μοντέλο και παιχνίδι δεν μπορεί εύκολα να τους εντοπίσει

17 Συμπεράσματα – Μελλοντικές κατευθύνσεις ›Συμπεράσματα –Το παιχνίδι μπορεί να αναγνωρίσει ένα συγκεκριμένο τύπο bully σε ικανοποιητικό βαθμό, υπάρχουν όμως περιθώρια βελτίωσης –Διασκεδαστικό για τα παιδιά –Το σύστημα μπορεί να δώσει σε ένα δάσκαλο τη ταυτότητα των παιδιών με μεγάλη πιθανότητα να είναι bully, με σκοπό την έγκαιρη διάγνωση και παρέμβαση ›Μελλοντικές κατευθύνσεις Βελτίωση της ακρίβειας των αποτελεσμάτων. Τρόποι: –Αλλαγή μοντέλου έτσι ώστε να συμπεριλαμβάνει περισσότερες πληροφορίες από το παιχνίδι ›Συναλλαγές κερμάτων ›Τελικό σκορ παιχνιδιού –Καλύτερος τρόπος επίλυσης προβλήματος ανισορροπίας δεδομένων ›Συνδυασμός κατηγοριοποιητών μέγιστου περιθωρίου (max-margin) (π.χ. SVM) με απλοποιημένους κατηγοριοποιητές (π.χ. αφελής Bayes) ›Πρόσθεση επιπλέον γνώσεων για αναγνώριση των bullies με κακή ικανότητα διαπραγμάτευσης

18 Τέλος παρουσίασης Identifying bullies with a computer game Juan F. Mancilla-Caceres,Wen Pu, Eyal Amir Dorothy Espelage Σας ευχαριστώ