Ανάλυση συμπεριφοράς και συναισθημάτων για φιλικότερη επικοινωνία ανθρώπου μηχανής Στ. Κόλλιας, Καθηγητής ΣΗΜΜΥ-ΕΜΠ Κ. Καρπούζης, Δ. Ερευνών ΕΠΙΣΕΥ-ΕΜΠ

Συναισθήματα και συμπεριφορά στην ΕΑΜ Στις περισσότερες περιπτώσεις οι διαπροσωπείες Α-Μ Στις περισσότερες περιπτώσεις οι διαπροσωπείες Α-Μ Είναι πολύπλοκες στη χρήση και δυσκολεύουν το χρήστη στην αναζήτηση του στόχου του Είναι πολύπλοκες στη χρήση και δυσκολεύουν το χρήστη στην αναζήτηση του στόχου του Σπάνια προσφέρουν εξατομικευμένες υπηρεσίες ή μορφές επικοινωνίας Σπάνια προσφέρουν εξατομικευμένες υπηρεσίες ή μορφές επικοινωνίας Δε λαμβάνουν υπόψη τους τους κοινωνικούς παράγοντες κατά τη σχεδίαση Δε λαμβάνουν υπόψη τους τους κοινωνικούς παράγοντες κατά τη σχεδίαση Δε λαμβάνουν υπόψη και δεν προσαρμόζονται στην ψυχολογική κατάσταση του χρήστη Δε λαμβάνουν υπόψη και δεν προσαρμόζονται στην ψυχολογική κατάσταση του χρήστη

Οι υπολογιστές εξελίσσονται ραγδαία... Μνήμη Ταχύτητα Πρόσβαση σε υψηλή τεχνολογία Δυνατότητες των υπολογιστικών συστημάτων

...αλλά οι χρήστες όχι! Μνήμη Ταχύτητα Πρόσβαση σε υψηλή τεχνολογία Δυνατότητες των χρηστών Δυνατότητες των υπολογιστικών συστημάτων

Το πλαίσιο της ΕΑΜ Η ΕΑΜ πραγματεύεται τη σχεδίαση χρήσιμων και χρηστικών συστημάτων Η ΕΑΜ πραγματεύεται τη σχεδίαση χρήσιμων και χρηστικών συστημάτων Τα διαδραστικά συστήματα μπορούν να κάνουν τους χρήστες να αντιδράσουν με κάποιον τρόπο Τα διαδραστικά συστήματα μπορούν να κάνουν τους χρήστες να αντιδράσουν με κάποιον τρόπο Π.χ. να χαρούν, να εμπιστευτούν το σύστημα, να μάθουν, κλπ. Π.χ. να χαρούν, να εμπιστευτούν το σύστημα, να μάθουν, κλπ.

Ικανοποίηση του χρήστη Μια ένδειξη είναι η συναισθηματική αντίδραση προς την εφαρμογή Μια ένδειξη είναι η συναισθηματική αντίδραση προς την εφαρμογή Αρέσει ή όχι στο χρήστη; Αρέσει ή όχι στο χρήστη; Επηρεάζεται αλλά δεν εξαρτάται αποκλειστικά από τη χρηστικότητα Επηρεάζεται αλλά δεν εξαρτάται αποκλειστικά από τη χρηστικότητα Δύο εφαρμογές με παρόμοια χρησιμότητα μπορεί να προκαλούν διαφορετική ικανοποίηση στο χρήστη Δύο εφαρμογές με παρόμοια χρησιμότητα μπορεί να προκαλούν διαφορετική ικανοποίηση στο χρήστη Αυτό που είναι χρήσιμο για το χρήστη ενδέχεται να μην του αρέσει! Αυτό που είναι χρήσιμο για το χρήστη ενδέχεται να μην του αρέσει!

Ικανοποίηση του χρήστη Ικανοποίηση = συμπεριφορά + αποτέλεσμα + συναίσθημα Ικανοποίηση = συμπεριφορά + αποτέλεσμα + συναίσθημα Συμπεριφορά ΑποτέλεσμαΣυναίσθημα

Συναισθηματική υπολογιστική Affective computing Affective computing R. Picard R. Picard «Υπολογιστική που σχετίζεται, εκπορεύεται ή επηρεάζει συνειδητά τα συναισθήματα» «Υπολογιστική που σχετίζεται, εκπορεύεται ή επηρεάζει συνειδητά τα συναισθήματα» Διττή φύση Διττή φύση Γνωσιακή: εσωτερικές διεργασίες από τις οποίες ξεκινούν τα συναισθήματα Γνωσιακή: εσωτερικές διεργασίες από τις οποίες ξεκινούν τα συναισθήματα Φυσιολογική: σωματική ή άλλη εξωτερικευμένη αντίδραση που συνυπάρχει ή ακολουθεί ένα συναίσθημα Φυσιολογική: σωματική ή άλλη εξωτερικευμένη αντίδραση που συνυπάρχει ή ακολουθεί ένα συναίσθημα

Φυσιολογικές αντιδράσεις Αλλαγή στην εκφορά της ομιλίας Αλλαγή στην εκφορά της ομιλίας Εκφράσεις στο πρόσωπο Εκφράσεις στο πρόσωπο Στάση και κινήσεις του σώματος Στάση και κινήσεις του σώματος Σφυγμοί καρδιάς, θερμοκρασία, πίεση αίματος Σφυγμοί καρδιάς, θερμοκρασία, πίεση αίματος

Μοντελοποίηση συναισθημάτων Στο πλαίσιο της ΕΑΜ μπορούμε να ορίσουμε τα συναισθήματα σαν Στο πλαίσιο της ΕΑΜ μπορούμε να ορίσουμε τα συναισθήματα σαν Κοινωνικές δομές (τι είναι καλό/αποδοτικό για μένα/OCC) Κοινωνικές δομές (τι είναι καλό/αποδοτικό για μένα/OCC) Εσωτερικές δομές (Beliefs/Desires/Intentions, BDI) Εσωτερικές δομές (Beliefs/Desires/Intentions, BDI)

Το μοντέλο BDI Beliefs Beliefs Πληροφορίες για τις απόψεις του χρήστη για τον κόσμο, τους άλλους χρήστες, την εφαρμογή, κλπ. Πληροφορίες για τις απόψεις του χρήστη για τον κόσμο, τους άλλους χρήστες, την εφαρμογή, κλπ. Desires Desires Στόχοι ή επιθυμίες, το κίνητρο του χρήστη ως προς την εφαρμογή Στόχοι ή επιθυμίες, το κίνητρο του χρήστη ως προς την εφαρμογή Intentions Intentions Επιλεγμένες δράσεις (plans) για να επιτευχθεί ένας στόχος Επιλεγμένες δράσεις (plans) για να επιτευχθεί ένας στόχος

Το μοντέλο BDI Beliefs Beliefs Πληροφορίες για τις απόψεις του χρήστη για τον κόσμο, τους άλλους χρήστες, την εφαρμογή, κλπ. Πληροφορίες για τις απόψεις του χρήστη για τον κόσμο, τους άλλους χρήστες, την εφαρμογή, κλπ. Desires Desires Στόχοι ή επιθυμίες, το κίνητρο του χρήστη ως προς την εφαρμογή Στόχοι ή επιθυμίες, το κίνητρο του χρήστη ως προς την εφαρμογή Intentions Intentions Επιλεγμένες δράσεις (plans) για να επιτευχθεί ένας στόχος Επιλεγμένες δράσεις (plans) για να επιτευχθεί ένας στόχος Παρατηρούμενα συναισθήματα  εικόνα της εξέλιξης των beliefs και των desires  πρόβλεψη των intentions

Εκτίμηση συναισθηματικής κατάστασης του χρήστη

Εξαγωγή χαρακτηριστικών Όταν ο χρήστης κοιτάζει προς την κάμερα, τα χαρακτηριστικά του προσώπου και των χεριών του μπορούν να ανιχνευθούν με αυτόματο τρόπο Όταν ο χρήστης κοιτάζει προς την κάμερα, τα χαρακτηριστικά του προσώπου και των χεριών του μπορούν να ανιχνευθούν με αυτόματο τρόπο Ερευνητική πρόκληση: Ερευνητική πρόκληση: δημιουργία συστημάτων που να λειτουργούν σε οποιοδήποτε χώρο, χωρίς ανάγκη πρότερης γνώσης του χώρου ή του χρήστη δημιουργία συστημάτων που να λειτουργούν σε οποιοδήποτε χώρο, χωρίς ανάγκη πρότερης γνώσης του χώρου ή του χρήστη

Υποστήριξη περιβάλλοντος φιλικού προς το χρήστη Αποφυγή χρήσης τεχνικών που «φορτώνουν» τον χρήστη και το περιβάλλον του σε hardware Αποφυγή χρήσης τεχνικών που «φορτώνουν» τον χρήστη και το περιβάλλον του σε hardware Αποφυγή αρχικοποίησης και εκπαίδευσης του συστήματος από τον εκάστοτε χρήστη Αποφυγή αρχικοποίησης και εκπαίδευσης του συστήματος από τον εκάστοτε χρήστη ο χρήστης ΔΕΝ καταλαβαίνει άμεσα ότι καταγράφονται κάποια βιομετρικά του στοιχεία ο χρήστης ΔΕΝ καταλαβαίνει άμεσα ότι καταγράφονται κάποια βιομετρικά του στοιχεία μεγαλύτερος αυθορμητισμός μεγαλύτερος αυθορμητισμός

Παρακολούθηση χαρακτηριστικών Βασίζεται Βασίζεται σε απλές τεχνικές επεξεργασίας εικόνας σε απλές τεχνικές επεξεργασίας εικόνας σε κανόνες βασισμένους στη φυσιολογία του ανθρώπινου προσώπου και σώματος σε κανόνες βασισμένους στη φυσιολογία του ανθρώπινου προσώπου και σώματος στις αναμενόμενες κινήσεις που θα έκανε ένας άνθρωπος στο συγκεκριμένο περιβάλλον στις αναμενόμενες κινήσεις που θα έκανε ένας άνθρωπος στο συγκεκριμένο περιβάλλον Με βάση τα χαρακτηριστικά υπολογίζουμε Με βάση τα χαρακτηριστικά υπολογίζουμε Πόζα κεφαλιού (κατεύθυνση προς την οποία κοιτάζει) Πόζα κεφαλιού (κατεύθυνση προς την οποία κοιτάζει) Κίνηση ματιών – κατεύθυνση βλέμματος Κίνηση ματιών – κατεύθυνση βλέμματος Κίνηση κεφαλιού προς/μακριά από την κάμερα Κίνηση κεφαλιού προς/μακριά από την κάμερα Κίνηση χεριών/χειρονομίες Κίνηση χεριών/χειρονομίες

Εκτίμηση κατάστασης ενός χρήστη

Τα παραπάνω χαρακτηριστικά, με τη βοήθεια συστημάτων μηχανικής μάθησης (π.χ. ενός νευροασαφούς ή νευρωνικού δικτύου) επιτρέπουν την εκτίμηση του ενδιαφέροντος ή των συναισθημάτων του χρήστη σχετικά με το προβαλλόμενο υλικό ενός υπολογιστή, ενός ψηφιακού πράκτορα, κλπ. Τα παραπάνω χαρακτηριστικά, με τη βοήθεια συστημάτων μηχανικής μάθησης (π.χ. ενός νευροασαφούς ή νευρωνικού δικτύου) επιτρέπουν την εκτίμηση του ενδιαφέροντος ή των συναισθημάτων του χρήστη σχετικά με το προβαλλόμενο υλικό ενός υπολογιστή, ενός ψηφιακού πράκτορα, κλπ. ΕΚΤΙΜΗΣΗ ΚΑΤΑΣΤΑΣΗΣ ΧΡΗΣΤΗ

Από το χρήστη στη χρηστικότητα FP6 STREP Agent-Dysl FP6 STREP Agent-Dysl Δημιουργία μιας διαπροσωπείας ανάγνωσης κειμένων για παιδιά με δυσλεξία Δημιουργία μιας διαπροσωπείας ανάγνωσης κειμένων για παιδιά με δυσλεξία Ο αυτόματη τονισμός (highlight) των λέξεων διακόπτεται όταν ο χρήστης κοιτάζει εκτός οθόνης Ο αυτόματη τονισμός (highlight) των λέξεων διακόπτεται όταν ο χρήστης κοιτάζει εκτός οθόνης Δυσκολία στην ανάγνωση  αύξηση του μεγέθους των γραμμάτων, μείωση της ταχύτητας Δυσκολία στην ανάγνωση  αύξηση του μεγέθους των γραμμάτων, μείωση της ταχύτητας

Από το χρήστη στη χρηστικότητα FP6 ΙP CALLAS FP6 ΙP CALLAS Πολυτροπική (multimodal), φυσική διαδραστικότητα και συναισθηματική υπολογιστική στις τέχνες και την ψυχαγωγία Πολυτροπική (multimodal), φυσική διαδραστικότητα και συναισθηματική υπολογιστική στις τέχνες και την ψυχαγωγία Ανάλυση εκφράσεων, χειρονομιών, ομιλίας  συνθετική μουσική, εικονικοί χαρακτήρες Ανάλυση εκφράσεων, χειρονομιών, ομιλίας  συνθετική μουσική, εικονικοί χαρακτήρες

Από το χρήστη στη χρηστικότητα FP6 ΙP CALLAS FP6 ΙP CALLAS Σενάριο διαδραστικής μουσικής παράστασης Σενάριο διαδραστικής μουσικής παράστασης

Από το χρήστη στη χρηστικότητα FP6 ΙP CALLAS FP6 ΙP CALLAS Σενάριο διαδραστικής μουσικής παράστασης Σενάριο διαδραστικής μουσικής παράστασης Αυξημένο ενδιαφέρον  εισαγωγή πρόσθετων οργάνων Αυξημένο ενδιαφέρον  εισαγωγή πρόσθετων οργάνων Μειωμένο ενδιαφέρον και ευχαρίστηση  μελαγχολική μουσική Μειωμένο ενδιαφέρον και ευχαρίστηση  μελαγχολική μουσική Αυξημένο ενδιαφέρον, αλλά μειωμένη ευχαρίστηση  δυναμική, «θυμωμένη» μουσική Αυξημένο ενδιαφέρον, αλλά μειωμένη ευχαρίστηση  δυναμική, «θυμωμένη» μουσική

Από το χρήστη στη χρηστικότητα FP6 STREP Feelix Growing FP6 STREP Feelix Growing Ρομπότ που αντιλαμβάνονται, εκφράζουν συναισθήματα και εξελίσσονται Ρομπότ που αντιλαμβάνονται, εκφράζουν συναισθήματα και εξελίσσονται