Μοντελοποίηση της Οπτικής Προσοχής Visual Attention Modeling Υπ. Διδ. Ιωάννης Ρήγας Τμήμα Φυσικής, Πανεπιστήμιο Πατρών

Τι θα δούμε σήμερα??  Bottom-up Saliency Models. Spatial domain analysis Spectral domain analysis Sparse representation models UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012  Οι συσκευές καταγραφής οφθαλμικών κινήσεων (eye-trackers) ως εργαλείο για την αξιολόγηση των αλγοριθμικών μοντέλων υπολογιστικής όρασης.  Εφαρμογή: Βιομετρική αναγνώριση με χρήση των οφθαλμικών κινήσεων.

...και τι μας χρειάζεται η υπολογιστική μοντελοποίηση της ανθρώπινης προσοχής Πρόσεχε οδηγέ!!!!! Έεε… μην κάψουμε και τον υπολογιστή Καλά είναι και τα κόκκινα αλλά πουλάμε πράσινα Άλλα και: στην εκπαίδευση ιατρικές εφαρμογές marketing augmented reality κ.α Οπα, οπα, οπα… UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Βottom-up and Top-down saliency Visual saliency is the distinct subjective perceptual quality which makes some items in the world stand out from their neighbors and immediately grab our attention. Bottom-up models Μοντελοποίηση οπτικής προσοχής με χρήση χαρακτηριστικών χαμηλού επιπέδου (low level features) intensity/color features (ένταση/χρώμα) orientation features (προσανατολισμός) motion features (κίνηση) UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012 In real life

Top-down models Bottom-up vs. Top-down models task-independent computational efficient useful as front-ends generality task-dependent more complicated useful at specific applications UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012 meaningful entities (e.g. words) Faces, object etc. task dependent search Bottom-upTop-down

Itti & Koch Model L. Itti, C. Koch, E. Niebur, ”A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp , Nov Key concept: μηχανισμός “center- surround” εμπνευσμένος απο τoυς ανθρώπινους οπτικούς υποδοχείς. Spatial domain analysis multiscale Gaussian pyramids on intensity, color and orienta- tion features. UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Normalization of intermediate feature maps. Final combination of the maps to produce the final map. non-linear schemes may also be used (e.g. max, max-min) UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012 L. Itti, C. Koch, E. Niebur, ”A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp , Nov Spatial domain analysis

“Inhibition of Return” Temporal modeling of saliency Task: try to predict the sequence in which the attention transitions may occur. Psychophysically observed inhibition 500~900 msec UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012 L. Itti, C. Koch, E. Niebur, ”A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp , Nov Spatial domain analysis

Graph-based visual saliency (GBVS) Key Concept: Συγκέντρωση μάζας στις σημαντικότερες περιοχές του χάρτη. J. Harel, C. Koch, and P. Perona, “Graph-based visual saliency”, in: Advances in Neural Information Processing Systems (NIPS) 19, pp , Comparison of Itti/Koch and GBVS model UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012 Spatial domain analysis

Attention based on Information Maximization (AIM) Key concept: μοντέλο εμπνευσμένο απο την θεωρία της πληροφορίας του Shannon. Η προσοχή αντιμετωπίζεται ως αποτέλεσμα της προσπάθειας μεγιστοποίησης της προσληφθείσας πληροφορίας κατα την οπτική παρατήρηση. Self-information N. Bruce and J. Tsotsos, “Attention based on information maximization”, Journal of Vision, vol. 7, no. 9, pp , UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012 p(X): The raw probability of patch X with respect to its neighbors A measure of local content contrast. Spatial domain analysis

Phase spectrum of Fourier Transform (PFT) Quaternion Fourier transform (QFT) : motion features also incorporated Key concept: συσχέτιση φάσης και τοπικότητας σε μια εικόνα Spectral domain analysis C. Guo, Q. Ma, and L. Zhang, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform”, in: CVPR, pp. 1-8, UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Key concept: το πρόσημο του DCT μετασχηματισμού περικλείει πληροφορία για την φάση μιας εικόνας. compressed representation: only the sign information needed (1-bit per pixel) fast implementation Spectral domain analysis Image Signature X. Hou, J. Harel, and C. Koch. “Image signature: Highlighting sparse salient regions”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 34( 1):194, 2012 UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Visual Saliency Detection via Sparsity Pursuit Sparse Coding models Key concept: προσέγγιση της saliency σαν πρόβλημα low-rank approximation. J. Yan, M. Zhu, H. Liu, Y. Liu, “Visual Saliency Detection via Sparsity Pursuit”, IEEE Signal Processing Letters, vol. 17, is. 8, pp , UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Συσκευές καταγραφής οφθαλμικών κινήσεων (Eye trackers) Desk mounted Remote dual camera Head mounted Eye-tracking glasses Τύποι συσκευών UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Αρχή λειτουργίας συσκευής eye-tracker Eye Tracker Cambridge Research Systems 50 Hz UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Χρήση συσκευών eye-tracker UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Χρήση συσκευών eye-tracker για την παρακολούθηση μηχανισμών προσοχής Στην εκπαίδευση Στην διαφήμιση Στην μελέτη πρωτευώντων Στην γνωστική ψυχολογία UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Χρήση συσκευών eye-tracker στην υπολογιστική μοντελοποίηση της προσοχής Ο eye-tracker αποτελεί μια ιδανική διεπαφή για την αξιολόγηση αλγορίθμων υπολογιστικής μοντελοποίησης της προσοχής. UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012 ROC curve TP: true fixations falling into the activation area of the map FP: points from random locations or fixations from other images

Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση Όφθαλμικές κινήσεις σαν βιομετρικό χαρακτηριστικό: physical and behavioral characteristics Δύσκολα πλαστογραφούνται Υπάρχει δυνατότητα καταγραφής εξ’αποστάσεως Οι συσκευές eye-tracking είναι πια σε λογικό κόστος Η επίδοσή τους ακόμα υπολείπεται τον κλασσικών μεθόδων Συχνά είναι αναγκαία μια διαδιακασία calibration πριν την χρήση Ανάγκη για benchmark datasets UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών,

Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση Key concept: διερεύνηση της χωρικής κατανομής των οφθαλμικών κινήσεων κατα την παρατήρηση ανθρωπίνων προσώπων. I. Rigas, G. Economou, and Sp. Fotopoulos, Biometric identification based on the eye movements and graph matching techniques, Pattern Recognition Letters, 33, 6, pp , April 2012 Two-round MST Fixation clustering and outlier removal A. Spatial eye movement characteristics UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση EER ~ 30% mainly behavioral biometrical characteristics I. Rigas, G. Economou, and Sp. Fotopoulos, Biometric identification based on the eye movements and graph matching techniques, Pattern Recognition Letters, 33, 6, pp , April 2012 WW-test for the comparison of the fixation distributions UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση Key concept: διερεύνηση χρονικών χαρακτηριστικών των οφθαλμικών κινήσεων κατα την παρατήρηση ενός κινούμενου σημείου. B. Temporal eye movement characteristics I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Extract dynamic features - velocity/acceleration fixation sub-signal first-order time derivativesecond-order time derivative eye-movements velocity eye-movements acceleration Low-pass filter. Cut high frequencies Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Projection of the sampled time signals in a multivariate feature space. first-order time derivative second-order time derivative Feature space (only 3-dims used for visualization) Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

The total similarity of two samples is computed as the average over the W values of each corresponding fixation sub-signal comparison. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

k-nearest neighbors Accuracy ACC1 191,5 % 389,8 % 588,2 % k-nearest neighbors Accuracy ACC1 182 % 379,7 % 574,1 % Dataset A Dataset B Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep Physical and behavioral characteristics UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

References A. M. Treisman, G. Gelade, A feature-integration theory of attention, Cognitive Psychol. 12 (1) (1980) L. Itti, C. Koch, E. Niebur, A model of saliency based visual attention for rapid scene analysis, IEEE Trans. Pattern Anal. Machine Intell. (PAMI) 20 (11) (1998) L. Itti, J. Braun, D. K. Lee, C. Koch, Attentional modulation of human pattern discrimination psychophysics reproduced by a quantitative model, in: M. J. Kearns, S. A. Solla, D. A. Cohn, (eds.), Advances in Neural Information Processing Systems 11 (1999) B. W. Tatler, R. J. Baddeley, I. D. Gilchrist, Visual correlates of fixation selection: Effects of scale and time, Vision Res. 45 (5) (2005) N. Bruce, J. Tsotsos, Saliency based on information maximization, in: Y. Weiss, B. Scholkopf, J. Platt, (eds.), Advances in Neural Information Processing Systems 18 (2006) J. Harel, C. Koch, P. Perona, Graph-based visual saliency, in: B. Scholkopf, J. Platt, T. Hoffman, (eds.), Advances in Neural Information Processing Systems 19 (2007) C. Siagian, L. Itti, Rapid biologically-inspired scene classification using features shared with visual attention, IEEE Trans. Pattern Anal. Machine Intell. (PAMI) 29 (2) (2007) C. Guo, Q. Ma, L. Zhang, Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform, in: IEEE Conf. on Comput. Vision and Pattern Recognit. (CVPR), 2008, pp L. Zhang, M. Tong, T. Marks, H. Shan, G. Cottrell, SUN: A bayesian framework for saliency using natural statistics, Journal of Vision 8 (7) (2008) article 32. S. Wan, P. Jin, L. Yue, An approach for image retrieval based on visual saliency, in: Int. Conf. on Image Analysis and Signal Processing (IASP), 2009, pp J. Yan, M. Zhu, H. Liu, Y. Liu, Visual saliency detection via sparsity pursuit, IEEE Signal Process. Lett. 17 (8) (2010) C. K. Chang, C. Siagian, L. Itti, Mobile robot vision navigation & localization using gist and saliency, in: IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2010, pp X. Hou, J. Harel, C. Koch, Image Signature: Highlighting sparse salient regions, IEEE Trans. Pattern Anal. Machine Intell. (PAMI) 34 (1) (2012) I. Rigas, G. Economou, and Sp. Fotopoulos, Biometric identification based on the eye movements and graph matching techniques, Pattern Recognition Letters, 33, 6, pp , April 2012 I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012

Ευχαριστώ Ελπίζω να είχα την προσοχή σας (το πιάσατε το υπονοούμενο!) UPatras Computer Vision Group (UPCV) - Τμήμα Φυσικής Πανεπιστημίο Πατρών, 2012