Independent Component Analysis (ICA) Δεκέμβριος 2015 University of Patras Computer Vision Group

University of Patras Computer Vision Group PCA vs ICA University of Patras Computer Vision Group

University of Patras Computer Vision Group PCA vs ICA University of Patras Computer Vision Group

University of Patras Computer Vision Group PCA vs ICA University of Patras Computer Vision Group

University of Patras Computer Vision Group PCA vs ICA University of Patras Computer Vision Group

University of Patras Computer Vision Group PCA vs ICA University of Patras Computer Vision Group

University of Patras Computer Vision Group PCA vs ICA University of Patras Computer Vision Group

University of Patras Computer Vision Group PCA vs ICA ICA PCA University of Patras Computer Vision Group

Ανεξαρτησία Τυχαίων Μεταβλητών Δύο τυχαίες μεταβλητές είναι ανεξάρτητες όταν η πληροφορία γα την τιμή της μίας δεν προσφέρει καμία επιπλέον πληροφορία για την τιμή της άλλης. Όταν η από κοινού pdf είναι παραγοντοποιήσιμη: , University of Patras Computer Vision Group

Ανεξαρτησία Τυχαίων Μεταβλητών s1 x1 s2 x2 University of Patras Computer Vision Group

Ανεξαρτησία Τυχαίων Μεταβλητών s1 x1 IC1 s2 x2 IC2 PC2 PC1 University of Patras Computer Vision Group

University of Patras Computer Vision Group Cocktail Party x1 s1 Observations Independent Sources x2 s2 University of Patras Computer Vision Group

University of Patras Computer Vision Group Cocktail Party x1 s1 Observations Independent Sources x2 s2 Using Vector-Matrix notation University of Patras Computer Vision Group

Κεντρικό Οριακό Θεώρημα (CLT) Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή. University of Patras Computer Vision Group

Κεντρικό Οριακό Θεώρημα (CLT) Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή. ICn Observed signal = m1 IC1 + m2 IC2 ….+ mn toward Gaussian Non-Gaussian Non-Gaussian Non-Gaussian University of Patras Computer Vision Group

“Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. University of Patras Computer Vision Group

“Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε University of Patras Computer Vision Group

“Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε Το άθροισμα έστω και δύο τυχαίων μεταβλητών είναι περισσότερο «Γκαουσιανό» από καθεμία ξεχωριστά. Η ιδιότητα αυτή ελαχιστοποιείται όταν ο γραμμικός συνδυασμός γίνεται ίσος κάποιο από τα si. University of Patras Computer Vision Group

“Nongaussian is Independent” Αρκεί λοιπόν ένα αξιόπιστο μέτρο για τη «μή Γκαουσιανότητα» από τη βελτιστοποίηση του οποίου θα προκύψουν οι ανεξάρτητες συνιστώσες. Σε χώρο n διαστάσεων μία τέτοια συνάρτηση έχει 2n τοπικά μέγιστα. Η εύρεση των ανεξάρτητων συνιστωσών γίνεται με αβεβαιότητα ως προς το πρόσημο (κατεύθυνση) και την σειρά. University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Kurtosis University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0 University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0 Μειονέκτημα: Παρουσιάζει μεγάλη ευαισθησία σε outliers. Η τιμή της καθορίζεται περισσότερο από δείγματα στην ουρά της κατανομής. University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση. University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση. Συνεπώς ένα κατάλληλο μέτρο για τη μη Γκαουσιανότητα θα ήταν το εξής: University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y). University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y). Approximations of Negentropy Με χρήση στατιστικών ροπών ανώτερης τάξης: Χρησιμοποιώντας την προσέγγιση University of Patras Computer Vision Group

Ισοδύναμες προσεγγίσεις Ελαχιστοποίηση της αμοιβαίας πληροφορίας (Minimization of Mutual Information) Εκτίμηση μέγιστης πιθανοφάνειας (Maximum Likelihood Estimation) University of Patras Computer Vision Group

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI) University of Patras Computer Vision Group

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI) Για έναν αντιστρεπτό γραμμικό μετασχηματισμό η έκφραση γίνεται: Αποδεικνύεται πως η αναζήτηση για μετασχηματισμό W που να ελαχιστοποιεί την αμοιβαία πληροφορία ισοδυναμεί με μεγιστοποίηση του negentropy. University of Patras Computer Vision Group

Εκτίμηση μέγιστης πιθανοφάνειας Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: University of Patras Computer Vision Group

Εκτίμηση μέγιστης πιθανοφάνειας Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L. University of Patras Computer Vision Group

Εκτίμηση μέγιστης πιθανοφάνειας Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L. Απαιτείται εκτίμηση της . Στην πράξη αρκεί η εκτίμηση για το αν οι κατανομές είναι sub ή supergaussian. Μειονέκτημα: Αν η εκτίμηση είναι λάθος, το αποτέλεσμα μπορεί να είναι εντελώς λανθασμένο. University of Patras Computer Vision Group

University of Patras Computer Vision Group Επεκτάσεις της ICA Noisy ICA Συμπεριλαμβάνονται μοντέλα θορύβου κατά την ανάλυση. Non-Linear ICA Τα παρατηρούμενα σήματα είναι μη γραμμικός συνδυασμός των πηγών. Binary ICA Οι πηγές και τα παρατηρούμενα σήματα είναι δυαδικά. Overcomplete ICA Οι πηγές είναι περισσότερες από τα παρατηρούμενα σήματα. University of Patras Computer Vision Group

University of Patras Computer Vision Group Εφαρμογές της ICA Ανίχνευση και Διαχωρισμός πηγών (Source Separation) Επιλογή Χαρακτηριστικών (Features Selection) University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών Ηλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG) University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών Ηλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG) University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών Τομογραφία - fMRI University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών Τηλεπικοινωνίες: Εξάλειψη θορύβου & αντιμετώπιση πολυόδευσης University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών Οικονομία: Ανάλυση ροών χρήματος University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών Αστρονομία: Ανάλυση φασματικών υπογραφών Αστέρων University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών Επεξεργασία εικόνας - Denoising University of Patras Computer Vision Group

University of Patras Computer Vision Group Εφαρμογές της ICA Εξαγωγή χαρακτηριστικών University of Patras Computer Vision Group

Εφαρμογές της ICA Εξαγωγή χαρακτηριστικών University of Patras Computer Vision Group

University of Patras Computer Vision Group Χρήσιμες Πηγές Fast ICA http://research.ics.tkk.fi/ica/fastica/ Cocktail Party audio examples http://cnl.salk.edu/~tewon/Blind/blind_audio.html “Independent Component Analysis: Algorithms and Applications”, Aapo Hyvärinen and Erkki Oja. “Survey on Independent Component Analysis”, Aapo Hyvärinen. University of Patras Computer Vision Group