Independent Component Analysis (ICA) Ιανουάριος 2012

PCA vs ICA

PCA ICA

Cocktail Party Independent Sources Observations s1s1 s2s2 x1x1 x2x2

Cocktail Party Independent Sources Observations s1s1 s2s2 x1x1 x2x2 Using Vector-Matrix notation

Ανεξαρτησία Τυχαίων Μεταβλητών Δύο τυχαίες μεταβλητές είναι ανεξάρτητες όταν η πληροφορία γα την τιμή της μίας δεν προσφέρει καμία επιπλέον πληροφορία για την τιμή της άλλης. Όταν η από κοινού pdf είναι παραγοντοποιήσιμη:,

Ανεξαρτησία Τυχαίων Μεταβλητών s1s1 s2s2 x1x1 x2x2

s1s1 s2s2 x1x1 x2x2 PC 2 PC 1 IC 1 IC 2

Κεντρικό Οριακό Θεώρημα (CLT) Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή.

Κεντρικό Οριακό Θεώρημα (CLT) Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή. Observed signal=IC1IC2 ICn m1m1 + m 2 ….+ m n toward GaussianNon-Gaussian

“Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α -1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες.

“Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α -1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε

“Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α -1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε Το άθροισμα έστω και δύο τυχαίων μεταβλητών είναι περισσότερο «Γκαουσιανό» από καθεμία ξεχωριστά. Η ιδιότητα αυτή ελαχιστοποιείται όταν ο γραμμικός συνδυασμός γίνεται ίσος κάποιο από τα s i.

“Nongaussian is Independent” Αρκεί λοιπόν ένα αξιόπιστο μέτρο για τη «μή Γκαουσιανότητα» από τη βελτιστοποίηση του οποίου θα προκύψουν οι ανεξάρτητες συνιστώσες. Σε χώρο n διαστάσεων μία τέτοια συνάρτηση έχει 2n τοπικά μέγιστα. Η εύρεση των ανεξάρτητων συνιστωσών γίνεται με αβεβαιότητα ως προς το πρόσημο (κατεύθυνση) και την σειρά.

Μέτρα μη Γκαουσιανότητας Kurtosis

Μέτρα μη Γκαουσιανότητας Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0

Μέτρα μη Γκαουσιανότητας Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0 Μειονέκτημα: Παρουσιάζει μεγάλη ευαισθησία σε outliers. Η τιμή της καθορίζεται περισσότερο από δείγματα στην ουρά της κατανομής.

Μέτρα μη Γκαουσιανότητας Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως:

Μέτρα μη Γκαουσιανότητας Negentropy Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση. Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως:

Μέτρα μη Γκαουσιανότητας Negentropy Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση. Συνεπώς ένα κατάλληλο μέτρο για τη μη Γκαουσιανότητα θα ήταν το εξής: Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως:

Μέτρα μη Γκαουσιανότητας Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y).

Μέτρα μη Γκαουσιανότητας Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y). Approximations of Negentropy 1.Με χρήση στατιστικών ροπών ανώτερης τάξης: 2. Χρησιμοποιώντας την προσέγγιση

Ισοδύναμες προσεγγίσεις Ελαχιστοποίηση της αμοιβαίας πληροφορίας (Minimization of Mutual Information) Εκτίμηση μέγιστης πιθανοφάνειας (Maximum Likelihood Estimation)

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI) Η αμοιβαία πληροφορία ανάμεσα σε m τυχαίες μεταβλητές ορίζεται ως:

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI) Η αμοιβαία πληροφορία ανάμεσα σε m τυχαίες μεταβλητές ορίζεται ως: Για έναν αντιστρεπτό γραμμικό μετασχηματισμό η έκφραση γίνεται: Αποδεικνύεται πως η αναζήτηση για μετασχηματισμό W που να ελαχιστοποιεί την αμοιβαία πληροφορία ισοδυναμεί με μεγιστοποίηση του negentropy.

Εκτίμηση μέγιστης πιθανοφάνειας Έστωο πίνακας Α -1. Τότε η log-likelihood έχει τη μορφή:

Εκτίμηση μέγιστης πιθανοφάνειας Έστωο πίνακας Α -1. Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L.

Εκτίμηση μέγιστης πιθανοφάνειας Έστωο πίνακας Α -1. Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L. Απαιτείται εκτίμηση της. Στην πράξη αρκεί η εκτίμηση για το αν οι κατανομές είναι sub ή supergaussian. Μειονέκτημα: Αν η εκτίμηση είναι λάθος, το αποτέλεσμα μπορεί να είναι εντελώς λανθασμένο.

Επεκτάσεις της ICA Noisy ICA Συμπεριλαμβάνονται μοντέλα θορύβου κατά την ανάλυση. Non-Linear ICA Τα παρατηρούμενα σήματα είναι μη γραμμικός συνδυασμός των πηγών. Binary ICA Οι πηγές και τα παρατηρούμενα σήματα είναι δυαδικά. Overcomplete ICA Οι πηγές είναι περισσότερες από τα παρατηρούμενα σήματα.

Εφαρμογές της ICA Ηλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG)

Εφαρμογές της ICA Ηλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG)

Εφαρμογές της ICA Τομογραφία - fMRI

Εφαρμογές της ICA Τηλεπικοινωνίες: Εξάλειψη θορύβου & αντιμετώπιση πολυόδευσης

Εφαρμογές της ICA Οικονομία: Ανάλυση ροών χρήματος

Εφαρμογές της ICA Αστρονομία: Ανάλυση φασματικών υπογραφών Αστέρων

Εφαρμογές της ICA Επεξεργασία εικόνας - Denoising

Εφαρμογές της ICA Εξαγωγή χαρακτηριστικών

Χρήσιμες Πηγές Fast ICA Cocktail Party audio examples “Independent Component Analysis: Algorithms and Applications”, Aapo Hyvärinen and Erkki Oja. “Survey on Independent Component Analysis”, Aapo Hyvärinen.