Independent Component Analysis (ICA)

Independent Component Analysis (ICA)
Δεκέμβριος 2015 University of Patras Computer Vision Group

University of Patras Computer Vision Group
PCA vs ICA University of Patras Computer Vision Group

PCA vs ICA ICA PCA University of Patras Computer Vision Group

Ανεξαρτησία Τυχαίων Μεταβλητών
Δύο τυχαίες μεταβλητές είναι ανεξάρτητες όταν η πληροφορία γα την τιμή της μίας δεν προσφέρει καμία επιπλέον πληροφορία για την τιμή της άλλης. Όταν η από κοινού pdf είναι παραγοντοποιήσιμη: , University of Patras Computer Vision Group

s1 x1 s2 x2 University of Patras Computer Vision Group

s1 x1 IC1 s2 x2 IC2 PC2 PC1 University of Patras Computer Vision Group

Cocktail Party x1 s1 Observations Independent Sources x2 s2 University of Patras Computer Vision Group

Cocktail Party x1 s1 Observations Independent Sources x2 s2 Using Vector-Matrix notation University of Patras Computer Vision Group

Κεντρικό Οριακό Θεώρημα (CLT)
Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή. University of Patras Computer Vision Group

Κεντρικό Οριακό Θεώρημα (CLT)
Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή. ICn Observed signal = m1 IC1 + m2 IC2 ….+ mn toward Gaussian Non-Gaussian Non-Gaussian Non-Gaussian University of Patras Computer Vision Group

“Nongaussian is Independent”
Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. University of Patras Computer Vision Group

Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε University of Patras Computer Vision Group

Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε Το άθροισμα έστω και δύο τυχαίων μεταβλητών είναι περισσότερο «Γκαουσιανό» από καθεμία ξεχωριστά. Η ιδιότητα αυτή ελαχιστοποιείται όταν ο γραμμικός συνδυασμός γίνεται ίσος κάποιο από τα si. University of Patras Computer Vision Group

Αρκεί λοιπόν ένα αξιόπιστο μέτρο για τη «μή Γκαουσιανότητα» από τη βελτιστοποίηση του οποίου θα προκύψουν οι ανεξάρτητες συνιστώσες. Σε χώρο n διαστάσεων μία τέτοια συνάρτηση έχει 2n τοπικά μέγιστα. Η εύρεση των ανεξάρτητων συνιστωσών γίνεται με αβεβαιότητα ως προς το πρόσημο (κατεύθυνση) και την σειρά. University of Patras Computer Vision Group

Μέτρα μη Γκαουσιανότητας
Kurtosis University of Patras Computer Vision Group

Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0 University of Patras Computer Vision Group

Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0 Μειονέκτημα: Παρουσιάζει μεγάλη ευαισθησία σε outliers. Η τιμή της καθορίζεται περισσότερο από δείγματα στην ουρά της κατανομής. University of Patras Computer Vision Group

Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: University of Patras Computer Vision Group

Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση. University of Patras Computer Vision Group

Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση. Συνεπώς ένα κατάλληλο μέτρο για τη μη Γκαουσιανότητα θα ήταν το εξής: University of Patras Computer Vision Group

Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y). University of Patras Computer Vision Group

Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y). Approximations of Negentropy Με χρήση στατιστικών ροπών ανώτερης τάξης: Χρησιμοποιώντας την προσέγγιση University of Patras Computer Vision Group

Ισοδύναμες προσεγγίσεις
Ελαχιστοποίηση της αμοιβαίας πληροφορίας (Minimization of Mutual Information) Εκτίμηση μέγιστης πιθανοφάνειας (Maximum Likelihood Estimation) University of Patras Computer Vision Group

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI)
University of Patras Computer Vision Group

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI)
Για έναν αντιστρεπτό γραμμικό μετασχηματισμό η έκφραση γίνεται: Αποδεικνύεται πως η αναζήτηση για μετασχηματισμό W που να ελαχιστοποιεί την αμοιβαία πληροφορία ισοδυναμεί με μεγιστοποίηση του negentropy. University of Patras Computer Vision Group

Εκτίμηση μέγιστης πιθανοφάνειας
Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: University of Patras Computer Vision Group

Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L. University of Patras Computer Vision Group

Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L. Απαιτείται εκτίμηση της . Στην πράξη αρκεί η εκτίμηση για το αν οι κατανομές είναι sub ή supergaussian. Μειονέκτημα: Αν η εκτίμηση είναι λάθος, το αποτέλεσμα μπορεί να είναι εντελώς λανθασμένο. University of Patras Computer Vision Group

Επεκτάσεις της ICA Noisy ICA Συμπεριλαμβάνονται μοντέλα θορύβου κατά την ανάλυση. Non-Linear ICA Τα παρατηρούμενα σήματα είναι μη γραμμικός συνδυασμός των πηγών. Binary ICA Οι πηγές και τα παρατηρούμενα σήματα είναι δυαδικά. Overcomplete ICA Οι πηγές είναι περισσότερες από τα παρατηρούμενα σήματα. University of Patras Computer Vision Group

Εφαρμογές της ICA Ανίχνευση και Διαχωρισμός πηγών (Source Separation) Επιλογή Χαρακτηριστικών (Features Selection) University of Patras Computer Vision Group

Εφαρμογές της ICA Διαχωρισμός Πηγών
Ηλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG) University of Patras Computer Vision Group

Τομογραφία - fMRI University of Patras Computer Vision Group

Τηλεπικοινωνίες: Εξάλειψη θορύβου & αντιμετώπιση πολυόδευσης University of Patras Computer Vision Group

Οικονομία: Ανάλυση ροών χρήματος University of Patras Computer Vision Group

Αστρονομία: Ανάλυση φασματικών υπογραφών Αστέρων University of Patras Computer Vision Group

Επεξεργασία εικόνας - Denoising University of Patras Computer Vision Group

Εφαρμογές της ICA Εξαγωγή χαρακτηριστικών University of Patras Computer Vision Group

Εφαρμογές της ICA Εξαγωγή χαρακτηριστικών
University of Patras Computer Vision Group

Χρήσιμες Πηγές Fast ICA Cocktail Party audio examples “Independent Component Analysis: Algorithms and Applications”, Aapo Hyvärinen and Erkki Oja. “Survey on Independent Component Analysis”, Aapo Hyvärinen. University of Patras Computer Vision Group

Independent Component Analysis (ICA)

Παρόμοιες παρουσιάσεις

Παρουσίαση με θέμα: "Independent Component Analysis (ICA)"— Μεταγράφημα παρουσίασης:

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια

Είσοδος

Σύνδεση μέσω των κοινωνικών δικτύων:

Independent Component Analysis (ICA)

Παρόμοιες παρουσιάσεις

Παρουσίαση με θέμα: "Independent Component Analysis (ICA)"— Μεταγράφημα παρουσίασης:

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια