WEIGHTED CLUSTERING ΠΡΟΗΓΜΕΝΗ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ Μιχάλης Χριστόπουλος Μ Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence Paper of Margareta Ackerman, Shai Ben-David, Simina Branzei, David Loker

Τι είναι το clustering; Ομαδοποίηση δεδομένων με βάση κάποια συνάρτηση «ομοιότητας» (πχ ευκλείδεια απόσταση) Εφαρμογές σε machine learning, pattern recognition, data mining etc To πρόβλημα του facility allocation είναι ένα παράδειγμα clustering. Χρησιμοποιούνται αλγόριθμοι διαίρεσης ιεραρχικοί αλγόριθμοι

Weighted Clustering (?) Weighted Clustering είναι μια γενίκευση του προβλήματος clustering όπου κάθε «σημείο» έχει διαφορετική σημασία/βάρος. Οι ίδιοι αλγόριθμοι μπορούν εύκολα να εφαρμοστούν Όμως: Έχουν όλοι οι αλγόριθμοι clustering την ίδια συμπεριφορά όταν χρησιμοποιηθούν σε weighted δεδομένα; Πως θα επιλέξουμε τον κατάλληλο αλγόριθμο; Στο παρελθόν δεν έχει μελετηθεί εις βάθος.

Βασικές έννοιες w: X --> R +, domain: w[X], element: w(x) d: distance function, X*X --> R + U {0}, d(x,y)=0  x=y weighted data set: (w[X],d) K-clustering C = {C 1,C 2,…,C k }, 1<k<|X| (no one-cluster clusterings and no single-element clusters), U i C i =X |C| = number of clusters in C An algorithm A maps (w[X],d) and a 1<k<|X| to a k-clustering of X Dendrogram D=(T,M) Hierarchical algorithm maps a (w[X],d) to a dendrogram D.

Αλγόριθμοι clustering Partitional ◦Ratio-cut Spectral Clustering ◦K-Means ◦(k-medoids, k-median, min- sum, min-diameter, k-center) Hierarchical Average Linkage Ward’s method (Bisecting k-means, simple-linkage, complete- linkage) Weight responsive: υπάρχει w => Α(w[X],d)=C και υπάρχει w’ => Α(w’[X],d)≠C Weight sensitive: αν για όλα τα (Χ,d) και όλα τα C => weight responsive Weight Robust: δεν αλλάζει το αποτέλεσμα τους από τα βάρη Weight Considering: είναι responsive για κάποια (Χ,d) και C ενώ είναι robust για κάποια άλλα.

ΑΛΓΟΡΙΘΜΟΙ ΔΙΑΧΩΡΙΣΜΟΥ Ratio-cut spectral Clustering ◦Χρησιμοποιεί similarity function Πορίσματα ◦Perfect clustering: x1,x2,x3,x4  x1 ~C x2 and x3 ≁ C x4 => s(x1,x2) > s(x3,x4) ◦Separation-uniform clustering: υπάρχει λ ώστε για κάθε x,y є X αν x ≁ C y τότε s(x,y) = λ. ◦Ο Ratio-cut είναι weight responsive σε ένα clustering C αν και μόνο αν το C δεν είναι perfect ή δεν είναι separation-uniform. Διαφορετικά είναι weight robust.

ΑΛΓΟΡΙΘΜΟΙ ΔΙΑΧΩΡΙΣΜΟΥ 2 K-Means ◦Ο K-Means είναι weight separable

ΑΛΓΟΡΙΘΜΟΙ ΔΙΑΧΩΡΙΣΜΟΥ 3 Οι weight separable αλγόριθμοι ικανοποιούν μια ισχυρότερη συνθήκη από τους weight sensitive. ◦Τροποποιώντας τα βάρη μπορούν να διαχωρίσουν κάθε σύνολο σημείων. Για κάθε (X,d) και κάθε S  υποσύνολο του X, 2≤|S|≤k υπάρχει w  x ≁ A(w[x],d,k) y για κάθε x,y. ΚΑΘΕ weight separable είναι και weight sensitive. Παρόμοιοι αλγόριθμοι όπως οι k-median, k-medoids είναι επίσης weight separable.

ΙΕΡΑΡΧΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ Weight responsive : υπάρχει w ώστε ο A παράγει το clustering C και w’ ώστε ο A δεν παράγει το C. Οι υπόλοιποι ορισμοί βασίζονται στο παραπάνω. Nice Clustering: C is nice when x1 ~C x2 και x1 ≁ C x3 => d(x1,x2)<d(x1,x3) για κάθε x1,x2,x3 є X.

ΙΕΡΑΡΧΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ 2 Average-linkage ◦Βάζει κάθε σημείο σε δικό του cluster και συνεχίζει ενώνοντας κάθε «κοντινότερο» ζεύγος clusters. ◦Δημιουργείται έτσι ένα δενδρόγραμμα. ◦Χρησιμοποιεί μια συνάρτηση συνένωσης για να εντοπίσει τα κοντινότερα clusters. Ο Average Linkage είναι weight robust όταν ένα C είναι nice και weight responsive όταν δεν είναι nice. Άρα είναι weight-considering. Κάθε nice clustering εμφανίζεται στο δενδρόγραμμα του αλγόριθμου.

ΙΕΡΑΡΧΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ 3 Ward’s Method ◦Σε κάθε βήμα ενώνει τα clusters που θα επιφέρουν τη μικρότερη αύξηση του κ-means κόστους. ◦Είναι weight sensitive.

ΔΙΑΙΡΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ Ξεκινούν από όλα τα δεδομένα σε ένα cluster και το διαιρούν συνεχώς. ◦Χρησιμοποιούν bisecting k-means. P-Divisive: Χρησιμοποιεί έναν αλγόριθμο partitional clustering P, για να διαιρεί επαναληπτικά το dataset σε 2 clusters μέχρι να μείνουν όλα τα στοιχεία μόνα τους. Εάν ο P είναι weight separable τότε ο P-divisive είναι weight sensitive.

Αποτελέσματα PartitionalHierarchical Weight sensitiveK-means, k-medoids, k-median, min-sum Ward’s method, Bisecting k-means Weight consideringRatio-cutAverage-linkage Weight robustMin-diameter, k- center Single-linkage, Complete-linkage

Συμπεράσματα Οι αποδοτικοί αλγόριθμοι στα δεδομένα χωρίς βάρη τείνουν να είναι weight- responsive. ◦K-means Μπορούμε να επιλέξουμε αλγόριθμο ◦i.e Facility allocation problem  Τα βάρη είναι σημαντικά στο πρόβλημα  Ένας weight sensitive είναι ο καταλληλότερος

ΕΥΧΑΡΙΣΤΩ! 