Εξόρυξη Γνώσης Από Χωρικά Δεδομένα Φροντιστήριο Αγγελική Σκούρα

Παρουσίαση με θέμα: "Εξόρυξη Γνώσης Από Χωρικά Δεδομένα Φροντιστήριο Αγγελική Σκούρα"— Μεταγράφημα παρουσίασης:

1 Εξόρυξη Γνώσης Από Χωρικά Δεδομένα Φροντιστήριο Αγγελική Σκούρα (skoura@ceid.upatras.gr)skoura@ceid.upatras.gr

2 Εξόρυξη Δεδομένων

3 Χωρικά vs. μη-χωρικά δεδομένα Παραδείγματα μη-χωρικών δεδομένων – Ονόματα, τηλέφωνα, διευθύνσεις email,... Παραδείγματα χωρικών δεδομένων – Δημογραφικά δεδομένα – Μετεωρολογικά δεδομένα – Κτηματολόγιο, δασολόγιο, κλπ. – Ιατρικές εικόνες

4 Χωρικό Αντικείμενο  Είναι αντικείμενο με μια χωρική συνιστώσα  Περιγράφεται από χωρικά και μη χωρικά γνωρίσματα  Σε αυτά μπορεί να περιλαμβάνεται κάποιος τύπος σχετικός με θέση:  Γεωγραφικό Μήκος και Πλάτος  Ταχυδρομικός Κωδικός  Διεύθυνση  Η ανάκτηση του αντικειμένου θα πρέπει να είναι δυνατή με χρήση χωρικών ή/και μη χωρικών γνωρισμάτων Προσπέλαση  Τα χωρικά δεδομένα μπορούν να προσπελασθούν χρησιμοποιώντας ερωτήσεις που περιέχουν χωρικούς τελεστές όπως οι τελεστές «κοντά», «βόρεια», «νότια», «γειτονικά» και «περιέχεται σε»

5 Εξόρυξη γνώσης από χωρικά δεδομένα Η εξόρυξη γνώσης από σύνολο χωρικών δεδομένων (spatial data mining) αποσκοπεί στην ανακάλυψη κρυμμένων συσχετίσεων και χαρακτηριστικών που ενυπάρχουν στα στοιχεία  Δηλ. πραγματοποιείται αναζήτηση για χρήσιμα, μη-τετριμμένα πρότυπα σε χωρικές βάσεις δεδομένων Στόχοι Ανάλυσης Χωρικών Δεδομένων:  Επαγωγικές Ερωτήματα (Deductive Querying), π.χ. searching, sorting, overlays  Απαγωγική Εξόρυξη (Inductive Mining), π.χ. statistics, correlation, clustering, classification Παραδείγματα Εφαρμογών:  Infer land-use classification from satellite imagery  Identify cancer clusters and geographic factors with high correlation  Identify crime hotspots to assign police patrols and social workers

6 Εφαρμογές εξόρυξης γνώσης από χωρικά δεδομένα Συστήματα Γεωγραφικών Πληροφοριών (GIS) Περιβαλλοντολογία Γεωλογία Γεωργία Ιατρική Ρομποτική Οπουδήποτε συνδυάζεται η χρονική με τη χωρική διάσταση

7 Απόσταση μεταξύ Χωρικών Αντικειμένων Σημειακά αντικείμενα  Ευκλείδεια, Manhattan Μη σημειακά αντικείμενα  Κάθε χωρικό αντικείμενο θεωρείται ως μια συστάδα των σημείων εντός του

8 Χωρική Εξόρυξη Γνώσης Εξόρυξη Γνώσης από Χωρικά Δεδομένα Χωρική Συσταδοποίηση STINGDBSCAN Χωρική Κατηγοριοποίηση Επέκταση του ID 3 Χωρικό Δένδρο Απόφασης

9 STING STatistical Information Grid-based Ο στόχος είναι η συσταδοποίηση (ως προς την θέση) των εγγραφών που υπάρχουν σε ένα πίνακα Χρησιμοποιεί μια ιεραρχική τεχνική για τη διαίρεση των χωρικών περιοχών σε ορθογώνια κελιά Κάθε κόμβος στη δομή πλέγματος συνοψίζει την πληροφορία για τα στοιχεία εντός της Μπορεί να θεωρηθεί ως τεχνική ιεραρχικής συσταδοποίησης Η τοποθέτηση μιας εγγραφής σε ένα grid cell καθορίζεται πλήρως από τη φυσική του θέση

10 Ο Αλγόριθμος STING Build

11 Παράδειγμα STING Build

12 Ο Αλγόριθμος STING

13 Ιεραρχική Δομή κάθε Grid Cell Η χωρική περιοχή χωρίζεται σε τετραγωνικά cells (χρησιμοποιώντας latitude και longitude) Κάθε κελί σχηματίζει μια ιεραρχική δομή Αυτό σημαίνει ότι κάθε κελί υψηλότερου επίπεδου διαχωρίζεται σε 4 μικρότερα κελιά χαμηλότερου επίπεδου  Με άλλα λόγια, κάθε κελί στο i-οστό επίπεδο (εκτός από τα φύλλα) έχει 4 παιδία στο i+1 επίπεδο Η ένωση των 4 παιδιών-cells θα επιστρέψει το γονικό κελί του προηγούμενου επιπέδου Το μέγεθος  των cells στο επιπέδο των φύλλων και  το πλήθος των επιπέδων εξαρτάται από το βαθμό «κοκοποίησης» (granularity) που επιθυμεί ο χρήστης

14 Η Ιεραρχική Δομή της Συσταδοποίησης Sting

15 Αποθήκευση Στατιστικών Παραμέτρων Η στατιστική πληροφορία σχετικά με τα γνωρίσματα σε κάθε grid cell, για κάθε επίπεδο προ-υπολογίζονται και αποθηκεύονται χειρωνακτικά  Οι στατιστικές παράμετροι για τα κελιά του χαμηλότατου επιπέδου υπολογίζονται κατευθείαν από τις τιμές που υπάρχουν στον πίνακα  Οι στατιστικές παράμετροι για τα κελιά όλων των άλλων επιπέδων υπολογίζονται από τα αντίστοιχα κελιά των παιδιών του χαμηλότερου επιπέδου Για κάθε κελί όλων των επιπέδων, έχουμε στατιστικές παραμέτρους εξαρτώμενες και ανεξάρτητες των γνωρισμάτων  Attribute Independent Parameter  Count : number of records in this cell  Attribute Dependent Parameter

16 Στατιστικές Παράμετροι Για κάθε γνώρισμα κάθε κελιού, αποθηκεύονται οι ακόλουθες παράμετροι:  M  mean of all values of each attribute in this cell  S  Standard Deviation of all values of each attribute in this cell  Min  The minimum value for each attribute in this cell  Max  The maximum value for each attribute in this cell  Distribution  The type of distribution that the attribute value in this cell follows. (e.g. normal, exponential, etc.) None is assigned to “Distribution” if the distribution is unknown

17 Επεξεργασία Ερωτημάτων Ο STING μπορεί να απαντήσει αρκετά χωρικά ερωτήματα αποδοτικά, διότι δεν χρειάζεται να αποκτήσουμε πρόσβαση στην πλήρη βάση δεδομένων Πως επεξεργάζονται τα ερωτήματα?  Χρησιμοποιούμε μια top-down προσέγγιση  Ξεκινάμε από ένα προ-επιλεγμένο επίπεδο  Το προ-επιλεγμένο επίπεδο δεν είναι απαραίτητα το πιο ψηλό επίπεδο  Για κάθε κελί του τρέχοντος επιπέδου, υπολογίζεται το confidence interval (εύρος πιθανότητας) που αντανακλά τα σχετικά κελία για το δεδομένο ερώτημα  Το confidence interval υπολογίζεται χρησιμοποιώντας τις στατιστικές παραμέτρους κάθε κελιού  Απομάκρυνση μη σχετικών κελιών από επιπλέον επεξεργασία  Όταν ολοκληρωθεί η επεξεργασία του τρέχοντος επιπέδου, συνεχίζεται στο επόμενο, πιο χαμηλό, επίπεδο  Η επεξεργασία του επόμενου, πιο χαμηλού, επιπέδου εξετάζει τα υπόλοιπα σχετικά κελιά  Η διαδικασία αυτή επαναλαμβάνεται μέχρι να φτάσουμε σε χαμηλότατο επίπεδο

18 Διάφορα Επίπεδα Grid κατά την επεξεργασία ερωτήματος

19 Χωρικά Ερωτήματα Ένα χωρικό ερώτημα μπορεί να είναι:  Μια ερώτηση πλησιέστερου γείτονα (nearest neighbour query) αναζητά αντικείμενα που είναι κοντά σε ένα, συγκεκριμένο αντικείμενο  Μια σάρωση απόστασης (distance scan) βρίσκει αντικείμενα εντός μιας προκαθορισμένης απόστασης από ένα συγκεκριμένο αντικείμενο, με την απόσταση να αυξάνεται σταδιακά  Μια ερώτηση περιοχής (region query) ή ερώτηση εύρους (range query) είναι μια ερώτηση που ζητά αντικείμενα που τέμνουν μια δοθείσα περιοχή στην ερώτηση Παράδειγμα:  Υπόθεσε ότι η χωρική περιοχή είναι ένας χάρτης των περιοχών Ρίου, Αγυιάς και Αγ. Σοφίας  Οι εγγραφές μας αναπαριστούν διαμερίσματα που βρίσκονται στην παραπάνω χωρική περιοχή  Ερώτημα: “ Βρες όλα τα διαμερίσματα που είναι προς ενοικίαση κοντά (10 χιλιόμετρα) στο Πανεπιστήμιο Πατρών και που το εύρος ενοικίου κυμαίνεται από €400 έως €600”

20 Πλεονεκτήματα και Μειονεκτήματα του STING Πλεονεκτήματα  Πολύ αποδοτικός  Η υπολογιστική πολυπλοκότητα είναι O(k) όπου k είναι το πλήθος των grid cells του χαμηλότατου επιπέδου. Συνήθως k << N, όπου N είναι το πλήθος των εγγραφών Μειονεκτήματα  Όλα τα όρια των συστάδων είναι είτε οριζόντια είτε κάθετα. Δεν υπάρχουν διαγώνια

21 Χωρική Κατηγοριοποίηση Στοχεύει στη διαμέριση συνόλων χωρικών αντικειμένων Μπορεί να γίνει κατηγοριοποίηση με χρήση μη χωρικών ή/και χωρικών γνωρισμάτων Τεχνικές γενίκευσης και προοδευτικής βελτίωσης μπορούν να χρησιμοποιηθούν

22 Επέκταση του ID3 Γράφος Γειτνίασης  Κόμβοι – αντικείμενα  Ακμές – συνδέουν γείτονες Ο ορισμός του «γείτονα» ποικίλει  Μπορεί να οριστεί βάσει μιας μετρικής απόστασης μεταξύ των χωρικών αντικειμένων Ο ID3 για τους σκοπούς κατηγοριοποίησης υπολογίζει όχι μόνο τα μη χωρικά γνωρίσματα του αντικείμενου-στόχου αλλά και των γειτονικών αντικειμένων

23 Δένδρο Χωρικής Απόφασης Παρόμοια προσέγγιση με αυτή που χρησιμοποιείται στους κανόνες χωρικών συσχετίσεων Η ιδέα βασίζεται στο ότι τα χωρικά αντικείμενα μπορούν να περιγραφούν βάση των αντικειμένων που είναι κοντά σε αυτά – Ενδιάμεση Ζώνη (buffer) Περιγραφή των κλάσεων βασισμένη σε μια συνάθροιση των πιο σχετικών κατηγορημάτων για κοντινά αντικείμενα

24 Ο Αλγόριθμος του Δένδρου Χωρικής Απόφασης

25 Χωρική Συσταδοποίηση Εντοπισμός συστάδων από διαφορετικά σχήματα Ένας αλγόριθμος που δουλεύει χρησιμοποιώντας κέντρα βάρους και απλές μετρήσεις απόστασης πιθανόν δεν θα είναι σε θέση να αναγνωρίζει ασυνήθιστα σχήματα Οι συστάδες πρέπει να προκύπτουν ανεξάρτητα της σειράς με την οποία εξετάστηκαν τα σημεία στο χώρο

26 DBCLASD Επέκταση του αλγορίθμου DBSCAN, Distribution Based Clustering of LArge Spatial Databases (συσταδοποίηση μεγάλων βάσεων χωρικών δεδομένων βασισμένη σε κατανομές) Υποθέτει ότι τα στοιχεία εντός μιας συστάδας είναι ομοιόμορφα κατανεμημένα και ότι σημεία εκτός της συστάδας πιθανόν δεν ικανοποιούν αυτόν τον περιορισμό. Βάσει αυτής της υπόθεσης, ο αλγόριθμος επιχειρεί να προσδιορίσει την κατανομή που ικανοποιείται από τις αποστάσεις μεταξύ πλησιέστερων γειτόνων. Όπως και με τον αλγόριθμο DBSCAN, δημιουργείται μια συστάδα γύρω από ένα στοιχείο - στόχο. Στοιχεία προστίθενται στη συστάδα, όσο το σύνολο των πλησιέστερων βάσει της απόστασης γειτόνων ικανοποιεί την υπόθεση της ομοιόμορφης κατανομής. Καθορίζονται τα υποψήφια στοιχεία και στη συνέχεια προστίθενται στην τρέχουσα συστάδα, αν ικανοποιούν ένα κριτήριο μέλους. Τα υποψήφια στοιχεία καθορίζονται με την εκτέλεση μιας ερώτησης περιοχής χρησιμοποιώντας έναν κύκλο ακτίνας m, ο οποίος έχει ως κέντρο ένα σημείο p, το οποίο μόλις προστέθηκε στη συστάδα. Η περιοχή της συστάδας εκτιμάται με χρήση πλεγμάτων, τα οποία περιβάλλουν την συστάδα με ένα πολύγωνο.

27 Ο Αλγόριθμος DBCLASD

28 Αρχιτεκτονικές GIS 1η εναλλακτική:  Δύο βάσεις δεδομένων : μία χωρική και μια θεματική (σχεσιακή)  Αρκετά διαδεδομένη (ArcGIS, MapInfo,…) 2η εναλλακτική:  Ένα εκτεταμένο αντικειμενοστραφές ΣΔΒΔ (object-relational DBMS) φιλοξενεί και διαχειρίζεται χωρικά και θεματικά δεδομένα π.χ. Oracle Spatial Cartridge, Informix Spatial Datablade, Microsoft SpatialWare

29 Υποστήριξη Spatial Data Types σε DBMS Παραδοσιακά σχεσιακά DBMS – Υποστηρίζουν απλούς τύπους δεδομένων, π.χ. number, varchar[], date – Υποστήριξη χωρικών δεδομένων μπορεί να γίνει απλοϊκά  π.χ. ένα σημείο ως δύο αριθμοί, μια περιοχή ως ένα πολύγωνο  Πέρα από τα σχεσιακά DBMS  Object oriented (OO) DBMS  Υποστηρίζουν abstract data types (ADT’s) που ορίζονται από το χρήστη  Οπότε είναι εφικτή η προσθήκη χωρικών τύπων δεδομένων (π.χ. polygon)

30 Εφαρμογή Χωρικής Κατηγοριοποίησης σε Ιατρικές Εικόνες Ένα δίκτυο αγωγών στο μαστό: (a) γαλακτόγραμμα με a contrast-enhanced δίκτυο αγωγών, (b) μέρος του γαλακτογράμματος που δείχνει μεγαλύτερο το δίκτυο αγωγών, (c) το δίκτυο Προεπεξεργασία (προσδιορισμός ορίων χωρικών περιοχών, σκελετοποίηση, κανονικοποίηση (ισόμορφα δένδρα) Labeling και αναπαράσταση δέντρων με σειρές χαρακτήρων – κωδικοποίηση Prüfer 1 2 76 34 5 10101 1212 98 Prufer {1 2 2 6 6 6 1 1 4 4 4 } (a) (b) (c) [ V. Megalooikonomou, D. Kontos, J. Danglemaier, A. Javadi, P. A. Bakic, A.D.A. Maidment, Proceedings of the SPIE Conference on Medical Imaging, 2006.]

31 Ποσοτικός Χαρακτηρισμός Δενδροειδών δομών και Ταξινόμηση … αναπαράσταση δέντρων με σειρές χαρακτήρων Χρήση τεχνικών tf-idf εξόρυξης γνώσης από κείμενα για ανάθεση βάρους σπουδαιότητας σε κάθε όρο- label  To βάρoς w ij του όρου i στη σειρά j προσδιορίζεται ως εξής: w ij = tf ij idf i = tf ij log 2 (N/ df i ) όπου f ij είναι η συχνότητα εμφάνισης του όρου i στη σειρά j, tf ij = f ij / max{f ij } df i = αριθμός των σειρών που περιλαμβάνουν τον όρο i, idf i = αντίστροφο της df i, = log 2 (N/ df i ) και N: ο συνολικός αριθμός σειρών  H κάθε σειρά αναπαρίστανται ως ένα t-dimensional διάνυσμα: d j = (w 1j, w 2j, …,w tj ), όπου t = |vocabulary|=διάσταση  Δύο σειρές είναι παρεμφερείς με βάση το cosine similarity measure των διανυσμάτων που υπολογίζεται ως εξής: CosSim(d j, q) =

32 Ποσοτικός Χαρακτηρισμός Δενδροειδών δομών και Ταξινόμηση Similarity searches:  Υπολογίζουμε το pairwise cosine distance matrix για όλα τα tf-idf διανύσματα.  Χρησιμοποιούμε κάθε δένδρο (δηλ. tf-idf διάνυσμα) σαν query και βρίσκουμε τα k πιο όμοια δέντρα με βάση το cosine distance matrix.  Precision: το ποσοστό των σχετικών δένδρων (relevant trees) μεταξύ αυτών που βρέθηκαν – μέσος όρος για όλα τα similarity queries που κάναμε (σχετικά: τα δένδρα που ανήκουν στην ίδια ομάδα με το query tree (NF vs. RF)). Prufer Encoding k Precision NFRFTotal 1100% 290.00 %70.83 %79.55 % 380.00 %66.67 %72.73 % 472.50 %64.58 %68.18 % 568.00 %65.00 %66.36 %

33 Τέλος παρουσίασης…