Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 1 Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό.

Παρόμοιες παρουσιάσεις


Παρουσίαση με θέμα: "Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 1 Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό."— Μεταγράφημα παρουσίασης:

1 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 1 Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης ΑΠΟΘΗΚΕΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ

2 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 2 Αποθήκες Δεδομένων Η τεχνολογία των αποθηκών δεδομένων προσφέρει ολοκλήρωση ετερογενών πηγών δεδομένων και πλατφόρμα για αποδοτική ανάλυση ιστορικών δεδομένων Μία αποθήκη δεδομένων αποτελεί μία συλλογή δεδομένων που επιλέγονται από τις Επιχειρησιακές Βάσεις Δεδομένων, Ολοκληρώνονται (integrated), τα δεδομένα αναλύονται με διαδικασίες όπως η On-line Analytical Processing (OLAP) ή η εξόρυξη δεδομένων.

3 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 3 Ορισμός Αποθήκης Δεδομένων Σύμφωνα με τον (Inmon, 1992) ορίζουμε την αποθήκη δεδομένων ως μια συλλογή δεδομένων προσανατολισμένη προς ένα θέμα (subject-oriented), Π.χ. πωλήσεις, προϊόντα, πελάτες, κτλ. ολοκληρωμένη (integrated), Ενοποίηση ετερογενών δεδομένων, χρονικά μεταβαλλόμενη (time-variant), Ιστορικά δεδομένα Που δεν διαγράφεται (non-volatile) Με σκοπό την υποστήριξη λήψης αποφάσεων W.H. Inmon, Building the Data Warehouse, 1992 (ο εφευρέτης του όρου)

4 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 44 Ιστορικά Δεδομένα  Ο χρονικός ορίζοντας μιας αποθήκης δεδομένων είναι πολύ μεγαλύτερος από ότι ενός συστήματος σε λειτουργία  Η ΒΔ έχει τα τωρινά δεδομένα ενώ οι αποθήκες διατηρούν και παλιά δεδομένα (πχ τα προηγούμενα 5-10 χρόνια) Τροποποιήσεις  Οι τροποποιήσεις στις πηγές δεδομένων δεν φαίνονται άμεσα στις αποθήκες δεδομένων, συνήθως περιοδικά  Μόνο δύο βασικές λειτουργίες: αρχικό φόρτωμα των δεδομένων (loading) και προσπέλαση δεδομένων (access) Αποθήκες δεδομένων – Λειτουργικά Χαρακτηριστικά

5 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 5 Εξόρυξη Δεδομένων - Ορισμός Η εξαγωγή πληροφορίας από μεγάλες βάσεις δεδομένων: ενδιαφέρουσας νέας (μη γνωστής εκ των προτέρων) μη προφανούς χρήσιμης (αξιοποιήσιμης) Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 5

6 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 6 Κίνητρο για εξόρυξη “Παντού δεδομένα…” Σχεσιακές βάσεις αποθήκες δεδομένων δεδομένα συναλλαγών (ATM, υπερκαταστήματα) χωρικά δεδομένα (GIS, δορυφόροι) δεδομένα χρονοσειρών πολυμεσικά δεδομένα (φωνή, εικόνα) δεδομένα Ιστού (logs, ιστοσελίδες) Αντί “προβλήματος”, πηγή πλεονεκτήματος Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 6

7 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 7 Εξόρυξη ως διαδικασία Καθαρισμός Βάσεις Δεδομένων Αποθήκη Δεδομένων Εξόρυξη Δεδομένων Αποτίμηση Προτύπων Ανάδραση Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 7

8 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 8 Είδη προτύπων Κανόνες συσχέτισης αγόρασε (Χ, “Α”)  αγόρασε (Χ, “Β”) [1%, 75%] Κατηγοριοποίηση κατάταξη πελατών ως καλούς ή μη, πιστωτές Ομαδοποίηση εύρεση ομάδων πελατών με κοινά ηλικιακά και εισοδηματικά δεδομένα

9 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 9 ΑΠΟΘΗΚΕΣ & ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ Εξόρυξη Δεδομένων Κατηγοριοποίηση Ομαδοποίηση Κανόνες Συσχέτισης Εξόρυξη από τον Παγκόσμιο Ιστό Δεδομένα Δομής (PageRank, HITS) Δεδομένα Περιεχομένου Δεδομένα Χρήσης Υλοποίηση Αποθηκών Δεδομένων Δημιουργία Κύβων Analysis Services Αποθήκες & Εξόρυξη Δεδομένων

10 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 10 ΣΚΟΠΟΣ ΤΟΥ ΜΑΘΗΜΑΤΟΣ Τρεις διδακτικοί στόχοι: 1.Γνώση προχωρημένων θεμάτων Αποθηκών και Εξόρυξης Δεδομένων. 2.Ικανότητα για κριτική αξιολόγηση ερευνητικών εργασιών στην Εξόρυξη Δεδομένων. 3.Εφαρμογή αλγορίθμων Εξόρυξης Δεδομένων για την επίλυση προβλημάτων.

11 ΒΙΒΛΙΟΓΡΑΦΙΑ [1] Introduction to Data Mining ( Tan, Steinbach, Kumar ) [2] Mining of Massive Datasets ( Rajaraman, Leskovec, Ullman ) [3] Εισαγωγή στην εξόρυξη και τις αποθήκες δεδομένων (Νανόπουλος, Μανωλόπουλος) Mining of Massive Datasets Anand Rajaraman Jure Leskovec Jeffrey D. Ullman

12 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 12 ΒΑΘΜΟΛΟΓΙΑ ΜΑΘΗΜΑΤΟΣ ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ ( 2 μονάδες ) ΣΥΝΘΕΤΙΚΗ ΕΡΓΑΣΙΑ ( 3 μονάδες ) ΕΞΕΤΑΣΕΙΣ ( 5 μονάδες ) * Οι μονάδες αθροίζονται χωρίς προϋποθέσεις

13 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 13 ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ Δυνατότητες επιλογής Θέματος 1.State-of-the-art papers from Conferences or Workshops 2.Papers from Data Engineering Lab (DELAB) 3.DM Book project Topics Τρόπος Παρουσίασης Διάλεξη 25 λεπτών Προβολή διαφανειών σε Power Point (30 διαφάνειες) Ερωτήσεις – Συζήτηση (5 λεπτά)

14 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 14 ΣΥΝΘΕΤΙΚΗ ΕΡΓΑΣΙΑ Χρήση του MS SQL Server 2008 R2 Business Intelligence Σενάριο Μια επιχείρηση διαθέτει μια βάση δεδομένων με στοιχεία των πελατών της. Θα σας δοθούν τρία προβλήματα που αντιμετωπίζει η επιχείρηση και θα προτείνετε λύσεις. Εφαρμογή αλγορίθμων Εξόρυξης δεδομένων Αλγόριθμοι Δέντρου, Συστάδων και Κανόνων Συσχέτισης Παραδοτέα Προσδιορισμός πιθανών μοντέλων Διαγράμματα κύβου, δέντρου, συστάδων και κανόνων συσχέτισης Αξιολόγηση των πιθανών μοντέλων Επιλογή καλύτερου μοντέλου

15 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 15 Εξετάσεις Ύλη μαθήματος (5-6 κεφάλαια από τα βιβλία που προτείνονται) Θα πρέπει να απαντηθούν πέντε θέματα (1 μονάδα το καθένα)

16 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 16 Μάθημα 1 : Διάγραμμα & περιγραφή Μαθήματος (Syllabus) Μάθημα 2 : Βασικές έννοιες στις Αποθήκες Δεδομένων Μάθημα 3 : Φυσικό Επίπεδο Αποθηκών Δεδομένων Μάθημα 4 : MS SQL Server 2008 (Δημιουργία κύβου) Μάθημα 5 : Κατηγοριοποίηση Μάθημα 6 : Κανόνες Συσχέτισης Μάθημα 7 : Ομαδοποίηση (πρώτος μέρος) Μάθημα 8 : Ομαδοποίηση (δεύτερο μέρος) Μάθημα 9 : MS SQL Server 2008 (Ομαδοποίηση) Μάθημα 10 : MS SQL Server 2008 (Κατηγοριοποίηση) Μάθημα 11 : MS SQL Server 2008 (Κανόνες Συσχέτισης) Μάθημα 12 : Εξόρυξη Δεδομένων Παγκόσμιου Ιστού Μάθημα 13 : Εξόρυξη Δεδομένων Ειδικού Σκοπού Οργάνωση του Μαθήματος

17 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 17 Αποθήκες Δεδομένων Δημιουργία Αποθήκης Δεδομένων Σχήματα Αστέρα, Χιονονιφάδας και Γαλαξία Δημιουργία Κύβου Συστήματα MOLAP, ROLAP και HOLAP Υποβολή Ερωτημάτων σε Κύβο Τεχνικές Drill Down και Drill up

18 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 18 Θέματα Ομαδοποίησης K-means Agglomerative Hierarchical Clustering Density-based algorithms (DBSCAN) Graph-based algorithms (Two-way nCut) Scalable Clustering algorithms Cluster Evaluation

19 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 19 Θέματα Κατηγοριοποίησης Decision Tree Classifier Model Overfitting Naïve Bayes Classifier Nearest Neighbor Classifier Evaluating and Comparing Classifiers Ensemble Methods

20 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 20 Θέματα Κανόνων Συσχέτισης Frequent Itemset Generation (Apriori) Alternative Itemset Generation (FP-Growth) Sequential Patterns (temporal information) Recommendations based on Ass. Rules (cross-sales) Evaluation of Association Patterns

21 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 21 MS SQL Server 2008 ( Δημιουργία Κύβου ) Δημιουργία Κύβου Δεδομένων Προβολή του Κύβου Δεδομένων Αξιολόγηση του Κύβου Δεδομένων

22 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 22 MS SQL Server 2008 ( Κατηγοριοποίηση ) Εφαρμογή αλγορίθμου Δέντρου Απόφασης Παράμετροι Αλγορίθμου Προβολή του Δέντρου Απόφασης Αξιολόγηση του Δέντρου Απόφασης

23 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 23 MS SQL Server 2008 ( Ομαδοποίηση ) Εφαρμογή αλγορίθμου Ομαδοποίησης Παράμετροι Αλγορίθμου Προβολή συστάδων Αξιολόγηση των συστάδων

24 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 24 MS SQL Server 2008 (Κανόνες Συσχέτισης) Εφαρμογή αλγορίθμου Κανόνων Συσχέτισης Παράμετροι Αλγορίθμου Προβολή Κανόνων Συσχέτισης Αξιολόγηση των Κανόνων Συσχέτισης

25 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 25 Εξόρυξη Δεδομένων Χρήσης ΠΙ Χρησιμοποιεί δεδομένα από αρχεία καταγραφής των ιστοσελίδων (Log files) και από τα προφίλ των χρηστών (π.χ. βαθμολογίες χρηστών σε προϊόντα) Εφαρμογές : Συστήματα Συστάσεων Συνεργατικής Διήθησης. (Recommender Systems) Item 1 Item 2 Item 3 Item 4 User User User User Βαθμός 1 έως 5

26 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 26 Μάθημα 7 : Εξόρυξη Δεδομένων Χρήσης ΠΙ Data Collection Session Analysis Collaborative Filtering Recommender Systems Social Tagging Singular Value Decomposition Tensor Dimensionality Reduction

27 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 27 Εξόρυξη Δεδομένων Περιεχομένου ΠΙ χρησιμοποιεί το περιεχόμενο των ιστοσελίδων (κείμενο, λέξεις κτλ.) προκειμένου να βρει ομοιότητα μεταξύ τους. Εφαρμογές : Συστήματα Προτάσεων Βάσει περιεχομένου, Ανάκτηση Πληροφοριών. Term 1 Τerm 2 Τerm 3 Τerm 4 Web page Web page Web page Web page Συχνότητα

28 Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 28 Εξόρυξη Δεδομένων Περιεχομένου ΠΙ Information Retrieval Models Web Page Pre-processing Latent Semantic Indexing Web Spamming Content-based Collaborative Filtering Explanations in Recommender Systems

29 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 29 Εξόρυξη Δεδομένων Δομής ΠΙ Ανακαλύπτει ενδιαφέρουσα γνώση από υπερσυνδέσμους μεταξύ ιστοσελίδων του ΠΙ. Εφαρμογές : Μηχανές Αναζήτησης, Ανακάλυψη Κοινοτήτων κτλ.

30 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 30 Εξόρυξη Δεδομένων Δομής ΠΙ Social Network Analysis (friendship network) Web Search and Search Engines PageRank HITS Community Discovery

31 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 31 Εξόρυξη Δεδομένων Ειδικού Σκοπού Data Mining and Audience Intelligence for Advertising (ADKDD 2012) Multimedia Data Mining (MDM/KDD 2012) Knowledge Discovery on the Web (WebKDD 2012) Knowledge Discovery from Sensor Data (Sensor- KDD 2012)

32 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 32 Εξόρυξη Δεδομένων Ειδικού Σκοπού Data Mining in Bioinformatics (BIOKDD 2012) Data Mining using Matrices and Tensors (KDD 2012) Large-Scale Recommender Systems (KDD 2012) Social Network Mining and Analysis (SNA-KDD 2012) ASONAM RecSys PKDD

33 Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 33 Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης ΑΠΟΘΗΚΕΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ


Κατέβασμα ppt "Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 1 Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό."

Παρόμοιες παρουσιάσεις


Διαφημίσεις Google