ΑΠΟΘΗΚΕΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ δφσδφ ΑΠΟΘΗΚΕΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ 4/17/2017 Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης http://delab.csd.auth.gr/~symeon Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Αποθήκες Δεδομένων Η τεχνολογία των αποθηκών δεδομένων προσφέρει Η τεχνολογία των αποθηκών δεδομένων προσφέρει ολοκλήρωση ετερογενών πηγών δεδομένων και πλατφόρμα για αποδοτική ανάλυση ιστορικών δεδομένων Μία αποθήκη δεδομένων αποτελεί μία συλλογή δεδομένων που επιλέγονται από τις Επιχειρησιακές Βάσεις Δεδομένων, Ολοκληρώνονται (integrated), τα δεδομένα αναλύονται με διαδικασίες όπως η On-line Analytical Processing (OLAP) ή η εξόρυξη δεδομένων.

Ορισμός Αποθήκης Δεδομένων Σύμφωνα με τον (Inmon, 1992) ορίζουμε την αποθήκη δεδομένων ως μια συλλογή δεδομένων προσανατολισμένη προς ένα θέμα (subject-oriented), Π.χ. πωλήσεις, προϊόντα, πελάτες, κτλ. ολοκληρωμένη (integrated), Ενοποίηση ετερογενών δεδομένων, χρονικά μεταβαλλόμενη (time-variant), Ιστορικά δεδομένα Που δεν διαγράφεται (non-volatile) Με σκοπό την υποστήριξη λήψης αποφάσεων W.H. Inmon, Building the Data Warehouse, 1992 (ο εφευρέτης του όρου)

Αποθήκες δεδομένων – Λειτουργικά Χαρακτηριστικά Ιστορικά Δεδομένα Ο χρονικός ορίζοντας μιας αποθήκης δεδομένων είναι πολύ μεγαλύτερος από ότι ενός συστήματος σε λειτουργία Η ΒΔ έχει τα τωρινά δεδομένα ενώ οι αποθήκες διατηρούν και παλιά δεδομένα (πχ τα προηγούμενα 5-10 χρόνια) Τροποποιήσεις Οι τροποποιήσεις στις πηγές δεδομένων δεν φαίνονται άμεσα στις αποθήκες δεδομένων, συνήθως περιοδικά Μόνο δύο βασικές λειτουργίες: αρχικό φόρτωμα των δεδομένων (loading) και προσπέλαση δεδομένων (access)

Εξόρυξη Δεδομένων - Ορισμός δφσδφ 4/17/2017 Εξόρυξη Δεδομένων - Ορισμός Η εξαγωγή πληροφορίας από μεγάλες βάσεις δεδομένων: ενδιαφέρουσας νέας (μη γνωστής εκ των προτέρων) μη προφανούς χρήσιμης (αξιοποιήσιμης) Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 5 Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 6 δφσδφ 4/17/2017 Κίνητρο για εξόρυξη “Παντού δεδομένα…” Σχεσιακές βάσεις αποθήκες δεδομένων δεδομένα συναλλαγών (ATM, υπερκαταστήματα) χωρικά δεδομένα (GIS, δορυφόροι) δεδομένα χρονοσειρών πολυμεσικά δεδομένα (φωνή, εικόνα) δεδομένα Ιστού (logs, ιστοσελίδες) Αντί “προβλήματος”, πηγή πλεονεκτήματος Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 6 Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 7 δφσδφ 4/17/2017 Εξόρυξη ως διαδικασία Γνώση Αποτίμηση Προτύπων Εξόρυξη Δεδομένων Αποθήκη Δεδομένων Καθαρισμός Ανάδραση Βάσεις Δεδομένων Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 7 Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Είδη προτύπων αγόρασε (Χ, “Α”) à αγόρασε (Χ, “Β”) [1%, 75%] δφσδφ Είδη προτύπων 4/17/2017 Κανόνες συσχέτισης αγόρασε (Χ, “Α”) à αγόρασε (Χ, “Β”) [1%, 75%] Κατηγοριοποίηση κατάταξη πελατών ως καλούς ή μη, πιστωτές Ομαδοποίηση εύρεση ομάδων πελατών με κοινά ηλικιακά και εισοδηματικά δεδομένα Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

ΑΠΟΘΗΚΕΣ & ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ δφσδφ ΑΠΟΘΗΚΕΣ & ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ 4/17/2017 Εξόρυξη από τον Παγκόσμιο Ιστό Δεδομένα Δομής (PageRank, HITS) Δεδομένα Περιεχομένου Δεδομένα Χρήσης Εξόρυξη Δεδομένων Κατηγοριοποίηση Ομαδοποίηση Κανόνες Συσχέτισης Υλοποίηση Αποθηκών Δεδομένων Δημιουργία Κύβων Analysis Services Αποθήκες & Εξόρυξη Δεδομένων Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

ΣΚΟΠΟΣ ΤΟΥ ΜΑΘΗΜΑΤΟΣ Τρεις διδακτικοί στόχοι: δφσδφ ΣΚΟΠΟΣ ΤΟΥ ΜΑΘΗΜΑΤΟΣ 4/17/2017 Τρεις διδακτικοί στόχοι: Γνώση προχωρημένων θεμάτων Αποθηκών και Εξόρυξης Δεδομένων. Ικανότητα για κριτική αξιολόγηση ερευνητικών εργασιών στην Εξόρυξη Δεδομένων. Εφαρμογή αλγορίθμων Εξόρυξης Δεδομένων για την επίλυση προβλημάτων. Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

ΒΙΒΛΙΟΓΡΑΦΙΑ [1] Introduction to Data Mining (Tan, Steinbach, Kumar) δφσδφ ΒΙΒΛΙΟΓΡΑΦΙΑ 4/17/2017 [1] Introduction to Data Mining (Tan, Steinbach, Kumar) [2] Mining of Massive Datasets (Rajaraman, Leskovec, Ullman) [3] Εισαγωγή στην εξόρυξη και τις αποθήκες δεδομένων (Νανόπουλος, Μανωλόπουλος) Mining of Massive Datasets Anand Rajaraman Jure Leskovec Jeffrey D. Ullman Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

ΒΑΘΜΟΛΟΓΙΑ ΜΑΘΗΜΑΤΟΣ ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ (2 μονάδες) δφσδφ ΒΑΘΜΟΛΟΓΙΑ ΜΑΘΗΜΑΤΟΣ 4/17/2017 ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ (2 μονάδες) ΣΥΝΘΕΤΙΚΗ ΕΡΓΑΣΙΑ (3 μονάδες) ΕΞΕΤΑΣΕΙΣ (5 μονάδες) *Οι μονάδες αθροίζονται χωρίς προϋποθέσεις Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ δφσδφ ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ 4/17/2017 Δυνατότητες επιλογής Θέματος State-of-the-art papers from Conferences or Workshops Papers from Data Engineering Lab (DELAB) DM Book project Topics Τρόπος Παρουσίασης Διάλεξη 25 λεπτών Προβολή διαφανειών σε Power Point (30 διαφάνειες) Ερωτήσεις – Συζήτηση (5 λεπτά) Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

δφσδφ ΣΥΝΘΕΤΙΚΗ ΕΡΓΑΣΙΑ 4/17/2017 Χρήση του MS SQL Server 2008 R2 Business Intelligence Σενάριο Μια επιχείρηση διαθέτει μια βάση δεδομένων με στοιχεία των πελατών της. Θα σας δοθούν τρία προβλήματα που αντιμετωπίζει η επιχείρηση και θα προτείνετε λύσεις. Εφαρμογή αλγορίθμων Εξόρυξης δεδομένων Αλγόριθμοι Δέντρου, Συστάδων και Κανόνων Συσχέτισης Παραδοτέα Προσδιορισμός πιθανών μοντέλων Διαγράμματα κύβου, δέντρου, συστάδων και κανόνων συσχέτισης Αξιολόγηση των πιθανών μοντέλων Επιλογή καλύτερου μοντέλου Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξετάσεις Ύλη μαθήματος Θα πρέπει να απαντηθούν πέντε θέματα δφσδφ Εξετάσεις 4/17/2017 Ύλη μαθήματος (5-6 κεφάλαια από τα βιβλία που προτείνονται) Θα πρέπει να απαντηθούν πέντε θέματα (1 μονάδα το καθένα) Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Οργάνωση του Μαθήματος δφσδφ 4/17/2017 Μάθημα 1 : Διάγραμμα & περιγραφή Μαθήματος (Syllabus) Μάθημα 2 : Βασικές έννοιες στις Αποθήκες Δεδομένων Μάθημα 3 : Φυσικό Επίπεδο Αποθηκών Δεδομένων Μάθημα 4 : MS SQL Server 2008 (Δημιουργία κύβου) Μάθημα 5 : Κατηγοριοποίηση Μάθημα 6 : Κανόνες Συσχέτισης Μάθημα 7 : Ομαδοποίηση (πρώτος μέρος) Μάθημα 8 : Ομαδοποίηση (δεύτερο μέρος) Μάθημα 9 : MS SQL Server 2008 (Ομαδοποίηση) Μάθημα 10 : MS SQL Server 2008 (Κατηγοριοποίηση) Μάθημα 11 : MS SQL Server 2008 (Κανόνες Συσχέτισης) Μάθημα 12 : Εξόρυξη Δεδομένων Παγκόσμιου Ιστού Μάθημα 13 : Εξόρυξη Δεδομένων Ειδικού Σκοπού Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Δημιουργία Αποθήκης Δεδομένων Σχήματα Αστέρα, Χιονονιφάδας και Γαλαξία δφσδφ Αποθήκες Δεδομένων 4/17/2017 Δημιουργία Αποθήκης Δεδομένων Σχήματα Αστέρα, Χιονονιφάδας και Γαλαξία Δημιουργία Κύβου Συστήματα MOLAP, ROLAP και HOLAP Υποβολή Ερωτημάτων σε Κύβο Τεχνικές Drill Down και Drill up Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Agglomerative Hierarchical Clustering δφσδφ Θέματα Ομαδοποίησης 4/17/2017 K-means Agglomerative Hierarchical Clustering Density-based algorithms (DBSCAN) Graph-based algorithms (Two-way nCut) Scalable Clustering algorithms Cluster Evaluation Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Θέματα Κατηγοριοποίησης δφσδφ Θέματα Κατηγοριοποίησης 4/17/2017 Decision Tree Classifier Model Overfitting Naïve Bayes Classifier Nearest Neighbor Classifier Evaluating and Comparing Classifiers Ensemble Methods Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Θέματα Κανόνων Συσχέτισης δφσδφ Θέματα Κανόνων Συσχέτισης 4/17/2017 Frequent Itemset Generation (Apriori) Alternative Itemset Generation (FP-Growth) Sequential Patterns (temporal information) Recommendations based on Ass. Rules (cross-sales) Evaluation of Association Patterns Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

MS SQL Server 2008 (Δημιουργία Κύβου) δφσδφ MS SQL Server 2008 (Δημιουργία Κύβου) 4/17/2017 Δημιουργία Κύβου Δεδομένων Προβολή του Κύβου Δεδομένων Αξιολόγηση του Κύβου Δεδομένων Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

MS SQL Server 2008 (Κατηγοριοποίηση) δφσδφ MS SQL Server 2008 (Κατηγοριοποίηση) 4/17/2017 Εφαρμογή αλγορίθμου Δέντρου Απόφασης Παράμετροι Αλγορίθμου Προβολή του Δέντρου Απόφασης Αξιολόγηση του Δέντρου Απόφασης Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

MS SQL Server 2008 (Ομαδοποίηση) δφσδφ MS SQL Server 2008 (Ομαδοποίηση) 4/17/2017 Εφαρμογή αλγορίθμου Ομαδοποίησης Παράμετροι Αλγορίθμου Προβολή συστάδων Αξιολόγηση των συστάδων Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

MS SQL Server 2008 (Κανόνες Συσχέτισης) δφσδφ MS SQL Server 2008 (Κανόνες Συσχέτισης) 4/17/2017 Εφαρμογή αλγορίθμου Κανόνων Συσχέτισης Παράμετροι Αλγορίθμου Προβολή Κανόνων Συσχέτισης Αξιολόγηση των Κανόνων Συσχέτισης Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξόρυξη Δεδομένων Χρήσης ΠΙ δφσδφ Εξόρυξη Δεδομένων Χρήσης ΠΙ 4/17/2017 Χρησιμοποιεί δεδομένα από αρχεία καταγραφής των ιστοσελίδων (Log files) και από τα προφίλ των χρηστών (π.χ. βαθμολογίες χρηστών σε προϊόντα) Εφαρμογές : Συστήματα Συστάσεων Συνεργατικής Διήθησης. (Recommender Systems) Item1 Item2 Item3 Item4 User1 - 4 2 User2 3 User3 User4 5 Βαθμός 1 έως 5 Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Μάθημα 7 : Εξόρυξη Δεδομένων Χρήσης ΠΙ δφσδφ Μάθημα 7 : Εξόρυξη Δεδομένων Χρήσης ΠΙ 4/17/2017 Data Collection Session Analysis Collaborative Filtering Recommender Systems Social Tagging Singular Value Decomposition Tensor Dimensionality Reduction Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξόρυξη Δεδομένων Περιεχομένου ΠΙ δφσδφ Εξόρυξη Δεδομένων Περιεχομένου ΠΙ 4/17/2017 χρησιμοποιεί το περιεχόμενο των ιστοσελίδων (κείμενο, λέξεις κτλ.) προκειμένου να βρει ομοιότητα μεταξύ τους. Εφαρμογές : Συστήματα Προτάσεων Βάσει περιεχομένου, Ανάκτηση Πληροφοριών. Term1 Τerm2 Τerm3 Τerm4 Web page1 12 10 - Web page2 8 9 Web page3 5 3 Web page4 4 6 Συχνότητα Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξόρυξη Δεδομένων Περιεχομένου ΠΙ δφσδφ Εξόρυξη Δεδομένων Περιεχομένου ΠΙ 4/17/2017 Information Retrieval Models Web Page Pre-processing Latent Semantic Indexing Web Spamming Content-based Collaborative Filtering Explanations in Recommender Systems Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξόρυξη Δεδομένων Δομής ΠΙ δφσδφ Εξόρυξη Δεδομένων Δομής ΠΙ 4/17/2017 Ανακαλύπτει ενδιαφέρουσα γνώση από υπερσυνδέσμους μεταξύ ιστοσελίδων του ΠΙ. Εφαρμογές : Μηχανές Αναζήτησης, Ανακάλυψη Κοινοτήτων κτλ. Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξόρυξη Δεδομένων Δομής ΠΙ δφσδφ Εξόρυξη Δεδομένων Δομής ΠΙ 4/17/2017 Social Network Analysis (friendship network) Web Search and Search Engines PageRank HITS Community Discovery Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξόρυξη Δεδομένων Ειδικού Σκοπού δφσδφ Εξόρυξη Δεδομένων Ειδικού Σκοπού 4/17/2017 Data Mining and Audience Intelligence for Advertising (ADKDD 2012) Multimedia Data Mining (MDM/KDD 2012) Knowledge Discovery on the Web (WebKDD 2012) Knowledge Discovery from Sensor Data (Sensor-KDD 2012) Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

Εξόρυξη Δεδομένων Ειδικού Σκοπού δφσδφ Εξόρυξη Δεδομένων Ειδικού Σκοπού 4/17/2017 Data Mining in Bioinformatics (BIOKDD 2012) Data Mining using Matrices and Tensors (KDD 2012)   Large-Scale Recommender Systems (KDD 2012) Social Network Mining and Analysis (SNA-KDD 2012) ASONAM RecSys PKDD Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού

ΑΠΟΘΗΚΕΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ δφσδφ ΑΠΟΘΗΚΕΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ 4/17/2017 Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης http://delab.csd.auth.gr/~symeon Ανάκτηση Πληροφοριών και Εξόρυξη Δεδομένων για Εξατομίκευση Υπηρεσιών Παγκόσμιου Ιστού