Δρ. Αλέξανδρος Βακαλούδης

 Εξόρυξη δεδομένων (Data Mining)  Association Rules  Clustering  Classification  Στάδια για εξόρυξη δεδομένων  Επανάληψη

 Όπως έχουμε τονίσει, ο όγκος δεδομένων στις βάσεις είναι πλέον τεράστιος  Άρα, τεράστια και η κρυμμένη πληροφορία  Ποια η διαφορά μεταξυ δεδομένων και πληροφορίας  Δεδομένο Θερμοκρασία 18 C  Πληροφορία Θερμοκρασία 18 C στις Σέρρες 20/12/2011

 Ένα μέρος της πληροφορίας μπορεί να εξαχθεί με ερωτήματα SQL  Δώσε μου την μέση αύξηση μισθού μέσα στο 2011  Ποια μετοχή είχε τη μεγαλύτερη διακύμανση μέσα στο τελευταίο μήνα  Δεν είναι όμως αρκετό  Γιατί πρέπει να ξέρουμε τι να ρωτήσουμε  Παίρνουμε δηλαδή απαντησεις για ερωτήματα τα οποία κάνουμε  Αν δε ρωτήσουμε, δε μαθαίνουμε !

 Υπάρχει μία τεχνολογία γνωστή ως data mining ( εξόρυξη δεδομένων ή εξόρυξη πληροφορίας )  Σκοπός της είναι να εξαχθεί πληροφορία αυτόματα  Χωρίς δηλαδή να ζητήσουμε εμείς συγκεκριμένα

 Classification ( κατηγοριοποίηση )  Association Rules ( Κανόνες συσχέτισης )  Clustering( ομαδοποίηση )

 Συλλογή δεδομένων με ρυθμούς (GB/ ώρα )  Αισθητήρες σε δορυφόρους  τηλεσκόπια  Επιστημονικές προσομοιώσεις

l Τε έιναι Data Mining? – Ορισμένα ονόματα είναι πιο συχνά σε συγκεκριμένες περιοχές – Ομαδοποίησε τα δεδομένα τα οποία επσιτρέφονται από μία μηχανή αναζήτησης l Τι δεν είναι Data Mining? – Βρες νούμερο τηλεφώνου – Ψαξε στο google για τη λεξη “Amazon”

 Με δεδομένο ένα σύνολο δεδομένων ( training set )  Το καθενα έχει ιδιότητες ( attributes ) μία εκ των οποίων είναι η κλάση ( class.)  Να βρεθεί μία συνάρτηση η οποία να παράγει την κλάση παίρνοντας ως παραμέτρους τις υπόλοιπες ιδιότητες

 Πρόβλεψη καλοηθών ή κακοηθών όγκων  Αναλογα με διάφορες μετρήσεις  Κατηγοροποίηση συναλλαγών με πιστωτική κάρτα  Ως νόμιμες  ύποπτες  Κατηγοριοποίηση ειδήσεων ως οικονομικές, αθλητικά κτλ

 Decision Tree based Methods  Rule-based Methods  Memory based reasoning  Neural Networks  Naïve Bayes and Bayesian Belief Networks  Support Vector Machines

 Association Rules  Ευρεση συσχέστισης μεταξύ παραμέτρων  Οσοι αγοράζουν κασέρι, αγοράζουν και σαλάμι  Η ακόμη καλύτερα  Το 80% όσων αγοράζουν κασέρι, αγοράζουν και σαλάμι Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer} Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer}

 Supermarkets.  Σκοπός : Ποια προιοντα αγοράζονται μαζί  Το κλασσικό παράδειγμα  Ένα ο πελάτης αγοράζει πάνες και γάλα, μάλλον θα αγοράσει και μπύρα :  Ένας κανόνας οοποίος ισχύει αλλά δεν μπορεί να το προβλέψει ( λογικός ) ανθρωπος

ιδιότητες οι οποίες μεταβάλλονται στο χρόνο Ποιες συσχετισεις υπάρχουν με άλλες ιδιότητεςανάλογα με τη μεταβολή Παράδειγμα Αν σήμερα αγορασθούν ρακετα και παπούτσια τεννις, σε μία εβδομαδα θα αγορασθόύν μπάλλες τεννις

 Προετοιμασία δεδομένων  Κοινοί τύποι δεδομένων  Διαχείριση κοινών τιμών  Φιλτράρισμα ακραίων τιμών  Πληθος κανόνων  Τα εργαλεία παράγουν πολλούς κανόνες  Στη μεγάλη πλειοψηφία οφθαλμοφανείς  Άρα απαιτείται εξόρυξη στην εξόρυξη  Ή φιλτραρισμα

 Δύο πολύ χρησιμες παράμετροι  Confidence ( Βεβαιότητα )  Ποσοστό ίσχυος του κανόνα π. χ. 80%  Support ( Υποστήριξη )  Από πόσες τιμές επί του συνόλου δεδομένων βγήκε ο κανόνας  Άλλο ½ και άλλο 500/1000  Συνήθως στα εργαλεία φιλτράρουμε τους κανόνες  Ζητούμε δηλαδή κανόνες με υψήλη βεβαιότητα και υποστήριξη

 Με δεδομένα τα οποία έχουν ιδιότητες, να βρεθούν ομοιότητες ανάμεσα στις τιμές των δεδομένων

xClustering Με βάση ευκλείδια γεωμετρία και απόσταση

 Αναγνώριση προφίλ πελατών :  Σκοπός : Να αναγνωρισθούν διάφορα προφίλ πλεατών ώστε να δημιουργηθεί κάταλληλη διαφημιστιή καμπάνια  Π. χ.  Προφίλ 1 νέος ο οποίος ψωνίζει κάθε Σάββατο, συνήθως μπύρες και κάνει λογαριασμό ευρώ  Προφίλ 2 Γιαγια η οποία ψωνίζει ψωμί και γιαούρτια κάθε πρωί πριν τις 10

 Ανίχνευση αντιγραφών σε κείμενα :  Σκοπός Να βρεθούν ομοιότητες μεταξύ πολλών κειμένων  Ή ενός κειμένου και μίας συλλογής κειμένων

23  Διαφήμιση  Βιοτεχνολογία  Σχέσεις πελατών  Ανιχνευση απάτης  Ηλεκτρονικό εμπόριο  Υγεία  Επενδύσεις, Τράπεζες  Ελεγχος παραγωγικής διαδικασίας  Τηλεπικοινωνίες  Web

24  Οι αρχικές μηχανές αναζήτησεις, έψαχναν για λέξεισ κλειδιά στο κείμενο της σελίδας  Το Google έχει επιτυχεί λόγω της χρήσης τεχνικών εξόρυξης πληροφορίας  Οι ιδρυτές Sergey Brin, Larry Page σπόυδαζαν στο Stanford databases και data mining

 Σχεσιακές Βάσεις  Αντικειμενοστραφείς βάσεις  XML αρχεία  Αρχεία ημερολογίου (log files)