1 Θεμέλια Επιχειρηματικής Ευφυΐας: Διαχείριση Βάσεων Δεδομένων και πληροφοριών

2 Data, Data Administration, and Data Base Design Στόχος το...Effective data management δηλαδή οι χρήστες (users) να έχουν πρόσβαση στα δεδομένα με κριτήρια επιτυχίας: –timely –accurately –relevant

3 Forms of Data  numerical (mathematically transformable)  textual (more correctly, alphanumerical)  graphical (components are known entities; mathematically describable)  image: fixed (reflection, photograph)  image: moving (video)  sound All can be represented as bits, but most DBMS numeric/text oriented. Multi-media data (incorporating graphics, image and/or sound) much more difficult to handle.

Data Organization Users/applications may access data directly thru the operating system’s native file structure or indirectly via an intervening software layer called a DBMS (database management system) bits bytes Fields Records Files Database set of characters forming one item--e.g. your name collection of related items: your name, dob, age collection of relate records: everyone in your class collection of related files: all student records What hardware deals with What user deals with

5 Βάση δεδομένων  Βάση δεδομένων: –Συλλογή συναφών αρχείων με στοιχεία για ανθρώπους, τόπους ή πράγματα –Πριν από τις ψηφιακές βάσεις δεδομένων, οι επιχειρήσεις χρησιμοποιούσαν φωριαμούς αρχειοθέτησης  Οντότητα: –Γενικευμένη κατηγορία που αντιπροσωπεύει πρόσωπο, τόπο ή πράγμα, στην οποία αποθηκεύουμε και τηρούμε πληροφορίες –π.χ. ΠΡΟΜΗΘΕΥΤΗΣ, ΕΞΑΡΤΗΜΑ  Ιδιότητες: –Ιδιαίτερα χαρακτηριστικά κάθε οντότητας, π.χ.: »όνομα και διεύθυνση ΠΡΟΜΗΘΕΥΤΗ »περιγραφή, τιμή μονάδος, προμηθευτής ΕΞΑΡΤΗΜΑΤΟΣ

Information Organization  entity--person, place, thing or event about which information is maintained »student, citizen, customer »entities are stored in records  attribute--a piece of information describing an entity »name, ssn, dob, gpa, etc. »attibutes are stored in fields (physical location) »called a data element (logical reference) in a DBMS »social scientists call them variables  key field--a field in a record which uniquely identifies instances of that record »preferably numeric, such as ssn (but that’s a bad choice!) attribute (in column) entity (in row)

Data Base Management Systems (DBMS)  Interface between application program and physical data files.  without database, user/programmer must define data needed and specify its characteristics and location –files often tied to one application/user  with DBMS, user/programmer defines only data element needed (e.g. ssn), the DBMS tracks physical location and characteristics –no worry about which file and what data type  DBMS presents logical view of data to user/ programmer, while maintaining internally a physical view of where and how data is actually stored. –files more easily shared between applications/users  Ideally, all data in a DBMS is: »stored once »defined consistently »used by all programs (In practice, this is something of a pipedream !) OS File Structure User/Programmer Logical and Physical OS File Structure Physical field DBMS User/Programmer Logical Data element

8 Organization without DBMS Employee File Payroll Application Accounting Vendor File Purchasing Purchasing Application Tax Collection Utilities Tax Bills Water Bills User DepartmentComputer ApplicationData File Land Parcel File Utility Hook-up File Student Affairs Development Student Billing Solicitation Request Student File Donor File City School

9 Organization with DBMS Integrated Data Base person entity id address name ssn courses taken job title property entity id location owner utility connect corporate entity id address name activity Data Base Management System Payroll Application Purchasing Application Billing Application Payroll Dept. xxxx Dept. Purchasing Dept.

10 Advantages of DBMS  reduces confusion through central data definition and creation  eliminates redundancy and inconsistency through removing duplicate fields  removes “program-data dependency” (files tied to each application) by separating logical from physical definition  reduces programming costs through easier data access  enhances information access, flexibility, and availability especially for ad hoc query, However, advantages can only be fully realized if database(s) is implemented and shared across the organization!

Types of DBMS: Hierarchical (IBM’s IMS) data tables are related by pointers which link parent records to child records in a hierarchical structure Problems can only acces a record via its parent: must navigate through the hierarchy pointer structure can become very complex: incomprehensible to users & difficult for systems staff to manage Relational (IBM’s DB2-- Oracle, Ingress, Sybase, Informix-- Paradox, dbIV, Access)  data tables are related by a common record identifier item (i.e. column variable) present in both tables which is used to join the tables  tables are joined on the fly without need to maintain pointers. Problems  high computational requirements if many joins needed (less of a problem with new CPUs)  both of above assume data amenable to record/field, observation/variable representation. What about graphics, maps, circuit diagrams (‘glob’ data)? Object Oriented  data stored along with the code to act on that data  these objects can be ‘checked out’ for use and/or can be ‘reused’ in different applications Problems  cutting edge: generally viewed as complementary to, rather than replacement for, RDBMS when you have lots of ‘glob’ data

12 Hierarchical Data Base Example Easy: register me, Fall 2000 Public Administration PA 3312 Easy: get me Freda’s phone number Hard: give me the mobile phone numbers for everyone who took PA 3312

13 Relational DBMS Example Query: get me list of mobile phone numbers for people taking PA 3312 Solution: join Roster Table, containing students, with Phone Table, using Student ID as key field (P.S. Do you see any problems with the table design?)

Hierarchical DBMS: Example II To produce a map of values by district would involve tracing down from the district table through the block table to the parcel tables associated with each block.

15 Relational DBMS: Example II Goal: produce map of values by district/ neighborhood Problem: no district code available in Parcel Table Solution: join Parcel Table, containing values, with Geograpahy Table, containing location codings, using Block as key field

DBMS Components: Functional  data input capability –ability to develop screens (electronic forms) for data input  data management capability –table design, creation, and relation definition –CRUD definition (permission to create, read, update, delete data elements)  data output capability –ability to answer ad hoc queries –ability to produce pre-formatted summary reports Technical  data definition language: used by data base administrator to manage the DBMS; unique to each vendor.  data manipulation language: commands permitting end-users/ programmers to extract and transform the data –strutured query language (SQL) –third generation language calls: COBOL, FORTRAN, C –fourth generation (proprietary): ORACLE FORMS, NATURAL  data dictionary: inventory of data elements; defines and stores their characteristics: –physical characteristics (size, type) –table location –ownership and security –usage (last date, business organ, programs, reports, etc.)

17 Management Challenges  Data ownership: –evolving from control and exclusive use, to ownership with sharing –akin to taking meat from a lion’s jaw  Data administration: –creating consistent rules for organization-wide definition, classification, acquisition, inventory, dissemination and use of data –akin to herding squirrels –CRUD rules: authority to create, read, update, delete each data item  Data cost/benefit: –high short term cost (both $ and organizational impact) for long-term, often intangible, benefit  Data management –in computer services: both data administrator (logical/user interface) and database administrator (physical/computer interface) needed –at executive level: need CIO (chief information officer) or IRM (Information Resource Manager) not simply a “computer center director”

18 Relational DBs  Σχεσιακή βάση δεδομένων –Οργανώνει τα δεδομένα σε πίνακες δύο διαστάσεων (σχέσεις) με στήλες και γραμμές –Ένας πίνακας για κάθε οντότητα »π.χ. ΠΕΛΑΤΗΣ, ΠΡΟΜΗΘΕΥΤΗΣ, ΕΞΑΡΤΗΜΑ, ΠΩΛΗΣΕΙΣ –Πεδία (στήλες) αντιπροσωπεύουν μία ιδιότητα της οντότητας –Οι γραμμές αποθηκεύουν δεδομένα για κάθε χωριστή εγγραφή –Πεδίο κλειδί: Προσδιορίζει κάθε εγγραφή με μοναδικό τρόπο –Πρωτεύον κλειδί: »Ένα πεδίο σε κάθε πίνακα »Δεν επιτρέπεται να επαναληφθεί αλλού »Είναι το μοναδικό αναγνωριστικό όλων των πληροφοριών σε κάθε γραμμή

19 Ο Πίνακας ΠΡΟΜΗΘΕΥΤΕΣ Relational DBs Ο Πίνακας ΠΡΟΜΗΘΕΥΤΕΣ

20 Ο Πίνακας ΕΞΑΡΤΗΜΑΤΑ Relational DBs Ο Πίνακας ΕΞΑΡΤΗΜΑΤΑ

21 Relational DBs: Relationships  Δημιουργία σχέσεων –Διάγραμμα οντοτήτων-σχέσεων »χρησιμοποιείται για να διευκρινίζει τις σχέσεις μεταξύ πινάκων σε μια σχεσιακή βάση δεδομένων –Οι πίνακες σχεσιακής βάσης δεδομένων μπορεί να έχουν: »Αμφιμονοσήμαντη σχέση (One-to-one) »Μονοσήμαντη σχέση (One-to-many) ή »Πολυσήμαντη σχέση (Many-to-many) »Χρειάζεται η δημιουργία ενός πίνακα (πίνακας ένωσης ή σχέση τομής) που συνδέει τους δύο πίνακες για να ενώνει τις πληροφορίες

22 Relational DBs: Relationships

23 Relational DBs: Normalization –Κανονικοποίηση (Normalization) »Διαδικασία εξορθολογισμού πολύπλοκων ομάδων δεδομένων για: »ελαχιστοποίηση πλεοναζόντων δεδομένων »ελαχιστοποίηση δύσχρηστων πολυσήμαντων σχέσεων »αύξηση σταθερότητας και ευελιξίας –Κανόνες ακεραιότητας αναφορών »Χρησιμοποιούνται στις σχεσιακές βάσεις δεδομένων για να διασφαλιστεί ότι οι σχέσεις μεταξύ συνδεδεμένων πινάκων παραμένουν συνεπείς »π.χ. όταν ένας πίνακας έχει ένα ξένο κλειδί που παραπέμπει σε άλλον πίνακα, δεν πρέπει να προστεθεί εγγραφή στον πίνακα με το ξένο κλειδί, εκτός αν υπάρχει αντίστοιχη εγγραφή στον συνδεδεμένο πίνακα

24 Relational DBs: Σχεδίαση ΒΔ

25 Διάγραμμα Οντοτήτων-Σχέσεων για τη Βάση Δεδομένων με Τέσσερις Πίνακες Σχεδίαση ΒΔ Διάγραμμα Οντοτήτων-Σχέσεων για τη Βάση Δεδομένων με Τέσσερις Πίνακες

26 Συστήματα Διαχείρισης Βάσεων Δεδομένων (DBMS)  Ειδικό λογισμικό για τη δημιουργία, αποθήκευση, οργάνωση και προσπέλαση σε μια βάση δεδομένων  Διαχωρίζει τη λογική από τη φυσική προβολή των δεδομένων  Λογική προβολή: Πώς αντιλαμβάνονται τα δεδομένα οι τελικοί χρήστες  Φυσική προβολή: Πώς είναι στην πραγματικότητα δομημένα και οργανωμένα τα δεδομένα  Παραδείγματα DBMS: Microsoft Access, DB2, Oracle Database, Microsoft SQL Server, MYSQL

27 Βάση Δεδομένων Ανθρώπινων Πόρων με Πολλαπλές Προβολές

28 Πράξεις σε μια Σχεσιακή Βάση Δεδομένων  Επιλογή: –Δημιουργεί υποσύνολο των εγγραφών που ικανοποιούν ορισμένα κριτήρια  Ένωση: –Συνδυάζει σχεσιακούς πίνακες για να παρουσιάσει στον χρήστη περισσότερες πληροφορίες από αυτές που είναι διαθέσιμες σε επιμέρους πίνακες  Προβολή: –Δημιουργεί υποσύνολο που αποτελείται από ορισμένες στήλες ενός πίνακα –Επιτρέπει στον χρήστη να δημιουργεί νέους πίνακες που θα περιέχουν μόνο τις απαραίτητες πληροφορίες

29 Δυνατότητες Συστημάτων Διαχείρισης Βάσεων Δεδομένων  Δυνατότητες ορισμού δεδομένων –Προσδιορίζουν τη δομή των περιεχομένων μιας βάσης δεδομένων  Λεξικό δεδομένων –Αυτοματοποιημένο ή χειρόγραφο αρχείο αποθήκευσης ορισμών των στοιχείων δεδομένων και των χαρακτηριστικών τους  Ερωτήματα και αναφορές –Γλώσσα χειρισμού δεδομένων »Δομημένη γλώσσα ερωτημάτων (SQL) »Εργαλείο δημιουργίας ερωτημάτων της Microsoft Access –Δημιουργία αναφορών, π.χ. Crystal Reports

30 Χαρακτηριστικά Λεξικού Δεδομένων της Access

31 Παράδειγμα Ερωτήματος σε SQL

32 Αποθήκες δεδομένων  Αποθήκη δεδομένων –Είναι βάση δεδομένων που αποθηκεύει τρέχοντα και ιστορικά δεδομένα που μπορεί να ενδιαφέρουν τους λήπτες αποφάσεων –Ενοποιεί και τυποποιεί δεδομένα από πολλά συστήματα, και λειτουργικές και συναλλακτικές βάσεις δεδομένων –Τα δεδομένα μπορούν να προσπελάζονται αλλά όχι να τροποποιούνται  Πρατήριο δεδομένων –Υποσύνολο αποθήκης δεδομένων που εστιάζεται και ενδιαφέρει έναν συγκεκριμένο πληθυσμό χρηστών

33 Αποθήκες δεδομένων

34 Επιχειρηματική Ευφυΐα

35 Αναλυτική Επεξεργασία Άμεσης Επικοινωνίας (OLAP)  Υποστηρίζει πολυδιάστατη ανάλυση δεδομένων που επιτρέπει στους χρήστες να προβάλουν τα ίδια δεδομένα με διαφορετικούς τρόπους σε πολλές διαστάσεις –Κάθε άποψη των πληροφοριών – προϊόν, τιμολόγηση, κόστος, περιοχή, χρονική περίοδος – αντιπροσωπεύει μια διαφορετική διάσταση –π.χ. σύγκριση πωλήσεων του Ιουνίου έναντι εκείνων του Μαΐου και του Ιουλίου  Επιτρέπει στους χρήστες να παίρνουν σχετικά γρήγορα απαντήσεις σε άμεση επικοινωνία σε μη προκαθορισμένες ερωτήσεις όπως αυτές

36 Αναλυτική Επεξεργασία Άμεσης Επικοινωνίας (OLAP)

37 Εξόρυξη Δεδομένων  Βρίσκει κρυμμένα μοτίβα και συσχετίσεις σε μεγάλες βάσεις δεδομένων και συνάγει από αυτά κανόνες για πρόβλεψη μελλοντικής συμπεριφοράς  Τύποι πληροφοριών από την εξόρυξη δεδομένων –Συσχετίσεις: Περιστατικά που συνδέονται με μοναδικό γεγονός –Ακολουθίες: Χρονική σύνδεση γεγονότων –Ταξινομήσεις: Μοτίβα που περιγράφουν την ομάδα στην οποία ανήκει ένα είδος –Ομαδοποιήσεις: Ανακάλυψη αταξινόμητων ακόμη ομάδων –Πρόβλεψη: Χρησιμοποιεί σειρά τιμών για την πρόβλεψη μελλοντικών τιμών

38 Τεχνολογίες Εταιρικής Νοημοσύνης Business Intelligence  Σύμφωνα με την International Data Corporation (IDC), σε 65 εταιρίες, ο μέσος όρος απόδοσης σε μια επένδυση εταιρικής νοημοσύνης ήτα πάνω από 400% σε περίοδο 2.3 ετών  Αποθήκευση Δεδομένων (Data Warehousing)  Εξόρυξη Δεδομνων (Data Mining)

39 Data Mining  Data Mining είναι η διαδικασία εύρεσης άγνωστης, μη-τετριμμένης και χρήσιμης γνώσης μέσα από μεγάλο πλήθος δεδομένων

40 Data Mining  Είναι η έρευνα για σχέσεις και πρότυπα που υπάρχουν σε μεγάλες βάσεις δεδομένων αλλά είναι “κρυμμένα” μέσα σε τεράστιο πλήθος δεδομένων. Για παράδειγμα:  H σχέση μεταξύ δεδομένων ασθενών και ιατρικών διαγνώσεων  Λύση στο πρόβλημα: “πλούσιοι σε δεδομένα, φτωχοί σε γνώση”

41  Οικονομικό Παράδειγμα: “Ποιοι πελάτες έχουν την μεγαλύτερη τάση να ανταποκριθούν στην νέα προσφορά της Gold Credit Card?” Γιατί χρειάζεται η Εξόρυξη Δεδομένων ; Για να δίνει απαντήσεις σε προβλήματα που δεν μπορούν να λύσουν συμβατικές μέθοδοι όπως: προγραμματισμός με SQL, στατιστικά πακέτα και Query tools

42  Επικοινωνιακό Παράδειγμα: “Ποιοι πελάτες είναι πιο πιθανό να ¨ενδώσουν¨ στην διαφημιστική καμπάνια ανταγωνιστικών εταιριών?” Γιατί χρειάζεται η Εξόρυξη Δεδομένων ; Για να δίνει απαντήσεις σε προβλήματα που δεν μπορούν να λύσουν συμβατικές μέθοδοι όπως: προγραμματισμός με SQL, στατιστικά πακέτα και Query tools

43  Διοικητικό Παράδειγμα: “Ποιο αίτημα ιατρικής περίθαλψης είναι πιθανόν δόλιο?” Γιατί χρειάζεται η Εξόρυξη Δεδομένων ; Για να δίνει απαντήσεις σε προβλήματα που δεν μπορούν να λύσουν συμβατικές μέθοδοι όπως: προγραμματισμός με SQL, στατιστικά πακέτα και Query tools

44 Ανάλυση Πωλήσεων  Ποιά προιόντα πωλούνται περισσότερο σε μιά συγκεκριμένη ώρα της ημέρας?  Σε ποιά συγκεκριμένη περίοδο π.χ., εβδομάδα πρέπει να ξεκινήσουμε την καινούργια διαφημιστική εκστρατεία?  Υπάρχει σχέση μεταξύ της διαφημιστικής εκστρατείας του προιόντος μας και προιόντων άλλων σημαντικών ανταγωνιστών για συγκεκριμένες περιόδους του έτους?

45 Κατηγοριοποίηση : Εκπαίδευση Ακρίβεια Κατηγοριοποίησης Acc. Status: 60 days late Acc. Status: 60 days late and more Acc. Status: Balanced Acc. Status: 30 days late  Κατηγοριοποίηση δεδομένων με βάση της τιμές ενός πεδίου  Παράδειγμα: “Ποιο είναι το Account Status ενός πελάτη;” Γενικά πρότυπα Δέντρο Απόφασης Νευρωνικό Δίκτυο

46 Κατηγοριοποίηση:Εφαρμογή Νέα Δεδομένα Acc. Status: 60 days late Acc. Status: 60 days late and more Acc. Status: Balanced Acc. Status: 30 days late Classifier(s)

47 Παραδείγματα Κανόνων Συσχέτισης  IF Credit_limit IN {mid-level}, Home IN {Own} THEN Account_Status = Balanced  Support: 13.5%, Confidence: 80%  IF Marital_Status IN {Single}, Home IN {Rent}, Gender IN {Male} THEN Account_Status = 30 days late Support: 7.62%, Confidence: 80.65%  IF Credit_limit IN {high}, 1084 < Mo_Income <= 1432, Home IN {Rent} THEN Account_Status = 60 days late Support: 4.91%, Confidence: 85%

48 Εφαρμογές Απόκτηση Πελατών  Target Marketing  Credit Scoring  Sales Forecasting  Promotion Analysis  Campaign Management Ανίχνευση Προβλημάτων  Fraud Detection  Credit Risk/Loan Default Assessment  Security Management  Insurance Claims Analysis

49 Εφαρμογές Εξυπηρέτηση Πελατών  Customer Segmentation/ Profiling  Customer Profitability Analysis  Cross Sell/Up Sell  Customer Satisfaction  Help Desk Problem Resolution  Customer Service Automation Άλλες Επιχ. Λειτουργίες  Product/Product Line Profitability  Merchandise Planning  Resource Management  Operations Management  Store/Branch Performance Analysis  Store/Branch Site Selection  Network Forecasting  Tariff Modeling  Portfolio Management