Βελτιστοποίηση Συστημάτων Άμεσης Αναλυτικής Επεξεργασίας: Εννοιολογική Μοντελοποίηση και Τεχνικές Επεξεργασίας Επερωτήσεων Διδακτορική Διατριβή Άρης Ν.

Παρουσίαση με θέμα: "Βελτιστοποίηση Συστημάτων Άμεσης Αναλυτικής Επεξεργασίας: Εννοιολογική Μοντελοποίηση και Τεχνικές Επεξεργασίας Επερωτήσεων Διδακτορική Διατριβή Άρης Ν."— Μεταγράφημα παρουσίασης:

1 Βελτιστοποίηση Συστημάτων Άμεσης Αναλυτικής Επεξεργασίας: Εννοιολογική Μοντελοποίηση και Τεχνικές Επεξεργασίας Επερωτήσεων Διδακτορική Διατριβή Άρης Ν. Τσώης ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ 28 Φεβρουαρίου 2005

2 A. Τσώης 2/2005 2 Εισαγωγή Συστήματα Άμεσης Αναλυτικής Επεξεργασίας (OLAP) Παρουσιάζουν/υπολογίζουν/χειρίζονται αριθμητικά δεδομένα σε μορφή πολυδιάστατων κύβων Χρησιμεύουν στην λήψη αποφάσεων Συνήθως βασίζονται σε μεγάλου όγκου δεδομένα τα οποία βρίσκονται σε Αποθήκες Δεδομένων (Data Warehouses) Βασικά χαρακτηριστικά Παρέχουν στους χρήστες ένα πολυδιάστατο εννοιολογικό μοντέλο των δεδομένων που αναλύουν Παρέχουν γρήγορη απόκριση στα αιτήματα των χρηστών τους μολονότι συνήθως αυτά απαιτούν επίπονους υπολογισμούς επάνω σε τεράστιους όγκους δεδομένων

3 A. Τσώης 2/2005 3 Κίνητρο έρευνας Υλοποίηση αποδοτικών Συστημάτων Άμεσης Αναλυτικής Επεξεργασίας (OLAP) 1.«Κατάλληλη» εννοιολογική μοντελοποίηση Κατανοητή, εύχρηστη, πρακτική αλλά και αυστηρά ορισμένη 2.«Γρήγορη» απόκριση σε μη-προσχεδιασμένα αιτήματα Υπολογισμός της απάντησης με βάση λεπτομερή δεδομένα

4 A. Τσώης 2/2005 4 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

5 A. Τσώης 2/2005 5 Εννοιολογική μοντελοποίηση Το πρόβλημα: Οι χρήστες πρέπει να κατανοήσουν, να χρησιμοποιήσουν και να μεταβάλουν τον τρόπο οργάνωσης των δεδομένων (κύβων) Οι κύβοι είναι πολυσύνθετες δομές: πολλές διαστάσεις, ιεραρχίες, επίπεδα και μέτρα Η μοντελοποίηση με «κλασσικούς» τρόπους μοντελοποίησης δεδομένων καταλήγει σε ένα εξαιρετικά σύνθετο και δυσνόητο σχήμα. Στόχος της έρευνας: Να παρέχουμε στους χρήστες ένα εννοιολογικό μοντέλο το οποίο να είναι απλό και κατανοητό από το χρήστη Το μοντέλο να υποστηρίζει αποδοτικά τις πράξεις των χρηστών Το μοντέλο να είναι πρακτικό (ελαχιστοποίηση περιορισμών)

6 A. Τσώης 2/2005 6 Το εννοιολογικό μοντέλο MAC Επίπεδα ProductBrand 1 2 Product Brand Group 1 2 Product Group 3 Class Product Dim Sale Date DimCustomer Dim Salesman Dim Μονοπάτια Διαστάσεις Κύβοι

7 A. Τσώης 2/2005 7 Ιδιαίτερα χαρακτηριστικά MAC Επίπεδα: ημιδομημένα μέλη Π.χ. δυο προϊόντα του επιπέδου Product μπορούν να έχουν διαφορετικά πεδία τα οποία τα περιγράφουν Μονοπάτια: σύνδεσμοι μεταξύ μελών Τα μέλη ενός επιπέδου μπορούν να συνδεθούν με μελή οποιουδήποτε άλλου επιπέδου Η σχέση δεν χρειάζεται να είναι «επί» Η σχέση μπορεί να είναι M:N Οι σύνδεσμοι μπορούν να έχουν και ημιδομημένα περιγραφικά πεδία

8 A. Τσώης 2/2005 8 Ιδιαίτερα χαρακτηριστικά MAC Διαστάσεις: Πολλαπλές ιεραρχίες Ιεραρχίες χωρίς κοινό επίπεδο Π.χ. μπορεί να προκύψει ως όψη μιας πλήρους διάστασης Κύβοι: Πολλά μέτρα Κελιά διαφόρων συνδυασμών επιπέδων Σύνθετες συντεταγμένες κελιών Οι συντεταγμένες των κελιών του κύβου παίρνουν τιμές από το Πεδίο τιμών διαστάσεων Πεδίο τιμών διαστάσεων

9 A. Τσώης 2/2005 9 Πεδίο τιμών διάστασης Το πεδίο τιμών διάστασης περιέχει μια τιμή: Για κάθε μέλος κάθε επιπέδου (την τιμή του κλειδιού) Για κάθε σύνολο συμβατών επιπέδων και κάθε συνδυασμός μελών τους (ένα από κάθε επίπεδο) (το διάνυσμα των τιμών των κλειδιών) Οι συντεταγμένες των κελιών παίρνουν τιμή από τα πεδία τιμών των διαστάσεων

10 A. Τσώης 2/2005 10 MAC: Παράδειγμα κύβου

11 A. Τσώης 2/2005 11 MAC: Παράδειγμα διάστασης

12 A. Τσώης 2/2005 12 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

13 A. Τσώης 2/2005 13 Τεχνικές επεξεργασίας επερωτήσεων: Κίνητρα έρευνας Νέες δομές πολυδιάστατης ιεραρχικής συγκέντρωσης και δεικτοδότησης CUBE file UB-Tree + MHC/HI Ιδιαίτερα αποδοτικές για μη-προσχεδιασμένα (ad-hoc) επερωτήσεις Αλλαγή στον τρόπο επεξεργασίας των επερωτήσεων Ύπαρξη πολυδιάστατου δείκτη που εμπεριέχει την ιεραρχική πληροφορία Ερώτημα: με ποιους τρόπους μπορούμε να εκμεταλλευτούμε τον πολυδιάστατο δείκτη; Στόχος: Βελτίωση της ταχύτητας απόκρισης των Συστημάτων Άμεσης Αναλυτικής Επεξεργασίας

14 A. Τσώης 2/2005 14 Το λογικό σχήμα δεδομένων sales SALES_FACT store_key date_key product_key PRODUCT category brand product DATE month year day STORE area region store hsk prod_hsk store_hsk date_hsk 1 2 1 2 3 1 2 3 hsk size evening

15 A. Τσώης 2/2005 15 Τα πολυεπίπεδα αναπληρωματικά κλειδιά sales SALES_FACT store_key date_key product_key PRODUCT category brand product hsk prod_hsk store_hsk date_hsk 1 2 07130713952703952703952703952703 STORE area region store 1 2 3 hsk size DATE month year day 1 2 3 hsk evening

16 A. Τσώης 2/2005 16 Παράδειγμα επερωτήματος sales SALES_FACT store_key date_key product_key PRODUCT category brand product hsk prod_hsk store_hsk date_hsk hsk SUM(sales) area brand month SUM(sales) Συνάθροιση Προβολή Συνένωση SELECT SUM(sales), brand, area FROM SALES_FACT, STORE, PRODUCT, DATE WHERE AND evening=True and size>500 GROUP BY brand, area, month DATE month year day hsk evening STORE area region store hsk size Επιλογή

17 A. Τσώης 2/2005 17 Το βασικό πλάνο επεξεργασίας   DATEPRODUCTSTORESALES_FACT Συνάθροιση brandarea brandGroup By:monthbrandareamonth s=SUM(sales) Size>500 MD_Range_Access Evening=true 

18 A. Τσώης 2/2005 18 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

19 A. Τσώης 2/2005 19 Καθυστέρηση Επιλογών Μειώνει τον αριθμού διαστημάτων που πρέπει να επεξεργαστεί ο τελεστής MD_Range_Access Αυξάνει όμως τον αριθμό των εγγραφών που επιστρέφει αυτός Ευριστικός τρόπος εφαρμογής DATESTORESALES_FACT Size>500 MD_Range_Access Evening=true

20 A. Τσώης 2/2005 20 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

21 A. Τσώης 2/2005 21 Παράδειγμα sales SALES_FACT store_key date_key product_key PRODUCT category brand product hsk prod_hsk store_hsk date_hsk hsk SUM(sales) area brand month SUM(sales) Συνάθροιση Προβολή Συνένωση SELECT SUM(sales), brand, area FROM SALES_FACT, STORE, PRODUCT, DATE WHERE GROUP BY brand, area, month DATE month year day hsk evening STORE area region store hsk size

22 A. Τσώης 2/2005 22 Βασικό πλάνο εκτέλεσης    DATEPRODUCTSTORESALES_FACT Συνάθροιση brandarea brandGroup By:monthbrandareamonth s=SUM(sales) date_hsk:month Μπορούμε να αποφύγουμε πράξεις συνένωσης;

23 A. Τσώης 2/2005 23 Βελτιωμένο πλάνο (#1)   PRODUCTSTORESALES_FACT Συνάθροιση brandarea brandGroup By:monthbrandareadate_hsk:month s=SUM(sales) store_hsk:area Μπορούμε να εκτελέσουμε κάποια συνένωση μετά την συνάθροιση

24 A. Τσώης 2/2005 24 Βελτιωμένο πλάνο (#2)   PRODUCT STORE SALES_FACT Συνάθροιση brandstore_hsk:area brandGroup By:monthbrandareadate_hsk:month s=SUM(sales) store_hsk:area areabrands hsk:area Συνάθροιση hsk:areaarea Μπορούμε να διευκολύνουμε κάποια συνένωση

25 A. Τσώης 2/2005 25 Βελτιωμένο πλάνο (#3)   PRODUCTSTORE SALES_FACT Συνάθροιση brandstore_hsk:area brandGroup By:monthbrandstore_hsk:areadate_hsk:month s=SUM(x)areabrands hsk:area Συνάθροιση hsk:areaarea Συνάθροιση prod_hskstore_hsk:area brandprod_hskstore_hsk:areadate_hsk:month x=SUM(sales)

26 A. Τσώης 2/2005 26 Πρόωρη Ιεραρχική Ομαδοποίηση Πλεονεκτήματα: Μείωση του αριθμού εγγραφών που εμπλέκονται σε πράξεις συνένωσης Εξάλειψη ορισμένων πράξεων συνένωσης Μεταβολές στο πλάνο εκτέλεσης: Προσθέτει ένα τελεστή συνάθροισης & ομαδοποίησης Αλλάζει την σειρά των τελεστών Καθυστέρηση ορισμένων πράξεων συνένωσης για μετά την τελική πράξη συνάθροισης Πειραματικά αποτελέσματα μείωση κατά 50% του χρόνου απόκρισης

27 A. Τσώης 2/2005 27 Πειραματικά αποτελέσματα

28 A. Τσώης 2/2005 28 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

29 A. Τσώης 2/2005 29 Χρήση Εγγενούς Ταξινόμησης Ευριστική μέθοδος μεταβολής του πλάνου εκτέλεσης Εκμεταλλεύεται την ταξινόμηση που προκύπτει από: τον τελεστή TETRIS, τους τελεστές συνάθροισης και την εγγενή ταξινόμηση των πινάκων διαστάσεων. Αλλάζει: την σειρά εκτέλεσης των πράξεων συνένωσης, την ταξινόμηση που κάνουν οι τελεστές συνάθροισης, την ταξινόμηση που κάνει ο τελεστής TETRIS. Αποτέλεσμα: μειώνει το κόστος των τελεστών συνένωσης και συνάθροισης

30 A. Τσώης 2/2005 30 Χρήση Εγγενούς Ταξινόμησης … Συνάθροιση … D1D1 F TETRIS … Συνάθροιση …  DNDN D N+1 D Ν+Κ  … … Ταξινόμηση

31 A. Τσώης 2/2005 31 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

32 A. Τσώης 2/2005 32 Εκτίμηση κόστους Στόχος: η επιλογή του βέλτιστου πλάνου με βάση το κόστος του Μας ενδιαφέρει ένας σχετικά μικρός αριθμός εναλλακτικών πλάνων: η σειρά των πράξεων συνάθροισης και συνένωσης Επιλογή αλγορίθμων με βάση τα χαρακτηριστικά του συστήματος Κρίσιμα στατιστικά μεγέθη Συντελεστής ομαδοποίησης Επιλεκτικότητα των πολυδιάστατων κριτηρίων επιλογής Πειραματική δοκιμή του μοντέλου

33 A. Τσώης 2/2005 33 Πειραματική δοκιμή D1D1 Συνάθροιση  D2D2 D3D3   D1D1  D2D2 D3D3   D1D1  D2D2 D3D3   ΚανονικόΧωρίς 1 η Συνάθροιση Βέλτιστο

34 A. Τσώης 2/2005 34 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

35 A. Τσώης 2/2005 35 Η Γενικευμένη Πρόωρη Ιεραρχική Ομαδοποίηση Κίνητρα έρευνας: Ποιες είναι οι συνθήκες κάτω από τις οποίες μπορεί να εφαρμοστεί η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης; Μπορεί η τεχνική να εφαρμοστεί και χωρίς την χρήση των πολυεπίπεδων αναπληρωματικών κλειδιών; Ποια η σχέση της τεχνικής με άλλες συναφής τεχνικές μεταβολής πλάνων εκτέλεσης; Μέθοδος Μετατροπή τεχνικής σε αλγεβρικό μετασχηματισμό Προσδιορισμός συνθηκών και απόδειξη θεωρήματος Αντιμετώπιση NULL τιμών και σχέσεων με διπλές εγγραφές

36 A. Τσώης 2/2005 36 Ο μετασχηματισμός της Γενικευμένης Πρόωρης Ιεραρχικής Ομαδοποίησης E1 E2

37 A. Τσώης 2/2005 37 Η συνθήκες του θεωρήματος Συναρτησιακές Εξαρτήσεις  I1: Sd3  SKd3  I6: Sd2  SKd2 Κλειδιά σχέσεων  I5: Kd2 key of Rd2  I3: Kd3 key of Rd3  I9: Kd1 key of Rd1 Αναφορικής ακεραιότητα (ξένα κλειδιά)  I2: {Kd3,SKd3}  {Hu3,SHu3}  I8: {Kd1,SKd1}  {Hu1,SHu1}  I4: {Kd2,SKd2}  {Hu2,SHu2} Είδος συναρτήσεων συνάθροισης  I7: Ag(z)=Ago(Ag(z))

38 A. Τσώης 2/2005 38 Η Γενικευμένη Πρόωρη Ιεραρχική Ομαδοποίηση: Συμπεράσματα Ο μετασχηματισμός βασίζεται σε συναρτησιακές συσχετίσεις και περιορισμούς αναφορικής ακεραιότητας Μπορεί να εφαρμοστεί και χωρίς την ύπαρξη των πολυεπίπεδων αναπληρωματικών κλειδιών Δεν είναι μια απλή εφαρμογή γνωστών μετασχηματισμών

39 A. Τσώης 2/2005 39 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης Συμπεράσματα

40 A. Τσώης 2/2005 40 Σύνοψη Ορίσαμε ένα νέο εννοιολογικό μοντέλο κατάλληλο για τους χρήστες των Συστημάτων Άμεσης Αναλυτικής Επεξεργασίας Το μοντέλο περιλαμβάνει έννοιες και πράξεις πάνω σε αυτές Ορίσαμε τεχνικές βελτιστοποίησης για τυπικές επερωτήσεις Άμεσης Αναλυτικής Επεξεργασίας Καθυστέρηση Επιλογών Πρόωρη Ιεραρχική Ομαδοποίηση Χρήση Εγγενούς Ταξινόμησης Ορίσαμε ένα πλαίσιο για την περεταίρω βελτιστοποίηση των πλάνων με βάση το κόστος Μελετήσαμε αναλυτικά και γενικεύσαμε την τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης

41 A. Τσώης 2/2005 41 Συμπεράσματα Το προτεινόμενο μοντέλο MAC μπορεί να χρησιμοποιηθεί για την ευκολότερη μοντελοποίηση και την αποδοτική διαχείριση OLAP δεδομένων Οι τεχνικές βελτιστοποίησης μπορούν να μειώσουν σημαντικά τον χρόνο απόκρισης σε μη- προσχεδιασμένα επερωτήματα Η αναλυτική μελέτη και η γενίκευση της Πρόωρης Ιεραρχικής Ομαδοποίησης μπορεί να χρησιμοποιηθεί για την επέκταση της τεχνικής σε πιο σύνθετα επερωτήματα αλλά και για την χρήση της σε άλλα πεδία

42 A. Τσώης 2/2005 42 Μελλοντική Εργασία Εννοιολογική μοντελοποίηση Αντιστοίχηση του μοντέλου σε ένα κατάλληλο λογικό μοντέλο Ορισμός πράξεων για τον υπολογισμό μέτρων του κύβου (συναθροιστηκές συναρτήσεις) Επεξεργασία επερωτήσεων Διεύρυνση της κλάσης των επερωτήσεων στην οποία μπορεί να εφαρμοστεί η Πρόωρη Ιεραρχική Ομαδοποίηση Εκτίμησης των συντελεστών ομαδοποίησης και επιλεκτικότητας για πολυδιάστατα κριτήρια

43 A. Τσώης 2/2005 43 Δημοσιεύσεις Διεθνή Περιοδικά Π1.D. Theodoratos, A. Tsois: Processing OLAP queries in hierarchically clustered databases. Data & Knowledge Engineering (DKE) 45(2): 205-224, May 2003. Π2.A. Tsois, T. Sellis: Aggregate Query Optimization in the Presence of Dependencies. Submitted for publication, January 2005. Π3.A. Tsois, T. Sellis: The MAC model: A conceptual model for cubes. Submitted for publication, January 2005. Διεθνή Συνέδρια Σ1.A. Tsois, T. Sellis: The Generalized Pre-Grouping Transformation: Aggregate Query Optimization in the Presence of Dependencies. 29th Very Large Databases Conference (VLDB’03), Berlin, Germany, 2003. Σ2.R. Pieringer, K. Elhardt, F. Ramsak, V. Markl, R. Fenk, R. Bayer, N. Karayannidis, A. Tsois, T. Sellis: Combining Hierarchy Encoding and Pre-Grouping: Intelligent Grouping in Star Join Processing. International Conference on Data Engineering (ICDE’03), India, 2003. Σ3.N. Karayannidis, A. Tsois, T. Sellis, R. Pieringer, V. Markl, F. Ramsak, R. Fenk, K. Elhardt, R. Bayer: Processing Star Queries on Hierarchically-Clustered Fact Tables. 28th Very Large Database Conference (VLDB’02), Hong Kong, 2002. Σ4.A. Tsois, N. Karayannidis, T. Sellis, D. Theodoratos: Cost-based optimization of aggregation star queries on hierarchically clustered data warehouses. 4th International Workshop on the Design and Management of Data Warehouses (DMDW’02), Toronto, Canada, 27 May 2002. Σ5.A. Tsois, N. Karayannidis, T. Sellis: MAC: Conceptual data modeling for OLAP. 3rd International Workshop on the Design and Management of Data Warehouses (DMDW’01), Switzerland, 4 June 2001. Σ6.D. Theodoratos, A. Tsois: Heuristic Optimization of OLAP Queries in Multidimensionally Hierarchically Clustered Databases. 4th ACM International Workshop on Data Warehousing and OLAP (DOLAP’01), Atlanta, USA, 9 November 2001.

44 A. Τσώης 2/2005 44 Ερωτήσεις;

45 A. Τσώης 2/2005 45 Δομή της παρουσίασης Εννοιολογική μοντελοποίηση και το μοντέλο MAC Εννοιολογική μοντελοποίηση και το μοντέλο MAC Τεχνικές Επεξεργασία Επερωτήσεων OLAP Τεχνικές Επεξεργασία Επερωτήσεων OLAP Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Επεξεργασία επερωτήσεων με δομές πολυδιάστατης ιεραρχικής δεικτοδότησης και συγκέντρωσης Η τεχνική της Καθυστέρησης Επιλογών Η τεχνική της Πρόωρης Ιεραρχικής Ομαδοποίησης Η τεχνική της Χρήσης Εγγενούς Ταξινόμησης Το μοντέλο εκτίμησης κόστους Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησης (γραφική μορφή) Γενίκευση της τεχνικής Πρόωρης Ιεραρχικής Ομαδοποίησηςγραφική μορφή Συμπεράσματα

46 A. Τσώης 2/2005 46 Su Group By & Aggregate A=F(Ag)Su Sd3 Generalized Pre-Grouping (1) Join …Hu1SHu1Hu2SHu2Hu3SHu3 Sd3SKd3…Kd3 R d3 RuRu Case #1: Remove redundant join Hu3 Kd3 Sd3SHu3 Sd3 I1: Sd3  SKd3 I2: {Kd3,SKd3}  {Hu3,SHu3} I1 I3: Kd3 key of R d3 Kd3 I3 I2 Hu3SHu3 Su

47 A. Τσώης 2/2005 47 Su Group By & Aggregate A=F(Ag)Su Sd2 Generalized Pre-Grouping (2) Join …Hu1SHu1Hu2SHu2Hu3SHu3 Sd2SKd2…Kd2 R d2 RuRu Case #2: Delay a join Hu2 Kd2 Sd2SHu2 Sd2 I6: Sd2  SKd2 I4: {Kd2,SKd2}  {Hu2,SHu2} I6 I5: Kd2 key of R d2 Kd2 I5 SHu2 I4 Hu2SHu2 Su Sd2SHu2 Join SuA Group By & Aggregate Sd2SKd2 Sd3SKd2 Sd2

48 A. Τσώης 2/2005 48 Generalized Pre-Grouping (3) Join Group By & Aggregate SuSd1 Su …Hu1SHu1Hu2SHu2Hu3SHu3SuSd1SKd1…Kd1 RuRu R d1 Case #3: Split aggregation into two stages SKd1 Group By & Aggregate Sd1SKd1 A=F(Ag)A=F(Ag O (x)) Group By & Aggregate x=F(Ag)SuSHu1 Su I8: {Kd1,SKd1}  {Hu1,SHu1} I7: Ag(z)=Ag o (Ag(z)) Kd1 I9: Kd1 key of R d1 SKd1  Sd1

49 A. Τσώης 2/2005 49 Surrogate-Join transformation Join AB Group By & Aggregate SK B SHASKBPKHSHAOABH AOSKBPK R1R1 R2R2 R1R1 R2R2 K

50 A. Τσώης 2/2005 50 Surrogate-Join example Join PageIDPageHitsServerIDServerHits Page_Server_Hits PageIDServerIDHourHourPageHitsPageIDHourPageHits/ServerHitsHour Page_Hour_Hits Group By & Aggregate ServerID ServerHits SELECT h.PageID, h.Hour, h.HourPageHits/s.ServerHits FROM (SELECT DISTINCT ServerID, ServerHits FROM Page_Server_Hits) s, Page_Hour_Hits h WHERE s.ServerID=h.ServerID SELECT h.PageID, h.Hour, h.HourPageHits/s.ServerHits FROM Page_Server_Hits s, Page_Hour_Hits h WHERE s.PageID=h.PageID

51 A. Τσώης 2/2005 51 G. Pre-Grouping Join Group By & Aggregate Sd3 A=F(Ag)SuSd1Sd2 Sd1Sd2Su Join …Hu1SHu1Hu2SHu2Hu3SHu3Su Sd1SKd1…Kd1 Sd2SKd2…Kd2 Sd3SKd3… R d3 Kd3 R d2 R d1 RuRu

52 A. Τσώης 2/2005 52 G. Pre-Grouping Join Group By & Aggregate SHu3 x=F(Ag)SuSHu1SHu2SHu3 SHu1SHu2Su SKd1 Group By & Aggregate Sd1SKd1 SKd2 Group By & Aggregate Sd2SKd2 Group By & Aggregate SHu3 A=F(Ag O (x))SuSd1SHu2SHu3 Sd1SHu2Su A Sd1Sd2 SKd2…Kd2 …Hu1SHu1Hu2SHu2Hu3SHu3Su Sd1SKd1…Kd1 RuRu R d1 R d2

53 A. Τσώης 2/2005 53 The conditions Sd1SKd1… Rd1: I1 Kd1 Sd2SKd2… Rd2: Kd2 Sd3SKd3… Rd3: … Ru: Kd3 Ag(X)=Ag O (Ag(X)) Hu1SHu1Hu2SHu2Hu3SHu3Su I6I2&3 I4&5 I8&9 I7 Functional Dependency Inclusion Dependency BOLD = not NULL Underline = Key