1 1 Slide Διαδικασίες Markov

2 2 Slide Διαδικασίες Markov n Οι διαδικασίες Markov είναι χρήσιμες στη μελέτη της εξέλιξης συστημάτων με επανειλημμένες δοκιμές ή διαδοχικές χρονικές περιόδους ή στάδια. n Έχουν χρησιμοποιηθεί για να περιγράψουν την πιθανότητα: μια μηχανή που λειτουργεί σε μία περίοδο θα συνεχίσει να λειτουργεί ή θα χαλάσει κατά την επόμενη περίοδο. μια μηχανή που λειτουργεί σε μία περίοδο θα συνεχίσει να λειτουργεί ή θα χαλάσει κατά την επόμενη περίοδο. ένας καταναλωτής ο οποίος αγοράζει το προϊόν Α σε μία περίοδο θα αγοράσει το ανταγωνιστικό προϊόν Β στην επόμενη περίοδο. ένας καταναλωτής ο οποίος αγοράζει το προϊόν Α σε μία περίοδο θα αγοράσει το ανταγωνιστικό προϊόν Β στην επόμενη περίοδο.

3 3 Slide Πιθανότητες Μετάβασης n Οι Πιθανότητες μετάβασης καθορίζουν τον τρόπο με τον οποίο η αλλάζει κατάσταση του συστήματος από το ένα στάδιο στο επόμενο. Αυτές είναι συχνά συγκεντρώνονται σε ένα πίνακα ο οποίος ονομάζεται πίνακας μετάβασης.

4 4 Slide Πιθανότητες Μετάβασης n Ένα σύστημα έχει πεπερασμένη αλυσίδα Markov με σταθερές πιθανότητες μετάβασης εάν: υπάρχει ένας πεπερασμένος αριθμός καταστάσεων, υπάρχει ένας πεπερασμένος αριθμός καταστάσεων, οι πιθανότητες μετάβασης είναι σταθερές από στάδιο σε στάδιο, και οι πιθανότητες μετάβασης είναι σταθερές από στάδιο σε στάδιο, και η πιθανότητα η διαδικασία να είναι σε μια συγκεκριμένη κατάσταση στο στάδιο n+ 1 καθορίζεται πλήρως από την κατάσταση της διαδικασίας στο στάδιο n (και όχι από την κατάσταση στο στάδιο n-1). Αυτό αναφέρεται ως η χωρίς μνημονικό ιδιότητα των αλυσίδων Markov. η πιθανότητα η διαδικασία να είναι σε μια συγκεκριμένη κατάσταση στο στάδιο n+ 1 καθορίζεται πλήρως από την κατάσταση της διαδικασίας στο στάδιο n (και όχι από την κατάσταση στο στάδιο n-1). Αυτό αναφέρεται ως η χωρίς μνημονικό ιδιότητα των αλυσίδων Markov.

5 5 Slide Πιθανότητες Σταθερής Κατάστασης n Οι πιθανότητες κατάστασης σε οποιοδήποτε στάδιο της διαδικασίας μπορεί να υπολογιστούν με κατ΄ επανάληψη πολλαπλασιασμούς των αρχικών πιθανοτήτων κατάστασης με την κατάσταση της διαδικασίας στο στάδιο n ( P 2 =P∙P, όμοια P n =P n-1 ∙P ). n Η πιθανότητα του συστήματος να είναι σε μια συγκεκριμένη κατάσταση μετά από ένα μεγάλο αριθμό σταδίων ονομάζεται πιθανότητα σταθερής κατάστασης.

6 6 Slide Πιθανότητες Σταθερής Κατάστασης n Οι πιθανότητες σταθερής κατάστασης μπορούν να βρεθούν από την επίλυση του συστήματος των εξισώσεων π∙P = π μαζί με την προϋπόθεση ότι οι πιθανότητες είναι Σπ i = 1. Ο πίνακας P είναι ο πίνακας μετάβασης Ο πίνακας P είναι ο πίνακας μετάβασης Ο πίνακας π είναι ο πίνακας που περιλαμβάνει τις πιθανότητες σταθερής κατάστασης ( Π=[π 1 π 2 … π n ]). Ο πίνακας π είναι ο πίνακας που περιλαμβάνει τις πιθανότητες σταθερής κατάστασης ( Π=[π 1 π 2 … π n ]).

7 7 Slide Απορροφητικές Καταστάσεις n Μια κατάσταση απορρόφησης είναι εκείνη που όταν το σύστημα βρεθεί σε αυτήν την κατάσταση παραμένει για πάντα σε αυτήν (δηλαδή η πιθανότητα να παραμείνει στην κατάσταση αυτή είναι 1). n Εάν υπάρχουν περισσότερες από μία καταστάσεις απορρόφησης, τότε δεν υπάρχει μια σταθερή κατάσταση ανεξάρτητη των αρχικών συνθηκών.

8 8 Slide Πίνακας Μετάβασης με Υπο-Πίνακες n Αν μια αλυσίδα Markov έχει απορροφητικές και μη απορροφητικές καταστάσεις, τότε αυτές οι καταστάσεις μπορούν να ομαδοποιηθούν έτσι ώστε η μήτρα μετάβασης μπορεί να γραφτεί ως εξής σύνθεση τεσσάρων υποπινάκων: I, 0, R, και Q: I 0 I 0 R Q R Q

9 9 Slide Πίνακας Μετάβασης με Υπο-Πίνακες I = ο μοναδιαίος πίνακας όπου το σύστημα παραμένει σε μία κατάσταση απορρόφησης όταν εισέλθει σε αυτήν I = ο μοναδιαίος πίνακας όπου το σύστημα παραμένει σε μία κατάσταση απορρόφησης όταν εισέλθει σε αυτήν 0 = ο μηδενικός πίνακας δηλαδή πιθανότητα μετάβασης από απορροφητικές σε μη απορροφητικές καταστάσεις 0 = ο μηδενικός πίνακας δηλαδή πιθανότητα μετάβασης από απορροφητικές σε μη απορροφητικές καταστάσεις R = οι πιθανότητες μετάβασης από μη απορροφητικές σε απορροφητικές καταστάσεις R = οι πιθανότητες μετάβασης από μη απορροφητικές σε απορροφητικές καταστάσεις Q = οι πιθανότητες μετάβασης μεταξύ των μη απορροφητικών καταστάσεων Q = οι πιθανότητες μετάβασης μεταξύ των μη απορροφητικών καταστάσεων

10 Slide Θεμελιώδης Πίνακας n Ο θεμελιώδης πίνακας, N, είναι ο ανάστροφος πινάκας της διαφοράς ανάμεσα στον μοναδιαίο και τον Q πίνακα: N = (I - Q )-1 N = (I - Q )-1

11 Slide NR Πίνακας n Ο NR πίνακας είναι το γινόμενο του θεμελιώδη πίνακα ( N ) και του R πίνακα. n Μας δίνει τις πιθανότητες με τις οποίες θα μετακινηθεί τελικά το σύστημα από κάθε μία μη απορροφητική κατάσταση σε μία από τις απορροφητικές καταστάσεις. n Οι εν λόγω υπολογισμοί κάνουν δυνατή οικονομική ανάλυση των συστημάτων και πολιτικών.

12 Slide Παράδειγμα 1 Ένας επίμονος πωλητής τηλεφωνεί μία φορά την εβδομάδα ελπίζοντας ότι θα μιλήσει στον υπεύθυνο πωλήσεων μιας επιχείρησής. Αν ο υπεύθυνος δεν δεχτεί το τηλεφώνημα του πωλητή αυτήν την εβδομάδα η πιθανότητα να κάνει το ίδιο και την επόμενη είναι.35. Αν ο υπεύθυνος δεχτεί το τηλεφώνημα του πωλητή αυτήν την εβδομάδα η πιθανότητα να μην το δεχτεί την επόμενη είναι.20.

13 Slide Παράδειγμα 1 n Πίνακας Μετάβασης Επόμενο τηλεφώνημα Επόμενο τηλεφώνημα Απόρριψη Αποδοχή Απόρριψη Αποδοχή Προηγούμενο Απόρριψη Προηγούμενο Απόρριψη τηλεφώνημα τηλεφώνημα Αποδοχή Αποδοχή.20.80

14 Slide Παράδειγμα 1 n Πιθανότητες Σταθερής-Κατάστασης Ερώτηση Πόσες φορές σε ένα χρόνο ο πωλητής περιμένει ότι θα μιλήσει στον υπεύθυνο; Απάντηση Για να βρεθεί ο αναμενόμενος αριθμό τηλεφωνημάτων που θα αποδεχτεί ο υπεύθυνος της επιχείρησης σε ένα χρόνο, βρείτε τις πιθανότητα σταθερής κατάστασης για την αποδοχή τηλεφωνήματος και πολλαπλασιάστε την με τις 52 εβδομάδες του έτους. συνεχίζεται...

15 Slide Παράδειγμα 1 n Πιθανότητες Σταθερής-Κατάστασης Απάντηση (συνέχεια) Έστω π 1 = πιθανότητα απόρριψης τηλεφωνήματος σε βάθος χρόνου π 2 = πιθανότητα αποδοχής τηλεφωνήματος σε βάθος χρόνου π 2 = πιθανότητα αποδοχής τηλεφωνήματος σε βάθος χρόνου Τότε, Τότε, [ π  π 2 ] = [ π  π 2 ] [ π  π 2 ] = [ π  π 2 ] συνεχίζεται... συνεχίζεται...

16 Slide Παράδειγμα 1 n Πιθανότητες Σταθερής-Κατάστασης Απάντηση (συνέχεια)   +   =   (1)   +   =   (1)   +   =   (2)   +   =   (2)   +   = 1 (3)   +   = 1 (3) Λύσε ως προς π  και π 2. Λύσε ως προς π  και π 2. συνεχίζεται... συνεχίζεται...

17 Slide Παράδειγμα 1 n Πιθανότητες Σταθερής-Κατάστασης Απάντηση (συνέχεια) Λύνουμε τις εξισώσεις (2) and (3). (Η εξίσωση1 δεν χρησιμοποιείται.) Αντικαθιστούμε π  = 1 – π 2 στην (2) και έχουμε: Λύνουμε τις εξισώσεις (2) and (3). (Η εξίσωση1 δεν χρησιμοποιείται.) Αντικαθιστούμε π  = 1 – π 2 στην (2) και έχουμε:.65(1 – π 2 ) +.80π 2 = π 2.65(1 – π 2 ) +.80π 2 = π 2 Αυτό δίνει π 2 = Αντικαθιστούμε το π 2 στην εξίσωση (3) και δίνει π  = Τότε ο αριθμός των τηλεφωνημάτων που θα αποδεχτεί ο υπεύθυνος σε ένα χρόνο είναι: (.76471)(52) = σχεδόν 40 (.76471)(52) = σχεδόν 40

18 Slide Παράδειγμα 1 n Πιθανότητες Κατάστασης Ερώτηση Ποια είναι η πιθανότητα ο υπεύθυνος να δεχτεί τα δύο επόμενα τηλεφωνήματα του πωλητή, αν δεν έχει δεχτεί το τηλεφώνημα του αυτήν την εβδομάδα;

19 Slide Παράδειγμα 1 n Πιθανότητες Κατάστασης Απάντηση Απάντηση P =.35(.35) =.1225 P =.35(.65) =.2275 P =.65(.20) =.1300 Απόρριψη Αποδοχή Απόρριψη Απόρριψη Απόρριψη Αποδοχή Αποδοχή P =.65(.80) =.5200

20 Slide Παράδειγμα 1 n Πιθανότητες Κατάστασης Ερώτηση Ποια είναι η πιθανότητα ο υπεύθυνος να δεχτεί ακριβώς ένα από τα επόμενα δύο τηλεφωνήματα του πωλητή, αν έχει δεχτεί το τηλεφώνημα του αυτήν την εβδομάδα;

21 Slide Παράδειγμα 1 n Πιθανότητες Κατάστασης Απάντηση Απάντηση Η πιθανότητα αυτή μπορεί να βρεθεί αν προσθέσουμε τις πιθανότητες (αποδοχή την επόμενη και απόρριψη την μεθεπόμενη) και (απόρριψη την επόμενη και αποδοχή την μεθεπόμενη) = =.29 Η πιθανότητα αυτή μπορεί να βρεθεί αν προσθέσουμε τις πιθανότητες (αποδοχή την επόμενη και απόρριψη την μεθεπόμενη) και (απόρριψη την επόμενη και αποδοχή την μεθεπόμενη) = =.29 P =.20(.35) =.70 P =.20(.65) =.13 P =.80(.20) = P =.80(.80) =.64 Απόρριψη Αποδοχή Αποδοχή Αποδοχή Αποδοχή Απόρριψη Απόρριψη

22 Slide Παράδειγμα 2 Ο διευθυντής μίας εταιρείας έχει παρατηρήσει ότι οι ετήσιες μεταβολές του προσωπικού του ακολουθούν μια διαδικασία Markov. Ο πίνακας μετάβασης είναι: Επόμενος Χρόνος Επόμενος Χρόνος Ιδία Θέση Προαγωγή Συν/ση Παραίτηση Απόλυση Ιδία Θέση Προαγωγή Συν/ση Παραίτηση Απόλυση Προηγούμενος Χρόνος Ιδία Θέση Ιδία Θέση Προαγωγή Προαγωγή Συνταξιοδότηση Συνταξιοδότηση Παραίτηση Παραίτηση Απόλυση Απόλυση

23 Slide Παράδειγμα 2 n Πίνακας μετάβασης Επόμενος Χρόνος Επόμενος Χρόνος Συν/ση Παραίτηση Απόλυση Ιδία Θέση Προαγωγή Συν/ση Παραίτηση Απόλυση Ιδία Θέση Προαγωγή Προηγούμενος Χρόνος Συνταξιοδότηση Συνταξιοδότηση Παραίτηση Παραίτηση Απόλυση Απόλυση Ιδία Θέση Ιδία Θέση Προαγωγή Προαγωγή

24 Slide Παράδειγμα 2 n Θεμελιώδης Πίνακας N = ( I - Q ) -1 = - =

25 Slide Παράδειγμα 2 n Θεμελιώδης Πίνακας Η ορίζουσα είναι, d = a 11 a 22 – a 21 a 12 = (.45)(.80) - (-.70)(-.10) =.29 = (.45)(.80) - (-.70)(-.10) =.29 Τότε, Τότε,.80/.29.10/ /.29.10/ N = = N = =.70/.29.45/ /.29.45/

26 Slide Παράδειγμα 2 n NR Πίνακας Οι πιθανότητες μετάβασης σε βάθος χρόνου από τις μη απορροφητικές σε απορροφητικές καταστάσεις είναι: NR = x NR = x Σύντ/ση Παραίτηση Απόλυση Σύντ/ση Παραίτηση Απόλυση Ίδια θέση Ίδια θέση NR = NR = Προαγωγή Προαγωγή

27 Slide Παράδειγμα 2 n Απορροφητικές Καταστάσεις Ερώτηση Ποια είναι η πιθανότητα κάποιος ο οποίος μόλις προήχθη τελικά να πάρει σύνταξη;... Να παραιτηθεί;... να απολυθεί; Απάντηση Οι απαντήσεις που δόθηκαν από την κάτω σειρά του πίνακα NR. Οι απαντήσεις έχουν ως εξής: Τελικά Συνταξιοδοτείται =.12 Τελικά Συνταξιοδοτείται =.12 Τελικά Παραιτείται =.64 Τελικά Παραιτείται =.64 Τελικά Απολύεται =.24 Τελικά Απολύεται =.24

28 Slide Τέλος Διαδικασιών Markov