Διαδικασίες Markov

Διαδικασίες Markov Οι διαδικασίες Markov είναι χρήσιμες στη μελέτη της εξέλιξης συστημάτων με επανειλημμένες δοκιμές ή διαδοχικές χρονικές περιόδους ή στάδια. Έχουν χρησιμοποιηθεί για να περιγράψουν την πιθανότητα: μια μηχανή που λειτουργεί σε μία περίοδο θα συνεχίσει να λειτουργεί ή θα χαλάσει κατά την επόμενη περίοδο. ένας καταναλωτής ο οποίος αγοράζει το προϊόν Α σε μία περίοδο θα αγοράσει το ανταγωνιστικό προϊόν Β στην επόμενη περίοδο.

Πιθανότητες Μετάβασης Οι Πιθανότητες μετάβασης καθορίζουν τον τρόπο με τον οποίο η αλλάζει κατάσταση του συστήματος από το ένα στάδιο στο επόμενο. Αυτές είναι συχνά συγκεντρώνονται σε ένα πίνακα ο οποίος ονομάζεται πίνακας μετάβασης.

Πιθανότητες Μετάβασης Ένα σύστημα έχει πεπερασμένη αλυσίδα Markov με σταθερές πιθανότητες μετάβασης εάν: υπάρχει ένας πεπερασμένος αριθμός καταστάσεων, οι πιθανότητες μετάβασης είναι σταθερές από στάδιο σε στάδιο, και η πιθανότητα η διαδικασία να είναι σε μια συγκεκριμένη κατάσταση στο στάδιο n+1 καθορίζεται πλήρως από την κατάσταση της διαδικασίας στο στάδιο n (και όχι από την κατάσταση στο στάδιο n-1). Αυτό αναφέρεται ως η χωρίς μνημονικό ιδιότητα των αλυσίδων Markov.

Πιθανότητες Σταθερής Κατάστασης Οι πιθανότητες κατάστασης σε οποιοδήποτε στάδιο της διαδικασίας μπορεί να υπολογιστούν με κατ΄ επανάληψη πολλαπλασιασμούς των αρχικών πιθανοτήτων κατάστασης με την κατάσταση της διαδικασίας στο στάδιο n (P2=P∙P, όμοια Pn=Pn-1∙P). Η πιθανότητα του συστήματος να είναι σε μια συγκεκριμένη κατάσταση μετά από ένα μεγάλο αριθμό σταδίων ονομάζεται πιθανότητα σταθερής κατάστασης.

Πιθανότητες Σταθερής Κατάστασης Οι πιθανότητες σταθερής κατάστασης μπορούν να βρεθούν από την επίλυση του συστήματος των εξισώσεων π∙P = π μαζί με την προϋπόθεση ότι οι πιθανότητες είναι Σπi = 1. Ο πίνακας P είναι ο πίνακας μετάβασης Ο πίνακας π είναι ο πίνακας που περιλαμβάνει τις πιθανότητες σταθερής κατάστασης (Π=[π1 π2 … πn ]).

Απορροφητικές Καταστάσεις Μια κατάσταση απορρόφησης είναι εκείνη που όταν το σύστημα βρεθεί σε αυτήν την κατάσταση παραμένει για πάντα σε αυτήν (δηλαδή η πιθανότητα να παραμείνει στην κατάσταση αυτή είναι 1). Εάν υπάρχουν περισσότερες από μία καταστάσεις απορρόφησης, τότε δεν υπάρχει μια σταθερή κατάσταση ανεξάρτητη των αρχικών συνθηκών.

Πίνακας Μετάβασης με Υπο-Πίνακες Αν μια αλυσίδα Markov έχει απορροφητικές και μη απορροφητικές καταστάσεις, τότε αυτές οι καταστάσεις μπορούν να ομαδοποιηθούν έτσι ώστε η μήτρα μετάβασης μπορεί να γραφτεί ως εξής σύνθεση τεσσάρων υποπινάκων: I, 0, R, και Q: I 0 R Q

Πίνακας Μετάβασης με Υπο-Πίνακες I = ο μοναδιαίος πίνακας όπου το σύστημα παραμένει σε μία κατάσταση απορρόφησης όταν εισέλθει σε αυτήν 0 = ο μηδενικός πίνακας δηλαδή πιθανότητα μετάβασης από απορροφητικές σε μη απορροφητικές καταστάσεις R = οι πιθανότητες μετάβασης από μη απορροφητικές σε απορροφητικές καταστάσεις Q = οι πιθανότητες μετάβασης μεταξύ των μη απορροφητικών καταστάσεων

Θεμελιώδης Πίνακας Ο θεμελιώδης πίνακας, N, είναι ο ανάστροφος πινάκας της διαφοράς ανάμεσα στον μοναδιαίο και τον Q πίνακα: N = (I - Q )-1

NR Πίνακας Ο NR πίνακας είναι το γινόμενο του θεμελιώδη πίνακα (N) και του R πίνακα. Μας δίνει τις πιθανότητες με τις οποίες θα μετακινηθεί τελικά το σύστημα από κάθε μία μη απορροφητική κατάσταση σε μία από τις απορροφητικές καταστάσεις. Οι εν λόγω υπολογισμοί κάνουν δυνατή οικονομική ανάλυση των συστημάτων και πολιτικών.

Παράδειγμα 1 Ένας επίμονος πωλητής τηλεφωνεί μία φορά την εβδομάδα ελπίζοντας ότι θα μιλήσει στον υπεύθυνο πωλήσεων μιας επιχείρησής. Αν ο υπεύθυνος δεν δεχτεί το τηλεφώνημα του πωλητή αυτήν την εβδομάδα η πιθανότητα να κάνει το ίδιο και την επόμενη είναι .35. Αν ο υπεύθυνος δεχτεί το τηλεφώνημα του πωλητή αυτήν την εβδομάδα η πιθανότητα να μην το δεχτεί την επόμενη είναι .20.

Παράδειγμα 1 Πίνακας Μετάβασης Επόμενο τηλεφώνημα Απόρριψη Αποδοχή Προηγούμενο Απόρριψη .35 .65 τηλεφώνημα Αποδοχή .20 .80

Παράδειγμα 1 Πιθανότητες Σταθερής-Κατάστασης Ερώτηση Πόσες φορές σε ένα χρόνο ο πωλητής περιμένει ότι θα μιλήσει στον υπεύθυνο; Απάντηση Για να βρεθεί ο αναμενόμενος αριθμό τηλεφωνημάτων που θα αποδεχτεί ο υπεύθυνος της επιχείρησης σε ένα χρόνο, βρείτε τις πιθανότητα σταθερής κατάστασης για την αποδοχή τηλεφωνήματος και πολλαπλασιάστε την με τις 52 εβδομάδες του έτους. συνεχίζεται . . .

Παράδειγμα 1 Απάντηση (συνέχεια) Πιθανότητες Σταθερής-Κατάστασης Απάντηση (συνέχεια) Έστω π1 = πιθανότητα απόρριψης τηλεφωνήματος σε βάθος χρόνου π2 = πιθανότητα αποδοχής τηλεφωνήματος σε βάθος χρόνου Τότε, .35 .65 [π π2] = [π π2] .20 .80 συνεχίζεται. . .

Παράδειγμα 1 Πιθανότητες Σταθερής-Κατάστασης Απάντηση (συνέχεια)  +  =  (1)  +  =  (2)  +  = 1 (3) Λύσε ως προς π και π2. συνεχίζεται. . .

Παράδειγμα 1 Πιθανότητες Σταθερής-Κατάστασης Απάντηση (συνέχεια) Λύνουμε τις εξισώσεις (2) and (3). (Η εξίσωση1 δεν χρησιμοποιείται.) Αντικαθιστούμε π = 1 – π2 στην (2) και έχουμε: .65(1 – π2 ) + .80π2 = π2 Αυτό δίνει π2 = .76471. Αντικαθιστούμε το π2 στην εξίσωση (3) και δίνει π = .23529. Τότε ο αριθμός των τηλεφωνημάτων που θα αποδεχτεί ο υπεύθυνος σε ένα χρόνο είναι: (.76471)(52) = 39.76 σχεδόν 40

Παράδειγμα 1 Πιθανότητες Κατάστασης Ερώτηση Ποια είναι η πιθανότητα ο υπεύθυνος να δεχτεί τα δύο επόμενα τηλεφωνήματα του πωλητή, αν δεν έχει δεχτεί το τηλεφώνημα του αυτήν την εβδομάδα;

Παράδειγμα 1 Πιθανότητες Κατάστασης Απάντηση P = .35(.35) = .1225 Απόρριψη P = .35(.35) = .1225 .35 Απόρριψη Αποδοχή .35 P = .35(.65) = .2275 Απόρριψη .65 Απόρριψη .20 P = .65(.20) = .1300 Αποδοχή Αποδοχή .65 .80 P = .65(.80) = .5200

Παράδειγμα 1 Πιθανότητες Κατάστασης Ερώτηση Ποια είναι η πιθανότητα ο υπεύθυνος να δεχτεί ακριβώς ένα από τα επόμενα δύο τηλεφωνήματα του πωλητή, αν έχει δεχτεί το τηλεφώνημα του αυτήν την εβδομάδα;

Παράδειγμα 1 Πιθανότητες Κατάστασης Απάντηση Η πιθανότητα αυτή μπορεί να βρεθεί αν προσθέσουμε τις πιθανότητες (αποδοχή την επόμενη και απόρριψη την μεθεπόμενη) και (απόρριψη την επόμενη και αποδοχή την μεθεπόμενη) = 13 + .16 = .29 Απόρριψη P = .20(.35) = .70 P = .20(.65) = .13 P = .80(.20) = .16 .20 .35 .65 .80 P = .80(.80) = .64 Απόρριψη Αποδοχή Αποδοχή Απόρριψη Αποδοχή Αποδοχή

Παράδειγμα 2 Προηγούμενος Χρόνος Ιδία Θέση .55 .10 .05 .20 .10 Ο διευθυντής μίας εταιρείας έχει παρατηρήσει ότι οι ετήσιες μεταβολές του προσωπικού του ακολουθούν μια διαδικασία Markov. Ο πίνακας μετάβασης είναι: Επόμενος Χρόνος Ιδία Θέση Προαγωγή Συν/ση Παραίτηση Απόλυση Προηγούμενος Χρόνος Ιδία Θέση .55 .10 .05 .20 .10 Προαγωγή .70 .20 0 .10 0 Συνταξιοδότηση 0 0 1 0 0 Παραίτηση 0 0 0 1 0 Απόλυση 0 0 0 0 1

Παράδειγμα 2 Πίνακας μετάβασης Επόμενος Χρόνος Συν/ση Παραίτηση Απόλυση Ιδία Θέση Προαγωγή Προηγούμενος Χρόνος Συνταξιοδότηση 1 0 0 0 0 Παραίτηση 0 1 0 0 0 Απόλυση 0 0 1 0 0 Ιδία Θέση .05 .20 .10 .55 .10 Προαγωγή 0 .10 0 .70 .20

Παράδειγμα 2 Θεμελιώδης Πίνακας -1 -1 1 0 .55 .10 .45 -.10 -1 -1 1 0 .55 .10 .45 -.10 N = (I - Q ) -1 = - = 0 1 .70 .20 -.70 .80

Παράδειγμα 2 Θεμελιώδης Πίνακας Η ορίζουσα είναι, d = a11a22 – a21a12 = (.45)(.80) - (-.70)(-.10) = .29 Τότε, .80/.29 .10/.29 2.76 .34 N = = .70/.29 .45/.29 2.41 1.55

Παράδειγμα 2 NR Πίνακας Οι πιθανότητες μετάβασης σε βάθος χρόνου από τις μη απορροφητικές σε απορροφητικές καταστάσεις είναι: 2.76 .34 .05 .20 .10 NR = x 2.41 1.55 0 .10 0 Σύντ/ση Παραίτηση Απόλυση Ίδια θέση .14 .59 .28 NR = Προαγωγή .12 .64 .24

Παράδειγμα 2 Απορροφητικές Καταστάσεις Ερώτηση Ποια είναι η πιθανότητα κάποιος ο οποίος μόλις προήχθη τελικά να πάρει σύνταξη; . . . Να παραιτηθεί; . . . να απολυθεί; Απάντηση Οι απαντήσεις που δόθηκαν από την κάτω σειρά του πίνακα NR. Οι απαντήσεις έχουν ως εξής: Τελικά Συνταξιοδοτείται = .12 Τελικά Παραιτείται = .64 Τελικά Απολύεται = .24

Τέλος Διαδικασιών Markov