Εκτεταμένα Παίγνια με τέλεια πληροφόρηση

Παρουσίαση με θέμα: "Εκτεταμένα Παίγνια με τέλεια πληροφόρηση"— Μεταγράφημα παρουσίασης:

1 Εκτεταμένα Παίγνια με τέλεια πληροφόρηση

2 Πεποιθήσεις Παικτών Σε μια ισορροπία Nash, κάθε παίκτης επιλέγει μια στρατηγική που μεγιστοποιεί την αναμενόμενη απολαβή του γνωρίζοντας τις στρατηγικές των άλλων παικτών. Άτυπα, ο τρόπος που αποκτά ένας παίκτης αυτή την γνώση είναι η εμπειρία του από το παίξιμο του παίγνιου.

3 Περίγραμμα Παίγνια Εκτεταμένης Μορφής με Πλήρη Πληροφόρηση (Extensive Form Games with Perfect Information) Προς τα πίσω επαγωγή (Backward Induction) και Τέλεια Ισορροπία Nash σε Υποπαίγνιο (Subgame Perfect Nash Equilibrium) Αρχικές εφαρμογές απόκλισης σε ένα στάδιο (One-stage Deviation Principle Application)

4 Παίγνια Εκτεταμένης Μορφής (1/2)
Έχουμε μελετήσει τα παιχνίδια στρατηγικής μορφής τα οποία χρησιμοποιούνται για να μοντελοποιήσουν τα παίγνια ενός γύρου (one-shot games) όπου κάθε παίκτης επιλέγει τη δράση του μια για πάντα ταυτόχρονα. Τα παίγνια εκτεταμένης μορφής αποτελούν μοντέλο διαδοχικών αποφάσεων πολλαπλών παραγόντων.

5 Παίγνια Εκτεταμένης Μορφής (2/2)
Η εστίασή μας θα είναι σε παίγνια πολλαπλών σταδίων με παρατηρούμενες ενέργειες (multi-agent sequential games with observed actions) όπου: Καταγράφονται όλες οι προηγούμενες ενέργειες, δηλαδή κάθε παίκτης είναι πλήρως ενημερωμένος για όλα τα προηγούμενα γεγονότα. Μερικοί παίκτες μπορούν να κινούνται ταυτόχρονα σε κάποιο στάδιο k. Εκτεταμένες μορφές παίγνιων μπορούν εύκολα να αναπαριστώνται από δέντρα παιγνίων (game trees). Πρόσθετο στοιχείο του μοντέλου είναι οι ιστορίες (histories), δηλαδή, ακολουθίες από προφίλ δράσης.

6 Παράδειγμα 1: Παίγνιο Απαγόρευσης Εισόδου
Υπάρχουν δύο παίκτες. Ο παίκτης 1, ο εισερχόμενος, μπορεί να επιλέξει να εισέλθει στην αγορά ή να παραμείνει έξω. Ο παίκτης 2, ο αξιωματούχος, αφού παρακολουθεί τη δράση του εισερχόμενου, επιλέγει να τον φιλοξενήσει ή να πολεμήσει μαζί του. Οι αποδόσεις για κάθε ένα από τα προφίλ δράσης (ή τα ιστορικά) δίνονται από το ζευγάρι (x, y) στα φύλλα του δέντρου παίγνιου: x δηλώνει την απολαβή του παίκτη 1 (ο νεοεισερχόμενος) και y δηλώνει την πληρωμή του παίκτη 2 ο κατεστημένος φορέας).

7 Παράδειγμα 2: Επένδυση σε Δυοπώλειο
Υπάρχουν δύο παίκτες στην αγορά. Ο παίκτης 1 μπορεί να επιλέξει να επενδύσει ή να μην επενδύσει. Αφού ο παίκτης 1 επιλέξει τη δράση του, και οι δύο παίκτες συμμετέχουν σε έναν αγώνα Cournot. Εάν ο παίκτης 1 επενδύσει, τότε θα συμμετάσχουν σε ένα παιχνίδι Cournot με c1 = 0 και c2 = 2. Διαφορετικά, θα συμμετάσχουν σε ένα παιχνίδι Cournot με c1 = c2 = 2. Μπορούμε επίσης να υποθέσουμε ότι υπάρχει σταθερό κόστος f για τον παίκτη 1 να επενδύσει.

8 Μοντέλο Παίγνιου Εκτεταμένης Μορφής (1/2)
Ένα σύνολο παικτών, I = {1,...,I}. Histories: Ένα σύνολο H από σειρές που μπορεί να είναι πεπερασμένο ή όχι. h0 = ∅ αρχικό ιστορικό a0 = (a10, , aI0) το προφίλ ενεργειών στο στάδιο 0 h1 = a το ιστορικό μετά το στάδιο 0 ⋮ ⋮ hk+1 = (a0,a1,...,ak) ιστορικό μετά το στάδιο k Αν το παίγνιο έχει ένα πεπερασμένο αριθμό (K+1) σταδίων, τότε είναι παίγνιο πεπερασμένου ορίζοντα. Έστω ότι Hk = {hk} είναι ένα σύνολο όλων των δυνατών ιστορικών K σταδίων Τότε HK+1 είναι ένα σύνολο όλων των δυνατών τερματικών ιστορικών, και H = ∪K+1Hk είναι το σύνολο όλων των δυνατών ιστορικών.

9 Μοντέλο Παίγνιου Εκτεταμένης Μορφής (2/2)
Οι καθαρές στρατηγικές για τον παίκτη i ορίζονται ως σχέδιο έκτακτης ανάγκης για κάθε πιθανό ιστορικό hk. Έστω ότι Si (Hk ) = ∪hk ∈Hk Si (hk ) είναι το σύνολο των ενεργειών που είναι διαθέσιμες για τον παίκτη i στο στάδιο k. Έστω ότι sik : Hk → Si(Hk) τέτοιο ώστε si(hk) ∈ Si(hk). Τότε, η καθαρή στρατηγική για τον παίκτη i είναι το σύνολο των σειρών si = {sik}k=0K , π.χ., η καθαρή στρατηγική ενός παίκτη είναι μια συλλογή απεικονίσεων από όλα τα πιθανά ιστορικά στις διαθέσιμες ενέργειες. Παρατηρείστε ότι το μονοπάτι των προφίλ στρατηγικών s θα είναι a0 = s0(h0), a1 = s1(a0), a2 = s2(a0, a1), και προχωράει με αυτό τον τρόπο. Οι Προτιμήσεις ορίζονται στην έκβαση του παίγνιου HK+1. Μπορούμε να αναπαρίσουμε τις προτιμήσεις του παίκτη i με μία συνάρτηση χρησιμότητας ui : HK+1 → R. Αφού το προφίλ στρατηγικών s καθορίζει το μονοπάτι a0, , ak και ως εκ τούτου το hK +1, θα συμβολίσουμε με ui(s) την απόδοση του παίκτη i κάτω από το προφίλ στρατηγικών s.

10 Στρατηγικές σε Παίγνια Εκτεταμένης Μορφής (1/6)
Παράδειγμα: Στρατηγικές του Παίκτη 1: s1 : H0 = ∅ → S1 = {C,D}; δύο πιθανές στρατηγικές: C,D Στρατηγικές του Παίκτη 2: s2 : H1 = {{C},{D}} → S2; τέσσερις πιθανές στρατηγικές: τις οποίες μπορούμε να αναπαραστήσουμε ως EG, EH, FG και FH. Αν s = (C,EG), τότε η έκβαση θα είναι{C,E}. Από την άλλη πλευρά, αν η στρατηγική είναι s = (D,EG), η έκβαση θα είναι {D,G}.

11 Στρατηγικές σε Παίγνια Εκτεταμένης Μορφής (2/6)
Θεωρείστε την ακόλουθη έκδοση δύο σταδίων σε εκτεταμένη μορφή του παίγνιου κορόνα-γράμματα. Πόσες στρατηγικές έχει ο παίκτης 2;

12 Στρατηγικές σε Παίγνια Εκτεταμένης Μορφής (3/6)
Ανάκληση: η στρατηγική πρέπει να είναι ένα πλήρες σχέδιο έκτακτης ανάγκης. Επομένως: ο παίκτης 2 έχει τέσσερις στρατηγικές: κεφαλές που ακολουθούν κεφαλές, κεφαλές μετά από ουρές HH. κεφαλές που ακολουθούν κεφαλές, ουρές μετά από ουρές HT. ουρές που ακολουθούν κεφαλές, ουρές μετά από ουρές TT. ουρές μετά από κεφαλές, κεφαλές μετά από ουρές TH.

13 Στρατηγικές σε Παίγνια Εκτεταμένης Μορφής (4/6)
Ως εκ τούτου, από το εκτεταμένο παίγνιο μπορούμε να πάμε στην αναπαράσταση σε στρατηγική μορφή. Για παράδειγμα: Τότε τι θα συμβεί στο παίγνιο αυτό;

14 Στρατηγικές σε Παίγνια Εκτεταμένης Μορφής (5/6)
Μπορούμε να προχωρήσουμε από την αναπαράσταση σε στρατηγική μορφή στην αναπαράσταση σε μια εκτεταμένη μορφή; Για να γίνει αυτό, πρέπει να εισαγάγουμε σύνολα πληροφοριών (information sets): Τα σύνολα πληροφοριών μοντελοποιούν τις πληροφορίες που έχουν οι παίκτες όταν επιλέγουν τις ενέργειές τους. Μπορούν να θεωρηθούν ως γενίκευση της ιδέας ενός ιστορικού. Τα σύνολα πληροφοριών, h ∈ H, χωρίζουν τους κόμβους του δέντρου του παίγνιου: η ερμηνεία του συνόλου πληροφοριών h (x) που περιέχει τον κόμβο x είναι ότι ο παίκτης που επιλέγει μια ενέργεια στο x είναι αβέβαιος αν είναι στο x ή σε κάποιο άλλο x’ ∈ h (x). Υποθέτουμε ότι εάν x’ ∈ h (x), τότε ο ίδιος παίκτης μετακινείται στο x και στο x΄ και επίσης ότι A (x) = A (x΄). Ένα παιχνίδι έχει τέλειες πληροφορίες (perfect information) αν όλα τα σύνολα πληροφοριών του είναι singletons (δηλαδή, όλοι οι κόμβοι βρίσκονται στο δικό τους σύνολο πληροφοριών).

15 Στρατηγικές σε Παίγνια Εκτεταμένης Μορφής (6/6)
Τα ακόλουθα δύο εκτεταμένα παίγνια είναι αναπαραστάσεις της ταυτόχρονης μετακίνησης στο παίγνιο κορόνα-γράμματα. Οι βρόχοι αντιπροσωπεύουν τα σύνολα πληροφοριών των παικτών που κινούνται σε αυτό το στάδιο. Αυτά είναι παίγνια ατελούς πληροφόρησης. Αυτά τα παίγνια αναπαριστούν ακριβώς την ίδια κατάσταση στρατηγικής: κάθε παίκτης επιλέγει τη δράση του χωρίς να γνωρίζει την επιλογή του αντιπάλου του. Σημείωση: Για λόγους συνέπειας, ο πρώτος αριθμός εξακολουθεί να είναι η απόδοση του παίκτη 1.

16 Παίγνιο Απαγόρευσης Εισόδου
Η ισοδύναμη αναπαράσταση σε στρατηγική μορφή: Δύο καθαρές ισορροπίες Nash: (In,A) και (Out,F).

17 Είναι αυτές οι Ισορροπίες Λογικές;
Η ισορροπία (Out, F) διατηρείται από μια μη αξιόπιστη απειλή του μονοπωλίου. Η έννοια της ισορροπίας για εκτεταμένα παίγνια: Subgame Perfect (Nash) Equilibrium. Απαιτεί η στρατηγική κάθε παίκτη να είναι "βέλτιστη" όχι μόνο στην αρχή του παιχνιδιού αλλά και μετά από κάθε ιστορικό. Για παίγνια με πεπερασμένο ορίζοντα, που βρέθηκαν από την προς τα πίσω επαγωγή. Για απεριόριστα παίγνια ορίζοντα, χαρακτηρισμός από την άποψη της αρχής της απόκλισης ενός σταδίου.

18 Υποπαίγνια (Subgames) (1/2)
Για να ορίσουμε τυπικά την τελειότητα του υποπαίγνιου, πρώτα ορίζουμε την ιδέα ενός υποπαίγνιου. Ανεπίσημα, ένα υποπαίγνιο είναι ένα τμήμα ενός παίγνιου που μπορεί να αναλυθεί ως ένα παίγνιο από μόνο του. Θυμηθείτε ότι ένα παίγνιο G αναπαριστάται από ένα δέντρο παίγνιου. Δηλώνεται το σύνολο των κόμβων του G από την VG. Θυμηθείτε ότι το ιστορικό hk υποδηλώνει το γύρο ενός παίγνιου μετά από k στάδια. Σε ένα παίγνιο τέλειας πληροφόρησης, κάθε κόμβος x ∈ VG αντιστοιχεί σε ένα μοναδικό ιστορικό hk και αντιστρόφως. Αυτό δε συμβαίνει αναγκαστικά σε παίγνια ατελούς πληροφόρησης.

19 Υποπαίγνια (Subgames) (2/2)
Ορισμός Ένα υποπαίγνιο G΄ ενός παίγνιου σε εκτεταμένη μορφή G αποτελείται από ένα μοναδικό κόμβο και όλους τους ακόλουθούς του στο G, με την ιδιώτητα ότι αν x΄ στο VG΄ and x΄΄ ∈ h(x), τότε x΄΄ ∈ VG΄. Τα σύνολα πληροφοριών και οι αποδόσεις του υποπαίγνιου κληρονομούνται από το αρχικό παίγνιο. Ο ορισμός απαιτεί όλοι οι διάδοχοι ενός κόμβου να βρίσκονται στο subgame και ότι το subgame δεν "κόβει" κανένα σύνολο πληροφοριών. Αυτό εξασφαλίζει ότι ένα υποπαίγνιο μπορεί να αναλυθεί από μόνο του. Αυτό υπονοεί ότι ένα υποπαίγνιο ξεκινά με έναν κόμβο x με ένα σύνολο πληροφοριών singleton, δηλαδή h (x) = x. Σε παίγνια τέλειας πληροφόρησης, τα subgames συμπίπτουν με τους κόμβους ή το ιστορικό hk του στάδιου k του παιχνιδιού. Σε αυτή την περίπτωση, χρησιμοποιούμε τη σημείωση hk ή G (hk) για να υποδηλώσουμε το subgame. Ένας περιορισμός μιας στρατηγικής s στο subgame G΄ , s|G είναι το προφίλ δράσης που υποδηλώνεται από το s στο subgame G΄.

20 Υποπαίγνια: Παραδείγματα
Ανακαλέστε την έκδοση δύο επιπέδων εκτεταμένης μορφής του παίγνιου κορόνα-γράμματα. Σε αυτό το παιχνίδι, υπάρχουν δύο σωστά subgames και το ίδιο το παιχνίδι που είναι επίσης ένα subgame, και έτσι ένα σύνολο τριών subgames.

21 Τέλεια Ισορροπία Υποπαίγνιου (Subgame Perfect Equilibrium)
Ορισμός (Τέλεια Ισορροπία Υποπαίνιου) Ένα προφιλ στρατηγικών s∗ είναι μία Τέλεια Ισορροπία Nash Υποπαίγνιου (Subgame Perfect Nash equilibrium - SPE) στο παίγνιο G αν για κάθε υποπαίγνιο G΄ του G, s∗|G΄ είναι μία ισορροπία Nash του G’. H τελειότητα του υποπαίγνιου θα εξαλείψει τις απειλές που δεν είναι αξιόπιστες, καθώς αυτές δεν θα είναι ισορροπία Nash στα κατάλληλα υποπαίγνια. Στο παιχνίδι αποτροπής εισόδου, μετά την είσοδο, το F δεν είναι η καλύτερη απόκριση και επομένως δεν υπάρχει ισορροπία Nash του αντίστοιχου υποπαίγνιου. Επομένως, (Out, F) δεν είναι SPE. Πώς να βρείτε SPE; Θα μπορούσαμε να βρούμε όλες τις ισορροπίες Nash, όπως για παράδειγμα στο παιχνίδι της αποτροπής εισόδου, και στη συνέχεια να εξαλείψουμε εκείνους που δεν είναι τέλεια υποπαίγνια. Αλλά υπάρχουν πιο οικονομικοί τρόποι να το κάνετε.

22 Προς τα πίσω επαγωγή (Backward Induction) (1/2)
Η προς τα πίσω επαγωγή αναφέρεται στην εκκίνηση από τα τελευταία υποπαίγνια ενός πεπερασμένου παιχνιδιού, στη συνέχεια στην εύρεση των προφίλ στρατηγικής βέλτιστης απόκρισης ή τις ισορροπίες Nash στα υποπαίγνια, στη συνέχεια εκχωρώντας αυτά τα προφίλ στρατηγικών και τις σχετικές αποδόσεις να είναι υποπαίγνια και προχωρώντας διαδοχικά προς την αρχή του παιχνιδιού.

23 Προς τα πίσω επαγωγή (Backward Induction) (2/2)
Θεώρημα Η προς τα πίσω επαγωγή δίνει ολόκληρο το σύνολο των SPE. Απόδειξη: η προς τα πίσω επαγωγή εξασφαλίζει ότι στον περιορισμό του εν λόγω προφίλ στρατηγικής σε οποιοδήποτε υποπαίγνιο υπάρχει μία ισορροπία Nash. Η προς τα πίσω επαγωγή είναι απλή για παίγνια με τέλεια πληροφόρηση και πεπερασμένο ορίζοντα. Για παίγνια ατελούς πληροφόρησης, η προς τα πίσω επαγωγή προχωρεί παρομοίως: εντοπίζουμε τα υποπαίγνια ξεκινώντας από τα φύλλα του δέντρου του παίγνιου και το αντικαθιστούμε με μία από τις αποδόσεις ισορροπίας Nash στο υποπαίγνιο. Για παίγνια απεριόριστου ορίζοντα: θα βασιστούμε σε ένα χρήσιμο χαρακτηρισμό των τέλειων ισορροπιών του υποπαίγνιου που δίνεται από την αρχή της "απόκλισης ενός σταδίου".

24 Ύπαρξη Τέλειων Ισορροπιών Υποπαίγνιου
Θεώρημα Κάθε πεπερασμένο εκτεταμένης μορφής παίγνιο τέλειας πληροφόρησης G έχει μία τέλεια ισορροπία υποπαίγνιου (Subgame Perfect Equilibrium - SPE) καθαρής στρατηγικής. Απόδειξη: Ξεκινήστε από το τέλος με την προς τα πίσω επαγωγή και σε κάθε βήμα μια στρατηγική είναι η καλύτερη απόκριση. Κάθε πεπερασμένο εκτεταμένης μορφής παίγνιο G έχει μία τέλεια ισορροπία υποπαίγνιου (Subgame Perfect Equilibrium - SPE). Απόδειξη: Το ίδιο επιχείρημα με το προηγούμενο θεώρημα, εκτός από το ότι ορισμένα subgames δεν χρειάζεται να έχουν τέλειες (πλήρεις) πληροφορίες και μπορεί να έχουν ισορροπία μικτής στρατηγικής.