ΗΥ430 Ψηφιακες Επικοινωνιες Μαθημα 2 Περιληψη Θεωριας Πιθανοτητων

Σπουδαιοτητα των στοχαστικων διαδικασιων Οι τυχαιες διαδικασιες και μεταβλητες μας επιτρεπουν να χειριζομαστε ποσοτητες και σηματα που δεν τα ξερουμε εκ των προτερων Τα δεδομενα και τα σηματα που μεταδιδονται μεσα απο τα τηλεπικοινωνιακα συστηματα θεωρουνται τυχαια. Ο θορυβος, οι παρεμβολες, οι παραμορφωσεις και οι διαλειψεις (fading) που εισαγονται απο το καναλι επισης προσομοιωνονται με στοχαστικες διαδικασιες. Ακομα και το κριτηριο αξιοπιστιας μεταδοσης (BER- Bit Error Rate ή πιθανοτητα σφαλματος bit) εκφραζεται με πιθανο-θεωρητικους ορους

Τυχαια γεγονοτα Η μεταδοση ενος bit, π.χ., ειναι ενα τυχαιο πειραμα Οταν εκτελουμε ενα τυχαιο πειραμα, μπορουμε να χρησιμοποιη-σουμε συμβολα της θεωριας συνολων για να περιγραψουμε τα δυνατα αποτελεσματα. Παραδειγμα: Ριχνουμε ενα ζαρι. Δυνατα αποτελεσματα S = {1,2,3,4,5,6} Γεγονος ειναι καθε υποσυνολο δυνατων αποτελεσματων: Α={1,2} Συμπληρωματικο γεγονος του Α ειναι το: = S –A = {3,4,5,6} Το συνολο ολων των αποτελεσματων ειναι το σιγουρο γεγονος S ή ο χώρος αποτελεσμάτων ή ο χωρος δειγματων Το κενο γεγονος ειναι το:  Η μεταδοση ενος bit, π.χ., ειναι ενα τυχαιο πειραμα

Αξιωματα της θεωριας πιθανοτητων Πιθανοτητα Η πιθανοτητα P(A) ειναι ενας αριθμος ο οποιος μετρα την πιθανοφανεια του γεγονοτος Α. Στον χωρο δειγματων S={1,2,3,4,5,6} του προηγουμενου παραδειγματος αν Α={1,2} τοτε Ρ(Α) = 1/3 και Ρ({αρτιο αποτελεσμα})=1/2 Αξιωματα της θεωριας πιθανοτητων Ουδεν γεγονος εχει αρνητικη πιθανοτητα: P(A)0 P(A)1 και { P(A) = 1  A = S}. Αν Α και Β ειναι δυο ξενα γεγονοτα δηλ. αν ΑΒ= τοτε P(A  B) = P(A) + P(B). Oλες οι αλλες ιδιοτητες των πιθανοτητων ειναι απόρροια αυτων των αξιωματων

Διαγραμματα Venn

Σχεσεις μεταξυ τυχαιων γεγονοτων Η απο κοινου πιθανοτητα των Α και Β ειναι η πιθανοτητα να συμβουν και τα δυο γεγονοτα: P(A,B) = P(A  B) Υπο συνθηκη πιθανοτητα P(A|B) = P(A,B) / P(B) Είναι η πιθανοτητα οτι θα συμβει το Α δεδομενου οτι συνέβη το Β Ετσι P(A,B) = P(A|)P(B) = P(Β|Α)P(Α) Στατιστικη ανεξαρτησια: Τα γεγονοτα Α και Β ειναι στατιστικα ανεξαρτητα αν: P(A,B) = P(A) P(B) Αν τα Α και Β ειναι ανεξαρτητα τοτε: P(A|B) = P(A) και P(B|A) = P(B) Παραδειγμα: Τα αποτελεσματα της ριψης δυο ζαριων ή τα αποτελεσματα της ριψης του ιδιου ζαριου δυο φορες (εκτος αν είναι πειραγμενο…)

Παραδειγμα στατιστικης εξαρτησης Εστω S o χωρος αποτελεσματων του πειραματος ριψης του ζαριου. Θεωρειστε τα γεγονοτα Α={3} και Β={1,2,3,6} Ρ(Α)=1/3 και Ρ(Β)=4/6=2/3 Ρ(Α|Β) = 1/4 = Ρ(Α,Β)/Ρ(Β) = Ρ(Α,Β)/(2/3)   Ρ(Α,Β) = (1/4)(2/3) = 1/6 Οποτε Ρ(Α)Ρ(Β) = (1/3)(2/3) = 2/9  1/6 = Ρ(Α,Β) Δηλαδη τα γεγονοτα Α και Β είναι εξαρτημενα Ποση ειναι η Ρ(Β|Α) ?? Τι εξαρτηση εχουν τα γεγονοτα Γ={4} και Β ?

1ο Παραδειγμα στατιστικης ανεξαρτησιας Θεωρειστε τον χωρο Ω που αποτελειται απο τα 52 αποτελεσματα του τυχαιου πειραματος που ειναι η επιλογη ενος φυλλου μιας τραπουλας . Τα γεγονοτα Α={επιλογη νταμας} και Β={επιλογη κοκκινου φυλλου} ειναι ανεξαρτητα διοτι: Ρ(Α)=4/52=1/13, Ρ(Β) = 26/52=1/2 Ρ(Α,Β) = Ρ(επιλογη κοκκινης νταμας) = 2/52 =1/26 οποτε Ρ(Α,Β) = Ρ(Α)Ρ(Β) Επισης Ρ(Α|Β)=2/26=1/13=Ρ(Α), και Ρ(Β|Α)=2/4=1/2=Ρ(Β)

2ο Παραδειγμα στατιστικης ανεξαρτησιας Στον χωρο S = {1,2,3,4,5,6} των αποτελεσματων της ριψης ζαριου οριζουμε τα γεγονοτα Α={i < 3} και Β= {i = αρτιος}. Ειναι Ρ(Α)=2/6=1/3 και Ρ(Β)=3/6 = 1/2 Η Ρ(Α,Β) = Ρ(i=2) = 1/6 = Ρ(Α) Ρ(Β) Επισης Ρ(Α|Β)= 1/3 =Ρ(Α) και Ρ(Β|Α) = 1/2 = Ρ(Β) Σημειωτεον οτι το γεγονος Γ = {i  3} δεν ειναι ανεξαρτητο του Β (γιατι??)

Θεωρημα Ολικης Πιθανοτητας Αν τα γεγονοτα Εi, i=1,2,…n αποτελουν ένα διαμερισμο του χωρου αποτελεσματων S, δηλαδη αν: ΚΑΙ, αν για το γεγονος Α εχουμε τις υπο συνθηκη πιθανοτητες Ρ(Α|Εi), i=1,2,…,n τοτε μπορουμε να βρουμε την πιθανοτητα Ρ(Α) μεσω του θεωρηματος της ολικης πιθανοτητας

Παραδειγμα εφαρμογης του Θεωρηματος της Ολικης Πιθανοτητας Θεωρειστε τον χωρο αποτελεσματων S που προκυπτει από το ρίξιμο ενός ζαριου, και τα γεγονοτα Εi ={i}. Τα Εi αποτελουν ένα διαμερισμο του χωρου S Θεωρειστε το γεγονος Α={αρτιο αποτελεσμα} και εστω Q το αποτελεσμα ενός πειραματος. Η Ρ(Α) βρισκεται ως εξης:

Κανονας του Bayes Ο κανονας του Bayes δινει την υπο συνθηκη πιθανοτητα Ρ(Εi|Α) αν ξερουμε τις υπο συνθηκη πιθανοτητες Ρ(Α|Εi) μεσω της σχεσης: Παραδειγμα: Για το προηγουμενο παραδειγμα βρισκουμε την Ρ(Ε2|Α) ως εξης

Ασκηση Σε μια πολη τρεις μαρκες αυτοκινητων, A, B and C κατεχουν το 20%, 30% και 50% της αγορας, αντιστοιχα. Η πιθανοτητα να χρειασθει ενα αμαξι επισκευη τον πρωτο χρονο κυκλοφοριας του ειναι 5%, 10% και 15%, αντιστοιχα. (a) Ποια ειναι η πιθανοτητα επισκευης ενος αμαξιου τον πρωτο χρονο κυκλοφοριας του?? (b) Αν ενα αμαξι εχει αναγκη επισκευης τον πρωτο χρονο ποια ειναι η πιθανοτητα να ειναι μαρκας Α?

Απαντηση

Εφαρμογη στις επικοινωνιες Μεταδιδονται σηματα Εi με πιθανοτητες P(Ei). Στον Δεκτη λαμβανεται το σημα R. Απο μετρησεις εχουμε βρει τις πιθανοτητες Ρ(R|Ei). Μας ενδιαφερουν οι πιθανοτητες P(Ei|R). Πως βρισκουμε τις P(Ei|R)?? Κανονας Bayes

Τυχαιες Μεταβλητες (rv - random variables) Μια τυχαια μεταβλητη X(s) ειναι μια πραγματικη συναρτηση με πεδιο ορισμου τον χωρο των γεγονοτων S, s  S. Μια τυχαια μεταβλητη μπορει να ειναι: Διακριτη, ή Συνεχης Μια τυχαια μεταβλητη μπορει να περιγραφεί: Με το συμβολο της, π.χ. το Χ (παντοτε κεφαλαίο) Με την περιοχη τιμων της: π.χ. Χ   Με την περιγραφη της κατανομης των τιμων της x (οι τιμες που παιρνει η μεταβλητη συμβολιζονται με μικρο γραμμα) Η σχεση Χ=x συμβολιζει το ότι η τυχαια μεταβλητη Χ πηρε την τιμη x

Συναρτηση κατανομης πιθανοτητας (PDF) Ονομαζεται και συναρτηση αθροιστικης κατανομης (Cumulative Distribution Function – CDF) Ορισμος: FX(x) = F(x) = P(X  x) = P[sS: X(s)x] Ιδιοτητες: Η F(x) ειναι μονοτονα μη αυξανομενη δηλαδη F(a)≤ F(b) αν a ≤ b F(-) = 0 F() = 1 P(a < X  b) = F(b) – F(a) Μολονοτι η CDF περιγραφει πληρως την κατανομη τιμων μιας τυχαιας μεταβλητης, χρησιμοποιειται συνηθεστερα η pdf ή pmf

Συναρτηση Πυκνοτητας Πιθανοτητας (pdf) Ορισμος: fX(x) = dFX(x) /dx ή f(x) = dF(x) /dx Η pdf παριστανει τον ρυθμο αυξησης της CDF ή το ποσο πιθανο ειναι να λαβει η X την τιμη x Ιδιοτητες: f(x)  0   f(x)dx = 1, - b P(a < X  b) =  f(x)dx = F(b) – F(a) x a F(x) =  f(s)ds -∞

Αναμενόμενες τιμες (Expected values) Οι πιο σπουδαιες ειναι:  Η μεση τιμη: Ε(Χ) = mX =  xf(x)dx -   H μεταβλητοτητα σΧ2 = E([X – mX ]2) =  (x – mX )2 f(x)dx -  H σΧ ονομαζεται τυπικη αποκλιση Ο υπολογισμος της αναμενομενης τιμης γινεται με αναλογο τροπο και για οποιαδηποτε συναρτηση g(X) της Χ  Ε[g(X)] =  g(x)f(x)dx

Ιδιοτητες μεσης τιμης και μεταβλητοτητας Η μεση τιμη είναι ένα συνηθως ένα μετρο της μεσης τιμης των τιμων που παρνει η r.v. σε μεγαλο αριθμο πειραματων Ε[cX] = cE[X] E[c] = c E[X+c] = E[X]+c οπου c = σταθερα H μεταβλητοτητα είναι ένα μετρο της διασπορας των τιμων της r.v. γυρω από την μεση τιμη σΧ2 = VAR[X] = Ε[(Χ – mX)2] VAR(cX) = c2 VAR(X) VAR(c) = 0 VAR(X+c) = VAR (X)

Ανισοτητα Chebyshev Εστω Χ τυχαια μεταβλητη με μεση τιμη mX και μεταβλητοτητα σΧ2 Τοτε για καθε δ, P(|X - mX |  δ)  σΧ2 / δ2 Το μεγεθος της μεταβλητοτητας καθοριζει το τροπο που κατανεμονται οι τιμες της γυρω απο την μεση τιμη της Το οριο που καθοριζεται απο την ανισοτητα Chebyshev χρησιμοποιειται για τον προσδιορισμο των διαστηματων εμπιστοσυνης στις τιμες μιας προσομοιωσης.

1ο Παραδειγμα: Ομοιομορφη κατανομη  0.1, 0  x  10 f(x) =   0, αλλου Με τη μεταβλητη αυτή παριστανουμε την αγνωστη φαση ενός ημιτονοειδους σηματος μεταξυ 0 και 2π ή –π και π f(x) 0.1 10 x Μια συνεχης τυχαια μεταβλητη εχει ομοιομορφη κατανομη μεταξυ a και b, αν παιρνει τιμες με ιση πιθανοτητα σε διαστηματα με ισο μηκος.

1o Παραδειγμα (συνεχεια) Μεση τιμη Μεταβλητοτητα Υπολογισμος πιθανοτητας:

2ο Παραδειγμα: Gaussian pdf Κανονικη κατανομη N(mX, σΧ2) σ N(0,1) Η πιο σπουδαια και κοινη rv. Ο θερμικος θορυβος εχει κανονικη κατανομη Μια Gaussian τυχαια μεταβλητη καθοριζεται πληρως απο την μεση τιμη και την μεταβλητοτητα της (ή την τυπικη αποκλιση).

Ενα τηλεπικοινωνιακο συστημα με Gaussian θορυβο S  {a} R=S+N < R 0?? > Πομπος Δεκτης + N= Ν(0,σ2) Η πιθανοτητα να κανει σφαλμα ο δεκτης όταν στελνεται το S=-a (οποτε το λαμβανομενο σημα είναι το R=-a+N το οποιο εχει κατανομη Ν(-a,σn) ) ειναι:

Η συναρτηση σφαλματος Q-function Η συναρτηση σφαλματος ειναι ο τυπικος τροπος εκφρασης της πιθανοτητας σφαλματος σε κλειστη μορφη N(0,1) Aριθμητικος υπολογισμος της συναρτησης Q: για x  3

Η συναρτηση Q και η προσέγγιση της x

3ο Παραδειγμα- Rayleigh pdf Εστω οπου οι Χ και Υ ειναι Gaussian r.v. με μεση τιμη 0 και μεταβλητοτητα σ2 H R ειναι μια τυχαια μεταβλητη με κατανομη Rayleigh H Rayleigh pdf χρησιμοποιειται συχνα για την προσομοιωση του φαινομενου των διαλειψεων (fading) οταν δεν εχουμε σημα οπτικης επαφης σε μια ασυρματη συνδεση αλλα σηματα απο πολλαπλες διοδευσεις

Η Rayleigh pdf

Συναρτησεις μαζας πιθανοτητας Probability Mass Functions (pmf) Μια διακριτη τυχαια μεταβλητη μπορει να περιγραφεί με pdf αν επιτρεψουμε την χρηση κρουστικων συναρτησεων Συνηθως ομως χρησιμοποιουμε τις συναρτησεις μαζας πιθανοτητας (pmf): p(x) = P(X = x) Εχει ιδιοτητες αντιστοιχες της pdf, δηλ. p(x)  0 Σ p(x) =1 P(a  X  b) =

Μεσες τιμες διακριτων τυχαιων μεταβλητων Για τις διακριτες τυχαιες μεταβλητες εχουμε:

Παραδειγμα #1: Δυαδικη κατανομη Χρησιμοποιειται συχνοτατα για την παρασταση δυαδικων δεδομενων Μεση τιμη: Μεταβλητοτητα: Αν οι Χ και Υ ειναι ανεξαρτητες δυαδικες τυχαιες μεταβλητες, τοτε pXY(0,0) = pX(0) pY(0) = ½ ½ =1/4

Παραδειγμα #2: Δυωνυμικη κατανομή Αν οπου οι {Χi, i=1,2,…,n} ειναι ανεξαρτητες δυαδικες τυχαιες μεταβλητες με: τοτε η κατανομη της Y ειναι Μεση τιμη: mY = n p Μεταβλητοτητα:

Παραδειγμα #2: Δυωνυμικη κατανομή (2) Υποθεστε οτι εκπεμπουμε μια ακολουθια απο 31 bits κωδικοποιημενη με κωδικα διορθωσης εως και 3 λαθων Αν η πιθανοτητα σφαλματος ενος bit ειναι p=0.001 ποια ειναι η πιθανοτητα να ληφθεί η ακολουθια με σφαλμα?? P(εσφαλμενη ακολουθια) = 1- P(ορθη ληψη ακολουθιας)= Αν δεν χρησιμοποιηθει ο κωδικας διορθωσης λαθων η πιθανοτητα σφαλματος ειναι: 1 – (1-0.001)31 = 0.0305 = 3  10-2

Πολλαπλες τυχαιες μεταβλητες Εστωσαν οι r.v. Χ και Y που οριζονται στον ιδιο χωρο δειγματων S. H από κοινου αθροιστικη συναρτηση κατανομης (joint cdf) οριζεται ως: FX,Y(x,y) = P(X ≤ x, Y ≤ y) = Ρ{s S | X(s) ≤ x, Y(s) ≤ y} ενώ η από κοινου συναρτηση κατανομης πιθανοτητας (joint pdf) οριζεται ως:

Πολλαπλες τυχαιες μεταβλητες (συνεχ.) Οι οριακες (marginal) CDFs και pdfs των Χ και Y είναι οι: Μπορουμε επισης να ορισουμε την υπο συνθηκη (conditional) pdf fX|Y(x|y) = fX,Y(x,y)/fΥ(y) ενώ για στατιστικα ανεξαρτητες r.v. εχουμε fX,Y(x,y) = fX(x) fY(y) Ομοιως μπορουμε να ορισουμε συναρτησεις των δυο μεταβλητων g(Χ,Υ) και να υπολογισουμε τις μεσες τιμες τους, όπως είναι η συμμεταβλητοτητα (covariance) COV(X,Y) = σΧ,Υ2 = Ε[(Χ-mX)(Y-mY)] = Ε[ΧΥ]-mXmY Αν οι Χ και Υ ειναι ανεξαρτητες τοτε σΧ,Υ2 = 0 To αντιστροφο δεν ισχυει παρα μονο για Gaussian r.v.

Από κοινου Gaussian μεταβλητες Η από κοινου pdf δυο από κοινου Gaussian μεταβλητων είναι η: οπου σΧ,Υ2 = Ε[(Χ-mX)(Y-mY)] αν σΧ,Υ = 0 τοτε fX,Y(x,y) = fX(x)fY(y) => X,Y ανεξαρτητες δηλ. για Gaussian r.v ανεξαρτησια  μηδενικη συσχετιση Ο τυπος μπορει να επεκταθει σε n από κοινου Gaussian μεταβλητες

Αθροισματα τυχαιων μεταβλητων Αν εχουμε μια ακολουθια n τυχαιων μεταβλητων (Χ1, Χ2,…,Χn) με βασικα τις ιδιες ιδιοτητες, το μεσο αθροισμα τους αναμενεται να εχει λιγωτερο τυχαια συμπεριφορα από την κάθε μεταβλητη. Ο Νομος των Μεγαλων Αριθμων και το Κεντρικο Οριακο Θεωρημα αποτελουν τηνν μαθηματικη διατυπωση αυτου του γεγονοτος.

Ασθενης Νομος των Μεγαλων Αριθμων Αν οι τυχαιες μεταβλητες Χ1, Χ2,…,Χn είναι ασυσχετιστες με μεσες τιμες ισες με mX και μεταβλητοτητες ισες με σΧ2 <∞ τοτε για κάθε ε > 0 εχουμε Δηλαδη ο μεσος ορος του αθροισματος των μεταβλητων συγκλινει (ως προς την πιθανοτητα) στην κοινη μεση τιμη

Κεντρικο οριακο θεωρημα Το Κεντρικο Οριακο Θεωρημα (Central Limit Theorem – CLT) περιγραφει την κατανομη της μεσης τιμης του αθροισματος μεγαλου πληθους τυχαιων μεταβλητων. Οι ανεξαρτητες τυχαιες μεταβλητες Χ1, Χ2,..., ΧΝ εχουν την ιδια pdf με μεση τιμη 0 και μεταβλητοτητα σ Οριζουμε την r.v. Καθως το Ν   η κατανομη της Υ τεινει προς την κανονικη (Gaussian) κατανομη Ν(0,σ2/Ν)) Στην πραξη, το φαινομενο γινεται εμφανες ακομα και για Ν=10 Ο θερμικος θορυβος προκαλειται απο την τυχαια κινηση των (σχεδον απειρων το πληθος) ηλεκτρονιων. Κατα συνεπεια μπορει να θεωρηθει με μεγαλη ακριβεια οτι η κατανομη του θερμικου θορυβου ειναι Gaussian.

Παραδειγμα για το κεντρικο οριακο θεωρημα μ=0, σ=1 Ν=2 Ν=5 N=10 Ν=10

Παραδειγμα http://www.jhu.edu/virtlab/stats/Stats.html