ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ II Καθ. Πέτρος Π. Γρουμπός Διάλεξη 8η Στοχαστικά Σήματα - 1.

Παρουσίαση με θέμα: "ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ II Καθ. Πέτρος Π. Γρουμπός Διάλεξη 8η Στοχαστικά Σήματα - 1."— Μεταγράφημα παρουσίασης:

1 ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ II Καθ. Πέτρος Π. Γρουμπός Διάλεξη 8η Στοχαστικά Σήματα - 1

2 Τυχαίες Μεταβλητές και Συναρτήσεις Κατανομής τους Στις εφαρμογές, τυχαία μεταβλητή είναι μια αριθμητική ποσότητα που ορίζεται με βάση το αποτέλεσμα ενός τυχαίου πειράματος. Από μαθηματική όμως άποψη, τυχαία μεταβλητή Χ είναι μια πραγματική συνάρτηση που ορίζεται σε έναν χώρο πιθανότητας. Φυσικά θέλουμε η P (X ≤ x) να είναι καλά ορισμένη για κάθε πραγματικό αριθμό x. Με άλλα λόγια αν (Ω, Α, Ρ) είναι ο χώρος πιθανότητας στον οποίο ορίζεται η Χ, θέλουμε το Οδηγούμαστε έτσι στους παρακάτω ορισμούς: να είναι ενδεχόμενο (δηλαδή, στοιχείο της Α). Ορισμός 1. να είναι ενδεχόμενο Τυχαία μεταβλητή Χ σε έναν χώρο πιθανότητας (Ω, Α, Ρ) είναι μια πραγματική συνάρτηση Χ(ω), ω є Ω, τέτοια ώστε για κάθε - ∞ < x < ∞, το

3 Τυχαίες Μεταβλητές και Συναρτήσεις Κατανομής τους Η συνάρτηση κατανομής F μιας τυχαίας μεταβλητής Χ είναι η συνάρτηση Η συνάρτηση κατανομής είναι χρήσιμη για τον υπολογισμό διαφόρων πιθανοτήτων που σχετίζονται με την τυχαία μεταβλητή Χ. Ορισμός 2. Ένα παράδειγμα δίνεται από τον τύπο

4 Ιδιότητες των Συναρτήσεων Κατανομής Οι συναρτήσεις κατανομής ικανοποιούν κάποιες συνθήκες (δεν μπορούν όλες οι συναρτήσεις να παίξουν τον ρόλο της συνάρτησης κατανομής). Η ιδιότητα (i) έπεται άμεσα από τον ορισμό: F(x) = P(X ≤ x). Έστω Χ μία τυχαία μεταβλητή και F η συνάρτηση κατανομής της. Τότε: Για να δούμε ότι ισχύει η (ii) αρκεί να παρατηρήσουμε ότι αν x<y, τότε Συνθήκες

5 Ιδιότητες των Συναρτήσεων Κατανομής Μία συνάρτηση έχει όριο L από δεξιά (ή από αριστερά) στο x αν f (x+h) → L, καθώς, h→0, όπου το h περιορίζεται να παίρνει μόνο θετικές (αντίστοιχα, αρνητικές) τιμές. Τα όρια από δεξιά ή αριστερά, όταν υπάρχουν, συμβολίζονται με f (x+) και f (x-) αντίστοιχα. Δεν είναι δύσκολο να δείτε ότι αν η f είναι φραγμένη και είτε αύξουσα ή φθίνουσα, τότε τα f (x+) και f (x-) υπάρχουν για κάθε x. Με τις ίδιες υποθέσεις, η f έχει όρια f (-∞) καθώς x→ -∞ και f (+∞) καθώς x→ +∞. Έπεται λοιπόν ότι η συνάρτηση κατανομής F έχει όρια F (x+) και F (x-) για κάθε x, καθώς και τα όρια F (-∞) και F (+ ∞) Συνθήκες

6 Ιδιότητες των Συναρτήσεων Κατανομής Μία τυχαία μεταβλητή Χ λέγεται συνεχής τυχαία μεταβλητή αν Αν η Χ είναι συνεχής τυχαία μεταβλητή, τότε εκτός από την Έχουμε ότι Οπότε τα σύμβολα < και ≤ χρησιμοποιούνται χωρίς διάκριση σε αυτό το πλαίσιο. Ορισμός 3. Ορισμός 4. Συνάρτηση κατανομής είναι κάθε συνάρτηση F που έχει τις ιδιότητες

7 Πυκνότητες Συνεχών Τυχαίων Μεταβλητών Ορισμός 5. Συνάρτηση πυκνότητας (συνεχούς τύπου) είναι μία μη αρνητική συνάρτηση f που ικανοποιεί την Αν η f είναι συνάρτηση πυκνότητας, τότε η συνάρτηση F που ορίζεται από την.. είναι συνεχής και ικανοποιεί της προαναφερόμενες ιδιότητες.

8 Πυκνότητες Συνεχών Τυχαίων Μεταβλητών Από την Και την Έπεται ότι αν Χ είναι μία συνεχής τυχαία μεταβλητή με πυκνότητα f, τότε ή πιο γενικά ότι, αν το Α είναι μία πεπερασμένη ή άπειρη αριθμήσιμη ένωση ξένων διαστημάτων Στις περισσότερες εφαρμογές, ο ευκολότερος τρόπος για να υπολογίσουμε την πυκνότητα μίας συνεχούς τυχαίας μεταβλητής είναι να παραγωγίσουμε την Οπότε παίρνουμε, ισχύει για κάθε σημείο x στο οποίο η f είναι συνεχής.

9 Τύποι Αλλαγής Μεταβλητής Έστω Χ μία συνεχής τυχαία μεταβλητή με πυκνότητα f. Παράδειγμα. Έστω Χ συνεχής τυχαία μεταβλητή με πυκνότητα f. Ζητείται η πυκνότητα της τυχαίας μεταβλητής Y = X 2. Συμβολίζουμε με F και G τις αντίστοιχες συναρτήσεις κατανομής των Χ και Υ. Παραγωγίζοντας βλέπουμε ότι Θα συζητήσουμε μεθόδους για την εύρευση της πυκνότητας μιας τυχαίας μεταβλητής Υ που είναι συνάρτηση της Χ. Τότε G(y) = 0, αν y ≤0. Αν y >0,

10 Τύποι Αλλαγής Μεταβλητής Επομένως η Υ = Χ 2 έχει πυκνότητα g που δίνεται από την Έστω φ μία παραγωγίσιμη, γνησίως αύξουσα ή γνησίως φθίνουσα συνάρτηση σε ένα διάστημα Ι, και έστω φ(Ι) το σύνολο τιμών της φ και φ -1 η αντίστροφη συνάρτηση της φ. Έστω Χ μία συνεχής τυχαία μεταβλητή με πυκνότητα f ώστε f(x) = 0 αν x Ι. Τότε η Υ = φ(Χ) έχει πυκνότητα g που δίνεται από την g(y) = 0 αν y φ(Ι) και Θεώρημα

11 Τύποι Αλλαγής Μεταβλητής Είναι συχνά προτιμότερο να γράφουμε την παραπάνω σχέση στην ισοδύναμη μορφή

12 Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Έστω Χ και Υ δύο τυχαίες μεταβλητές που ορίζονται στον ίδιο χώρο πιθανότητας. Η από κοινού συνάρτηση κατανομής τους F ορίζεται από την Για να δούμε ότι η F είναι καλά ορισμένη παρατηρούμε ότι αφού οι Χ και Υ είναι τυχαίες μεταβλητές, τα σύνολα {ω Ι Χ(ω) ≤ x } και {ω Ι Υ(ω) ≤ y } είναι ενδεχόμενα. Η τομή τους {ω Ι Χ(ω) ≤ x, Υ(ω) ≤ y } είναι επίσης ενδεχόμενο, άρα η πιθανότητα του είναι καλά ορισμένη. Η από κοινού συνάρτηση κατανομής είναι χρήσιμη αν θέλουμε να υπολογίσουμε την πιθανότητα το ζεύγος (Χ, Υ) να ανήκει σε ένα ορθογώνιο στο επίπεδο. Θεωρούμε το ορθογώνιο Όπου a < b, c < d. Τότε,

13 Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Για να επαληθεύσουμε την παραπάνω σχέση, παρατηρούμε ότι όμοια Άρα Και η (1) ισχύει !!

14 Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Aν υπάρxει μία μη αρνητική συνάρτηση f ώστε: Οι μονοδιάστατες συναρτήσεις κατανομής F x και F y που ορίζονται από τις Λέγονται περιθώριες συναρτήσεις κατανομής των Χ και Υ. Η σχέση τους με την από κοινού συνάρτηση κατανομής F δίνεται από τις τότε η f λέγεται από κoινoύ συνάρτηση πυκνότητας (συνεχούς τύπου) για τη συνάρτηση κατανομής F ή το ζεύγος των τυχαίων μεταβλητών Χ, Υ. Αν δεν αναφέρουμε ρητά κάτι άλλο, με τον όρο συναρτήσεις πυκνότητας, εννοούμε συναρτήσεις πυκνότητας συνεχούς τύπου και όχι διακριτές συναρτήσεις πυκνότητας.

15 Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Χρησιμοποιώντας τις ιδιότητες του ολοκληρώματος και τον ορισμό του χώρου πιθανότητας μπορούμε να δείξουμε ότι η σχέση Παράδειγμα. Έστω ότι οι Χ και Υ έχουν από κοινού συνάρτηση πυκνότητας την Όπου c είναι μία θετική σταθερά την οποία θα προσδιορίσουμε στην πορεία. Ξαναγράφουμε την f στην μορφή: Aν η F έχει πυκνότητα την f, τότε μπορούμε με την βοήθεια της f να ξαναγράψουμε την (1) στην μορφή

16 Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Και παρατηρούμε ότι Κάνοντας την αλλαγή μεταβλητής u = y – x/2, βλέπουμε ότι Επομένως, Είναι τώρα σαφές ότι η fx είναι η κανονική πυκνότητα n (0, σ 2 ) με σ 2 = 4/3, οπότε Δηλαδή Επομένως:

17 Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων Έστω Χ και Υ τυχαίες μεταβλητές με από κοινού πυκνότητα την f. Πολύ συχνά έχουμε μια τυχαία μεταβλητή Ζ που ορίζεται με βάση τις Χ και Υ και θέλουμε να υπολογίσουμε την πυκνότητα της Ζ. Ας υποθέσουμε ότι η Ζ δίνεται από την Ζ = φ(Χ, Υ) όπου φ είναι μια πραγματική συνάρτηση που το πεδίο ορισμού της περιέχει το πεδίο τιμών του (Χ, Υ). Για σταθερό z το ενδεχόμενο { Ζ ≤ z} συμπίπτει με το ενδεχόμενο {(Χ, Υ) є Α z }, όπου Α z είναι το υποσύνολο του R 2 που ορίζεται από την Άρα

18 Αν μπορέσουμε να βρούμε μία μη αρνητική συνάρτηση g με την ιδιότητα Τότε η g είναι υποχρεωτικά πυκνότητα για την Z. Θα χρησιμοποιήσουμε αυτή τη μέθοδο για να υπολογίσουμε πυκνότητες για τις Χ + Υ και Υ/Χ. Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων

19 Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων Θέτουμε Ζ = Χ + Υ. Τότε το είναι το ημιεπίπεδο αριστερά της ευθείας x + y = z. Επομένως, Κάνουμε την αλλαγή μεταβλητής y = u – x στο εσωτερικό ολοκλήρωμα. Τότε Αν αλλάξουμε τη σειρά της ολοκλήρωσης. Επομένως η πυκνότητα Ζ = Χ+Υ δίνεται από την

20 Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων Στις βασικές εφαρμογές της προηγούμενης σχέσης οι Χ και Υ είναι ανεξάρτητες μεταβλητές οπότε η σχέση αυτή παίρνει την μορφή Αν Χ και Υ είναι μη αρνητικές ανεξάρτητες τυχαίες μεταβλητές, τότε f x+y(z) =0, αν z ≤ 0, και Το δεξιό μέλος μας προτείνει μία μέθοδο για να παίρνουμε νέες πυκνότητες. Αν μας δώσουν 2 μονοδιάστατες πυκνότητες f και g, η συνάρτηση h που ορίζεται από την Είναι μία μονοδιάστατη συνάρτηση πυκνότητας που λέγεται συνέλιξη των f και g. Δηλαδή, η πυκνότητα του αθροίσματος των 2 ανεξάρτητων τυχαίων μεταβλητών είναι η συνέλιξη των πυκνοτήτων τους.

21 Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων Έστω Χ και Υ ανεξάρτητες τυχαίες μεταβλητές με κανονικές πυκνότητες τις n(μ 1, σ 1 2 ) και n(μ 2, σ 2 ) αντίστοιχα. Τότε η Χ + Υ έχει την κανονική πυκνότητα: Θεώρημα Υποθέτουμε ότι μ 1 = μ 2 = 0. Τότε,

22 Πολυδιάστατες Κατανομές – Ο τύπος του Bayes Μπορούμε να αναστρέψουμε τους ρόλους των Χ και Υ και να ορίσουμε τη δεσμευμένη πυκνότητα της Χ δεδομένου ότι Υ = y μέσω του τύπου Μπορούμε να ξαναγράψουμε την προηγούμενη σχέση στην μορφή: Αφού, και

23 Μέση Τιμή Συνεχών Τυχαίων Μεταβλητών Έστω Χ συνεχής τυχαία μεταβλητή με πυκνότητα f. Λέμε ότι η Χ έχει πεπερασμένη μέση τιμή αν Και στην περίπτωση αυτή ορίζουμε τη μέση τιμή της Χ θέτοντας: Ορισμός Υποθέτουμε ότι η Χ είναι ομοιόμορφα κατανεμημένη στο (a, b). Τότε, Παράδειγμα

24 Μέση Τιμή Συνεχών Τυχαίων Μεταβλητών Υποθέτουμε ότι η Χ έχει την πυκνότητα γάμμα Γ (α, λ). Τότε Παράδειγμα

25 Μέση Τιμή Συνεχών Τυχαίων Μεταβλητών Έστω Χ 1, …, Χ n συνεχείς τυχαίες μεταβλητές με από κοινού πυκνότητα την f, και έστω Ζ τυχαία μεταβλητή που ορίζεται με την βοήθεια των Χ 1, …, Χ n από την Ζ = φ(Χ 1, …, Χ n ). Θεώρημα Και τότε: Συντελεστής συσχέτισης των Χ και Υ Τότε η Ζ έχει την πεπερασμένη μέση τιμή αν και μόνο αν

26 Δεσμευμένη Μέση Τιμή Έστω Χ και Υ συνεχείς τυχαίες μεταβλητές με από κοινού πυκνότητα την f, και ας υποθέσουμε ότι η Υ έχει πεπερασμένη μέση τιμή. Η δεσμευμένη πυκνότητα της Υ, δεδομένου ότι Χ = x ορίζεται μέσω της Για κάθε x που ικανοποιεί την 0 < fx (x) < ∞ η συνάρτηση f YIX (y/x), -∞ < y < ∞ είναι συνάρτηση πυκνότητας. Επόμενος μιλάμε για διαφορετικές ροπές αυτής της πυκνότητας. Ο μέσος της λέγεται δεσμευμένη μέση τιμή της Υ, δεδομένου ότι Χ = x και συμβολίζεται με ή xI Άρα, Όταν 0 < fx (x) < ∞

27 Δεσμευμένη Μέση Τιμή Ορίζουμε=0 αλλιώς. Στην στατιστική η συνάρτηση m που ορίζεται από την m(x) = λέγεται συνάρτηση παλινδρόμησης της Υ επί της Χ.