Uvod u teoriju informacija

Παρουσίαση με θέμα: "Uvod u teoriju informacija"— Μεταγράφημα παρουσίασης:

1 Uvod u teoriju informacija
Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

2 Def Informacija je saznanje preneto kroz prostor-vreme.
Signal Signal Informacija je saznanje preneto kroz prostor-vreme. Signal je fizički nosilac informacije. Informacija Signal Def Uvod u teoriju unformacija

3 Def Druge definicije informacije:
Detaljnije... Druge definicije informacije: Poruka koju je primalac prihvatio i razumeo Podatak: činjenica na osnovu koje je moguće doneti zaključak; "statistički podatak" Znanje prikupljeno studiranjem, iskustvom ili podučavanjem Mentalni stimulans Značenje Znanje Uvid Definicije informacije Def Uvod u teoriju unformacija

4 Def ... Denuncijacija Vest
Detaljnije... ... Denuncijacija Vest Saopštenje vrha partije koje se ima pročitati na svim partijskim sastancima (obično o “bezbedonosnim pitanjima”) Predanje Prezentacija Ono što auditor prikupi o organizaciji (dovoljno, kompetentno, relevantno i korisno) Definicije informacije Def Uvod u teoriju unformacija

5 Def ... Rezultat procesiranja i organizacije činjenica čime
Detaljnije... ... Rezultat procesiranja i organizacije činjenica čime se povećava količina znanja onoga ko ih prima Mogućnost zaključivanja o uzroku posmatranjem posledice (vatra, dim) Definicije informacije Def Uvod u teoriju unformacija

6 Šta je informacija? “Bilo kakva komunikacija ili predstava znanja u formi činjenica, podataka, mišljenja na bilo kom medijumu i u bilo kom obliku, uključujući tekstualni, numerički, grafički, kartografski, narativni ili audiovizualni” Numerička mera smanjenja neizvesnosti nakon prelaska nekog sistema iz jednog stanja u drugo Najkraći zapis koji treba dati Turingovoj mašini nakon čega bi ona mogla da reprodukuje datu sekvencu simbola Definicije informacije Def Uvod u teoriju unformacija

7 Def Informacija je saznanje preneto kroz prostor-vreme. Informacija
Uvod u teoriju unformacija

8 Šta je saznanje? Pod rečju “saznanje” možemo smatrati postupak uklanjanja nedoumice o stvarnom stanju nekog sistema Drugim rečima, ono što saznajemo jeste istina koja nam je pre saznanja bila nedostupna Saznanje se, u vidu informacije, može dalje preneti, tako da korisnik informacije može postati njen novi izvor Saznanje Def Uvod u teoriju unformacija

9 Uvod u teoriju informacija
Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

10 Def Teorija informacija bavi se: Definicijom mere količine informacija
Proučavanjem izvora informacija Proučavanjem prenosnog kanala Analizom granica koje optimalni sistem može dostići Konstrukcijom prenosnog sistema što boljih performansi Predmet proučavanja Def Uvod u teoriju unformacija

11 Def Pored toga, teorija informacija bavi se i:
Analizom mogućnosti zaštite tajnosti informacija Analizom mogućnosti skladištenja informacija Analizom sistema sa više korisnika koji međusobno sarađuju ili ne sarađuju Predmet proučavanja Def Uvod u teoriju unformacija

12 Claude Elwood Shannon (1916 – 2001)
Communication Engineering & Signal Processing Poznate ličnosti Claude Elwood Shannon (1916 – 2001) Američki elektroinženjer i matematičar, poznat kao “otac teorije informacija”, ali i teorije projektivanja digitalnih elektronskih kola Mala digresija o Šenonu

13 Bavio se on i drugim stvarima...
Communication Engineering & Signal Processing Poznate ličnosti Bavio se on i drugim stvarima... Mala digresija o Šenonu

14 Početak teorije informacija
Sve tehničke komunikacije u suštini su diskretne – teorema o uzorkovanju Izvor informacija generiše stohastički proces, pa se prenos informacija mora analizirati alatima teorije verovatnoće Postoji mogućnost da se prenos informacija značajno ubrza bez oštećenja, bez obzira na kanal Postoji mogućnost da se kroz dati kanal prenos informacija obavi sa proizvoljno malom verovatnoćom greške – kapacitet kanala Početak... Def Uvod u teoriju unformacija

15 Šenonov model komunikacionog sistema
Smetnje IZVOR KODER IZVORA ZAŠTITNI KODER ZAŠTITNI DEKODER DEKODER IZVORA KORISNIK + Ekvivalentni izvor Ekvivalentni korisnik Kanal bez smetnji Prenosni medijum Grb teoretičara informacija... Def Uvod u teoriju unformacija

16 Uvod u teoriju informacija
Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

17 Primer Manje verovatni događaj nosi veću količinu informacija.
Mera količine informacija 27. januara zagrmelo je nad Beogradom 28. juna zagrmelo je nad Beogradom Manje verovatni događaj nosi veću količinu informacija. PRIMER Primer Uvod u teoriju unformacija

18 Primer Informacija koju pružaju dva nezavisna događaja jednaka je
Mera količine informacija Prvi test je sledeće nedelje. Na FTN je zabranjeno pušenje. Informacija koju pružaju dva nezavisna događaja jednaka je sumi informacija koju pruža svaki od njih pojedinačno. PRIMER Primer Uvod u teoriju unformacija

19 Smanjivanjem P[a], I(a) raste. Verovatnoća dva nezavisna događaja
Aksiome 1 I 2 zadovoljava sledeća definicija: I(a) = -log(P[a]) Smanjivanjem P[a], I(a) raste. Verovatnoća dva nezavisna događaja je P[a,b]=P[a]*P[b]. Matematička definicija Formula Uvod u teoriju unformacija

20 Baza logaritama u definiciji I(a) samo menja skalu
Hartley 10 Natural Unit - NAT e Binary Digit - BIT 2 Matematička definicija Formula Uvod u teoriju unformacija

21 Primer: 1 ДИНАР Primer: Ishod eksperimenta sa jednim novčićem nosi 1 bit informacije. Matematička definicija Primer Uvod u teoriju unformacija

22 Objašnjenje... Usvojena definicija ne vodi računa o značenju koje neka informacija ima za korisnika usled njegovih predznanja (informacija koje je uskladištio pre prijema informacije o događaju a). S druge strane, ona je osnovni koncept digitalnih komunikacija. Definicije informacije Def Uvod u teoriju unformacija

23 Def Postoje i druge definicije, na primer: Fišerova informacija
KOMENTAR Postoje i druge definicije, na primer: Fišerova informacija Varijansa nezavisnih događaja ima osobinu da se sabira. f(X,θ) predstavlja gustinu raspodele slučajne promenljive X sa nepoznatim parametrom θ koji se procenjuje. Definicije informacije Def Uvod u teoriju unformacija

24 Uvod u teoriju informacija
Pauza! Predavanja: Prof. dr Vojin Šenk Animacija Branislav Popović Teorija informacija