Uvod u teoriju informacija Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

Def Informacija je saznanje preneto kroz prostor-vreme. Signal Signal Informacija je saznanje preneto kroz prostor-vreme. Signal je fizički nosilac informacije. Informacija - Signal Def Uvod u teoriju unformacija

Def Druge definicije informacije: Detaljnije... Druge definicije informacije: Poruka koju je primalac prihvatio i razumeo Podatak: činjenica na osnovu koje je moguće doneti zaključak; "statistički podatak" Znanje prikupljeno studiranjem, iskustvom ili podučavanjem Mentalni stimulans Značenje Znanje Uvid Definicije informacije Def Uvod u teoriju unformacija

Def ... Denuncijacija Vest Detaljnije... ... Denuncijacija Vest Saopštenje vrha partije koje se ima pročitati na svim partijskim sastancima (obično o “bezbedonosnim pitanjima”) Predanje Prezentacija Ono što auditor prikupi o organizaciji (dovoljno, kompetentno, relevantno i korisno) Definicije informacije Def Uvod u teoriju unformacija

Def ... Rezultat procesiranja i organizacije činjenica čime Detaljnije... ... Rezultat procesiranja i organizacije činjenica čime se povećava količina znanja onoga ko ih prima Mogućnost zaključivanja o uzroku posmatranjem posledice (vatra, dim) Definicije informacije Def Uvod u teoriju unformacija

Šta je informacija? “Bilo kakva komunikacija ili predstava znanja u formi činjenica, podataka, mišljenja na bilo kom medijumu i u bilo kom obliku, uključujući tekstualni, numerički, grafički, kartografski, narativni ili audiovizualni” Numerička mera smanjenja neizvesnosti nakon prelaska nekog sistema iz jednog stanja u drugo Najkraći zapis koji treba dati Turingovoj mašini nakon čega bi ona mogla da reprodukuje datu sekvencu simbola Definicije informacije Def Uvod u teoriju unformacija

Def Informacija je saznanje preneto kroz prostor-vreme. Informacija Uvod u teoriju unformacija

Šta je saznanje? Pod rečju “saznanje” možemo smatrati postupak uklanjanja nedoumice o stvarnom stanju nekog sistema Drugim rečima, ono što saznajemo jeste istina koja nam je pre saznanja bila nedostupna Saznanje se, u vidu informacije, može dalje preneti, tako da korisnik informacije može postati njen novi izvor Saznanje Def Uvod u teoriju unformacija

Uvod u teoriju informacija Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

Def Teorija informacija bavi se: Definicijom mere količine informacija Proučavanjem izvora informacija Proučavanjem prenosnog kanala Analizom granica koje optimalni sistem može dostići Konstrukcijom prenosnog sistema što boljih performansi Predmet proučavanja Def Uvod u teoriju unformacija

Def Pored toga, teorija informacija bavi se i: Analizom mogućnosti zaštite tajnosti informacija Analizom mogućnosti skladištenja informacija Analizom sistema sa više korisnika koji međusobno sarađuju ili ne sarađuju Predmet proučavanja Def Uvod u teoriju unformacija

Claude Elwood Shannon (1916 – 2001) Communication Engineering & Signal Processing Poznate ličnosti Claude Elwood Shannon (1916 – 2001) Američki elektroinženjer i matematičar, poznat kao “otac teorije informacija”, ali i teorije projektivanja digitalnih elektronskih kola Mala digresija o Šenonu

Bavio se on i drugim stvarima... Communication Engineering & Signal Processing Poznate ličnosti Bavio se on i drugim stvarima... Mala digresija o Šenonu

Početak teorije informacija Sve tehničke komunikacije u suštini su diskretne – teorema o uzorkovanju Izvor informacija generiše stohastički proces, pa se prenos informacija mora analizirati alatima teorije verovatnoće Postoji mogućnost da se prenos informacija značajno ubrza bez oštećenja, bez obzira na kanal Postoji mogućnost da se kroz dati kanal prenos informacija obavi sa proizvoljno malom verovatnoćom greške – kapacitet kanala Početak... Def Uvod u teoriju unformacija

Šenonov model komunikacionog sistema Smetnje IZVOR KODER IZVORA ZAŠTITNI KODER ZAŠTITNI DEKODER DEKODER IZVORA KORISNIK + Ekvivalentni izvor Ekvivalentni korisnik Kanal bez smetnji Prenosni medijum Grb teoretičara informacija... Def Uvod u teoriju unformacija

Uvod u teoriju informacija Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

Primer Manje verovatni događaj nosi veću količinu informacija. Mera količine informacija 27. januara zagrmelo je nad Beogradom 28. juna zagrmelo je nad Beogradom Manje verovatni događaj nosi veću količinu informacija. PRIMER Primer Uvod u teoriju unformacija

Primer Informacija koju pružaju dva nezavisna događaja jednaka je Mera količine informacija Prvi test je sledeće nedelje. Na FTN je zabranjeno pušenje. Informacija koju pružaju dva nezavisna događaja jednaka je sumi informacija koju pruža svaki od njih pojedinačno. PRIMER Primer Uvod u teoriju unformacija

Smanjivanjem P[a], I(a) raste. Verovatnoća dva nezavisna događaja Aksiome 1 I 2 zadovoljava sledeća definicija: I(a) = -log(P[a]) Smanjivanjem P[a], I(a) raste. Verovatnoća dva nezavisna događaja je P[a,b]=P[a]*P[b]. Matematička definicija Formula Uvod u teoriju unformacija

Baza logaritama u definiciji I(a) samo menja skalu Hartley 10 Natural Unit - NAT e Binary Digit - BIT 2 Matematička definicija Formula Uvod u teoriju unformacija

Primer: 1 ДИНАР Primer: Ishod eksperimenta sa jednim novčićem nosi 1 bit informacije. Matematička definicija Primer Uvod u teoriju unformacija

Objašnjenje... Usvojena definicija ne vodi računa o značenju koje neka informacija ima za korisnika usled njegovih predznanja (informacija koje je uskladištio pre prijema informacije o događaju a). S druge strane, ona je osnovni koncept digitalnih komunikacija. Definicije informacije Def Uvod u teoriju unformacija

Def Postoje i druge definicije, na primer: Fišerova informacija KOMENTAR Postoje i druge definicije, na primer: Fišerova informacija Varijansa nezavisnih događaja ima osobinu da se sabira. f(X,θ) predstavlja gustinu raspodele slučajne promenljive X sa nepoznatim parametrom θ koji se procenjuje. Definicije informacije Def Uvod u teoriju unformacija

Uvod u teoriju informacija Pauza! Predavanja: Prof. dr Vojin Šenk Animacija Branislav Popović Teorija informacija