Teorija informacija i kodovi na grafovima

Teorija informacija i kodovi na grafovima

Uključene obrazovne institucije

Elektrotehnički fakultet / Fakultet organizacionih nauka, Univerzitet u Beogradu

Dostupan u okviru programa

Master 4.0: Napredne informacione tehnologije u digitalnoj transformaciji (izborni)

Kratki program studija: Analiza podataka (izborni)

Kratki program studija: Informacione tehnologije (izborni)

Cilj predmeta je da se izlože osnovne postavke Teorije informacija i njihova primena u cilju dostizanja teorijskih granica vezanih za obradu i prenos informacija. Posebno će biti opisani iterativni algoritmi za obradu informacija na grafovima.

Osposobljavanje studenata za razumevanje osnovnih pojmova teorije informacija, razumevanja osnovnih algoritama za kompresiju i zaštitu informacija. Pored toga će biti u mogućnosti da razumeju i primene alate teorije informacija u analizi podataka i otkrivanju znanja.

Teorijska nastava

Uvod u teoriju informacija. Entropija. Teorema o kodovanju izvora. Algoritmi za kompresiju i njihov značaj u obradi prirodnih jezika i bioinformatici. Uzajamna informacija i obrada podataka, primena u određivanju parametara Bajesovih mreža. Kulbek-Lajblerovo rastojanje i njegov značaj u analizi podataka. Pojam informacionog dobitka, formiranje stabla odlučivanja. Teorema o kanalnom kodovanju. Konačni automati i Viterbijev algoritam. Kodovi na grafovima i njihova primena u kompresiji i zaštiti informacija. Kodovi sa proverama parnosti male gustine, njihova predstava faktor grafovima. Optimizacija kodova metodama dubokog učenja i evolucijom gustina verovatnoća. Algoritam propagacije verodostojnosti i iterativno dekodovanje.

Praktična nastava

Auditorne i laboratorijske vežbe iz obrađivanih tema.