Introduzione ai codici. Principali caratteristiche e tipologie.
Misure informative e informazione intrinseca.
Teoremi di Kraft e di McMillan.
Codifichea di Huffmann. Teorema di ottimalità .
Codifica di Shannon-Fano-Elias e codifica Arithmetic.
Algoritmi di compressione LZ e BW.
Entropia di una sorgente semplice. Entropie congiunte, relativa e condizionale.
Lemma del logaritmo. Primo teorema di Shannon.
Sorgenti stocastiche e stazionarie. Teorema di stazionarieta'.
Sorgenti markoviane ed entropie linguistiche.
Teorema dell'equipartizione asintotica. Sorgenti ergodiche.
Canali discreti con rumore. Mutua informazione e capacità .
Secondo teorema di Shannon. Codici autocorrettori (cenni).
Entropie continua. Entropia della distribuzione normale. Teorema di Maxwell.
Segnali, serie e trasformata di Fourier.
Teorema del campionamento (Nyquist-Wiener-Shannon).
Canale gaussiano e terzo teorema di Shannon.
Principi informazionali dei metodi crittografici.
Complessità algoritmica. Eleganza.
Testualizzazione e Recupero dell'informazione.