Information Theory (2004/2005)

Course partially running

Course code
4S00039
Name of lecturer
Vincenzo Manca
Coordinator
Vincenzo Manca
Number of ECTS credits allocated
5
Other available courses
Academic sector
INF/01 - INFORMATICS
Language of instruction
Italian
Period
First four-month term for the second year onwards dal Sep 27, 2004 al Nov 26, 2004.

Lesson timetable

First four-month term for the second year onwards
Day Time Type Place Note
Tuesday 2:30 PM - 4:30 PM lesson Lecture Hall C  
Thursday 8:30 AM - 11:30 AM lesson Lecture Hall C  

Learning outcomes

Il corso intende presentare i concetti fondamentali della teoria dell'Informazione secondo Shannon e i suoi risvolti piu' recenti relativi alla compressione, alla sicurezza e alla complessita'.

Syllabus

Introduzione ai codici. Principali caratteristiche e tipologie.
Misure informative e informazione intrinseca.
Teoremi di Kraft e diÊ McMillan.
Codifichea diÊ Huffmann. Teorema di ottimalita'.
Codifica di Shannon-Fano-Elias e codifica Arithmetic.
Algoritmi di compressione LZ e BW.
Entropia di una sorgente semplice. Entropie congiunte, relativa e condizionale.
Lemma del logaritmo. Primo teorema di Shannon.
Sorgenti stocastiche e stazionarie. Teorema di stazionarieta'.
Sorgenti markoviane ed entropie linguistiche.
Teorema dell'equipartizione asintotica. Sorgenti ergodiche.
Canali discreti con rumore. Mutua informazione e capacita'.
Secondo teorema di Shannon. Codici autocorrettori (cenni).
Entropie continua. Entropia della distribuzione normale. Teorema di Maxwell.
Segnali, serie e trasformata di Fourier.
Teorema del campionamento (Nyquist-Wiener-Shannon).
Canale gaussiano e terzo teorema di Shannon.
Principi informazionali dei metodi crittografici.
Complessita' algoritmica. Eleganza.
Testualizzazione e Recupero dell'informazione.

Assessment methods and criteria

Esame orale.

Teaching aids

Documents