Stochastic systems (2014/2015)

Course code
Marco Caliari
Academic sector
Language of instruction
Teaching is organised as follows:
Activity Credits Period Academic staff Timetable
Analisi di serie temporali 2 I sem. Federico Di Palma
Catene di Markov in tempo discreto 3 I sem. Paolo Dai Pra
Esercitazioni 1 I sem. Marco Caliari

Lesson timetable

I sem.
Activity Day Time Type Place Note
Analisi di serie temporali Wednesday 8:30 AM - 11:30 AM lesson Laboratory Alfa  
Catene di Markov in tempo discreto Monday 9:30 AM - 11:30 AM lesson Lecture Hall G  
Catene di Markov in tempo discreto Friday 2:30 PM - 4:30 PM lesson Lecture Hall G  
Esercitazioni Friday 10:30 AM - 12:30 PM lesson Laboratory Alfa from Dec 10, 2014  to Dec 11, 2014

Learning outcomes

The course is split into three parts.

Module 1 (Discrete-time Markov Chains, Prof. Dai Pra)

The course provides an introduction to discrete-time Markov chain, with finite or countable state space

Module 2 (Practice of Stochastic Systems, Dott. Caliari)

Exercises and practice on Module 1, see web page.

Module 3 (Temporal series analysis, Dott. Di Palma)

Theory for the analysis of discrete time temporal series.


Module 1

  • Introduction to finite-state Markov chain: irreducibility, periodicity, stationary distributions, classification of states. Examples.
  • Markov chain Monte Carlo. Perfect simulation.
  • Convergence to equilibrium of Markov chains. Mixing time. Ergodic Theorem. Coupling methods. Strong stationary times.
  • Martingales: optional stoppini theorem, harmonic functions.
  • Markov chains with countable state space: recurrence and transience.
Module 2
  • Approximation of invatiant measures.
  • Metropolis' algorithm
  • Queue simulation

Assessment methods and criteria

Module 1: written examination.
Module 2: oral discussion about homeworks.
Module 3: oral discussion of a given project.

The final mark is the weighted average of the three.

Teaching aids
Title Format (Language, Size, Publication date)
Modulo 3:0 - Informazioni sul corso  pdfpdf (it, 123 KB, 19/11/14)
Modulo 3:1 - Modelli: tassonomia, principali modelli lineari (ARX, MA, AR ed OE), famiglia generale di modelli, predittore ottimo  pdfpdf (it, 141 KB, 19/11/14)
Modulo 3:2 - Identificazione: definizione del problema, principali criteri (PEM, LS e ML), errore di stima  pdfpdf (it, 157 KB, 19/11/14)
Modulo 3:3 - Validazione: definizione del problema, SSR, corss-validazione ed analisi dei residui (test di cambio dei segni)  pdfpdf (it, 128 KB, 26/11/14)
Modulo 3:4 - DoE: principali segnali di ingresso (Rumore Bianco, Gradino, Rampa) e requisiti  pdfpdf (it, 72 KB, 26/11/14)
Modulo 3:Esercitazione 1 - Predizione & Simulazione  zipzip (it, 1316 KB, 19/11/14)
Modulo 3:Esercitazione 2 - Metodi ad errore di predizione  zipzip (it, 675 KB, 19/11/14)
Modulo 3:Esercitazione 3 - Validazione  zipzip (it, 1194 KB, 26/11/14)
Modulo 3:Esercitazione 4 - Simulazione esame  zipzip (it, 666 KB, 26/11/14)
Dispense/Lecture Notes Modulo 2  pdfpdf (it, 183 KB, 14/10/14)