# Stochastic systems (2014/2015)

Course code
4S00254
Credits
6
Coordinator
Marco Caliari
MAT/06 - PROBABILITY AND STATISTICS
Language of instruction
Italian
Teaching is organised as follows:
Activity Credits Period Academic staff Timetable
Analisi di serie temporali 2 I sem. Federico Di Palma
Catene di Markov in tempo discreto 3 I sem. Paolo Dai Pra
Esercitazioni 1 I sem. Marco Caliari

### Lesson timetable

I sem.
Activity Day Time Type Place Note
Analisi di serie temporali Wednesday 8:30 AM - 11:30 AM lesson Laboratory Alfa
Catene di Markov in tempo discreto Monday 9:30 AM - 11:30 AM lesson Lecture Hall G
Catene di Markov in tempo discreto Friday 2:30 PM - 4:30 PM lesson Lecture Hall G
Esercitazioni Friday 10:30 AM - 12:30 PM lesson Laboratory Alfa from Dec 10, 2014  to Dec 11, 2014

### Learning outcomes

The course is split into three parts.

Module 1 (Discrete-time Markov Chains, Prof. Dai Pra)

The course provides an introduction to discrete-time Markov chain, with finite or countable state space

Module 2 (Practice of Stochastic Systems, Dott. Caliari)

Exercises and practice on Module 1, see web page.

Module 3 (Temporal series analysis, Dott. Di Palma)

Theory for the analysis of discrete time temporal series.

### Syllabus

Module 1

• Introduction to finite-state Markov chain: irreducibility, periodicity, stationary distributions, classification of states. Examples.
• Markov chain Monte Carlo. Perfect simulation.
• Convergence to equilibrium of Markov chains. Mixing time. Ergodic Theorem. Coupling methods. Strong stationary times.
• Martingales: optional stoppini theorem, harmonic functions.
• Markov chains with countable state space: recurrence and transience.
Module 2
• Approximation of invatiant measures.
• Metropolis' algorithm
• Queue simulation

### Assessment methods and criteria

Module 1: written examination.
Module 2: oral discussion about homeworks.
Module 3: oral discussion of a given project.

The final mark is the weighted average of the three.

 Title Format (Language, Size, Publication date) Modulo 3:0 - Informazioni sul corso pdf (it, 123 KB, 19/11/14) Modulo 3:1 - Modelli: tassonomia, principali modelli lineari (ARX, MA, AR ed OE), famiglia generale di modelli, predittore ottimo pdf (it, 141 KB, 19/11/14) Modulo 3:2 - Identificazione: definizione del problema, principali criteri (PEM, LS e ML), errore di stima pdf (it, 157 KB, 19/11/14) Modulo 3:3 - Validazione: definizione del problema, SSR, corss-validazione ed analisi dei residui (test di cambio dei segni) pdf (it, 128 KB, 26/11/14) Modulo 3:4 - DoE: principali segnali di ingresso (Rumore Bianco, Gradino, Rampa) e requisiti pdf (it, 72 KB, 26/11/14) Modulo 3:Esercitazione 1 - Predizione & Simulazione zip (it, 1316 KB, 19/11/14) Modulo 3:Esercitazione 2 - Metodi ad errore di predizione zip (it, 675 KB, 19/11/14) Modulo 3:Esercitazione 3 - Validazione zip (it, 1194 KB, 26/11/14) Modulo 3:Esercitazione 4 - Simulazione esame zip (it, 666 KB, 26/11/14) Dispense/Lecture Notes Modulo 2 pdf (it, 183 KB, 14/10/14)