TEORIA DELLA STIMA E DELLA DECISIONE
cod. 16626

Anno accademico 2010/11
1° anno di corso - Primo semestre
Docente
Settore scientifico disciplinare
Telecomunicazioni (ING-INF/03)
Field
A scelta dello studente
Tipologia attività formativa
Affine/Integrativa
72 ore
di attività frontali
9 crediti
sede:
insegnamento
in - - -

Obiettivi formativi

Il corso si propone di presentare i fondamenti della teoria della stima e della decisione.

Prerequisiti

- - -

Contenuti dell'insegnamento

Rappresentazione dei segnali in forma discreta. Teoria della stima--Modello del procedimento di stima. Stima di parametri deterministici: criterio ML. Stima di parametri aleatori: criterio di Bayes. Disuguaglianza di Cramer-Rao. Stima lineare ottima in media quadratica. Filtraggio e predizione. Filtro di Wiener. Filtro di Kalman.Teoria della decisione--Modello di decisione statistica. Criterio di Bayes, criterio MAP, criterio di Neyman-Pearson, criterio Minimax. Decisione in presenza di rumore additivo gaussiano bianco. Statistica sufficiente. Filtro adattato. Decisione in presenza di rumore additivo gaussiano colorato: teorema di reversibilita'. Decisione in presenza di parametri stocastici.

Programma esteso

LEZIONE 1:
Prima ora: Organizzazione del Corso, Obiettivi, Testi, modalità esami. Descrizione panoramica del corso, motivazioni, applicazioni. Seconda ora: [libro TSA Bononi par. 8.4] richiami di teoria della probabilità, regola di Bayes discreta e continua, teorema prob totale discreta/continua, doppio condizionamento. Esercizio su verifica delle ipotesi [par. 8.5 libro TSA, fino a pag 254].

LEZIONE 2:
Prima ora: completato esercizio su verifica ipotesi. Seconda ora: teoria del Test di Bayes (a minimo rischio).

LEZIONE 3:
Prima ora: esercizio sul test di Bayes (distrib. laplaciane) Seconda ora: teoria del test MiniMax.

LEZIONE 4:
Prima ora: esercizio su minimax. Seconda ora: test di Neyman Pearson con esempio.

LEZIONE 5:
Prima ora: proprietà analitiche della ROC. Test per VA discrete: la randomizzazione. Seconda ora: Esercizio di ripasso dei test di Bayes, Minimax, Neyman-Pearson.

LEZIONE 6:
Prima ora: Multiple hypothesis testing, impostazine Bayesiana. Test MAP e ML. Zone di decisione e confini tra zone: Esempi in R^1 e R^2. Seconda ora: Esempio: 3 ipotesi di segnale -A,0,A equiprobabili in rumore AWGN con n campioni: regola di Bayes (ML) basata sulla statistica sufficiente "media campione".

LEZIONE 7:
Prima ora: Finito esempio a 3 ipotesi con calcolo della probabilità di errore. Cenni am minimax in ipotesi multiple. Statistche sufficienti: introduzione. Seconda ora: Teorema di fattorizzazione (senza dim.), teorema dell'irrilevanza, con esempio dettagliato. Teorema della reversibilita'. Inizio riassunto di risultati noti sui vettori Gaussiani: PDF congiunta, introduzione alle MGF/CF.

LEZIONE 8:
Prima ora: Riassunto risultati noti sui vettori Gaussiani: MGF Gaussiana, statistiche del 4 ordine dal teorema dei momenti, dim della Gaussianità di trasf. lineari basata sulla MGF. Esempi di vettori Gaussiani: Canale con evanescenza. Seconda ora: A: Test MAP con segnali Gaussiani. B: Canale con rumore additivo Gaussiano. Le Zone di Decisione sono iperpiani.

LEZIONE 9:
Prima ora: Esempi di zone di decisione. Decisione ottima su segnali tempo-continuo: motivazione per rappresentazione discreta dei segnali. Seconda ora: Rappresentazione discreta: definizioni. prodotto scalare, norma, distanza, indipendenza lineare. Basi ortonormali e coordinate rispetto ad esse.

LEZIONE 10:
Procedimento di Gram Schmidt. Esempio dettagliato. operazioni sui segnali e duali operazioni sulle immagini.

LEZIONE 11:
Cambi di base e matrice unitaria del cambio. Matrici ortogonali: rotazioni e riflessioni. Principio di ortogonalita'. Teorema della proiezione. interpretazione del procedimenti Gram-Schmidt come proiezioni successive. Basi ON complete: motivazioni e definizione.

LEZIONE 12:
Prima ora: Esercizi: 1. prodotto di matrici unitarie è unitario. 2. matrice unitaria preserva la norma di vettori. Matrici di proiezione, autovettori, autovalori, decomposizione spettrale. Proprieta'. Seconda ora: Esempi di basi complete: lo spazio delle funzioni limitate in banda, calcolo coefficienti della serie, teorema del campionamento, verifica ON della base. Altre basi complete: Legendre, Hermite, Laguerre.

LEZIONE 13:
Rappresentazione discreta di processo stocastico n(t). Media e covarianza dei coeff. del processo. Prorietà delle matrici di covarianza per vettori aleatori: Hermitianità e proprietà relative. Sbiancamento del vettore. Paralello con lo sbiancamento del processo n(t) tramite base ON opportuna: Thm di Karhunen-Loeve (KL). Enunciato del Thm di Mercer. Basi di KL.

LEZIONE 14:
Riassunto matrici utili: Normali e sottoclassi: unitarie, hermitian, skew-hermitian. Se n(t) bianco, ogni base ON è KL. Modulazione numerica. Esempio: QPSK. Demodulazione numerica a correlatori e a filtri adattati.

LEZIONE 15:
Prima ora: Proprietà del filtro adattato: max SNR, ragione fisica del picco a T. Seconda ora: Ritorno al problema di test ipotesi M-rie con segnali tempo-continui: struttura del ricevitore. Con rumore bianco, irrilevanza delle componenti fuori base segnali. Struttura RX ottimo MAP in AWGN. Basis detector. Signal detector.

LEZIONE 16:
Esempi di RX MAP e prestazioni Prima ora: RX per segnali QPSK e calcolo Pe. Seconda ora: RX per segnali binari qualunque, basis detector, reduced complexity signal detector. Calcolo Pe.

LEZIONE 17:
Prima ora: Tecniche di calcolo Pe: invarianza rotazionale in AWGN e traslazioni. Baricentro per minima energia. Seconda ora: Calcolo Pe per segnalazione binaria. Confronti tra segnali antipodali e ortogonali. Inizio calcolo Pe in una 16-QAM.

LEZIONE 18:
Prima ora: Fine calcolo Pe in 16-QAM. Seconda ora: Calcolo Pe in segnalazione m-aria ortogonale. Fino a impostazione calcolo Bit error rate.

LEZIONE 19:
Calcolo BER in segnalazione M-aria ortogonale. Esempio: M-FSK. Banda occupata. Limite per M-> infinito e connessione con la capacità di canale di Shannon. Note sul Simplex. Calcolo BER per QPSK: mapping naturale vs. mapping Gray.

LEZIONE 20:
Ulteriori note sul mapping Gray. Calcolo approssimato BER: union upper bound, minimum distance bound, nearest-neighbor bound. Lower bound. Esempio: M-PSK. Ripasso conversioni cartesiane polari, Per X,Y nornali zero-mean, R,Q sono indipendenti Rayleigh e Uniforme.

LEZIONE 21:
Per X,Y nornali non-zero-mean, R,Q sono Rice e Bennet. Proprietà di tali PDF. Uso della Bennet per il calcolo esatto della prob. di errore nel M-PSK. Test delle ipotesi composite: introduzione . Segnali parzialmente noti in AWGN.

LEZIONE 22:
Segnali parzialmente noti in AWGN. Strategia MAP. Applicazione ai segnali passabanda incoerenti. Strutture del ricevitore ottimo. Ricevitore OOK e inizio calcolo prestazioni.

LEZIONE 23:
Reinterpretazione del ricevitora ottimo incoerente per segnali passabanda usando gli inviluppi complessi. Fine del calcolo delle prestazioni del ricevitore incoerente OOK e analisi comparativa della BER con altri formati binari coerenti.

LEZIONE 24:
Ricezione con rumore Gaussiano colorato. Impostazione karhunen loeve. Cenni al filtro sbiancante analogico. Teorema della reversibilità e sbiancamento del segnale campionato. esempio 1: Sbiancamento tramite trasformazione unitaria che allinea gli autovettori della matrice di correlazione alla base canonica. Interpretazione geometrica con gli ellissoidi equi-PDF. Esempio 2: Decomposizione Cholesky ed esempio di calcolo.

LEZIONE 25:
Esercizio su sbiancamento e calcolo Pe in rumore Gauss colorato. Segnali stocastici: caso di segnale Gaussiano. Ipotesi binarie. Radiometro e ricerca segnale lungo gli autovettori della mat di covarianza di segnale.

LEZIONE 26:
I ora: Calcolo Pe nel radionetro. Problema Neyman Pearson e calcolo ROC. Es: segnalazione ASK su canale con fading. Calcolo Pe. II ora: Introduzione a teoria della stima. Stima classica in costo MSE. Bias varianza e tradeoff. Esempio e motivazione per studio stimatori unbiased.

LEZIONE 27:
Stimatori asintoticamente unbiased e consistenti. MVUE. Cramer Rao Lower Bound: motivazione, enunciato, esempio: segnali in AWGN (campionati e tempo-continui). Stima dell'ampiezza.

LEZIONE 28:
Stima della fase. Dimostrazione sima del CRLB Estensione a parametri vettoriali: enunciato ed esempi. Stima ML, introduzione. Quando esiste stimatore efficiente, esso è ML.

LEZIONE 29:
ML: proprietà asintotiche e di invarianza. Esempi: 1) dati Gauss con media e varianza da stimare. 2) modello Gaussiano lineare e confronto con soluzione least squares. 3) stima fase segnale passabanda (inizio)

LEZIONE 30:
ML: es) stima fase segnale passabanda (fine). Stime Bayesiane: 1) MMSE, stimatore ed errore. Principio di ortogonalit&agrave. Unbiasedness. Note sulla curva di regressione. Es: Gaussiano. Esercizio con dati e parametro esponenziali negativi.

LEZIONE 31:
Stime bayesiane: stimatore MAP. Esempio. Criterio ML come caso particolare del MAP. Es: modello Gaussiano lineare (assegnato per casa, con soluzione). Estensione a vettore di parametri. Regressione Gaussiana multivariata. Stime bayesiane lineari MMSE. Coeff ottimi del filtro, principio di ortogonalit&agrave. Equazioni Yule-Walker. Stimatore ottimo LMMSE ed errore MSE minimo.

LEZIONE 32:
Ripasso Stimatore scalare ottimo LMMSE ed errore MSE minimo. Estensione a stimatore vettoriale. Filtro di Wiener: importazione problema, obiettivi. A) Smoothing, filtro ottimo non causale, errore MMSE, caso canale additivo. Calcolo alternativo errore con filtro d'errore.

LEZIONE 33:
B) filtro di Wiener causale: impostazione del problema in 2 passi: sbiancamento e stima sulle innovazioni. Sbiancamento: 1) Ripasso Z-transform bilatera e ROCs. 2) Ripasso Z-transform della PSD di uscita da sistema lineare; 3) Thm Fattorizzazione spettrale: enunciato.

LEZIONE 34:
Cenni alla dim del teorema di fattorizzazione spettrale (SF). Calcolo filtro innovazioni L(z) per processi reali tramite SF. Classificazione processi regolari con L(z) razionale fratta. Processi AR, MA, ARMA. Esempio: AR(1).

LEZIONE 35:
Filtro di Wiener causale, formula in z. Esempio (n. 3 Verrazzani, p. 162) Predittore a r passi: forma del filtro in z. Formula dell'errore.

LEZIONE 36:
Predittore: esempio: predizione processi AR(p). Filtraggio e predizione a r passi: formula in z. Formula generale dell'errore per canali additivi. Esempio.

Bibliografia

Testi Seguiti
[1] L. Verrazzani, "La teoria della decisione e della stima nelle applicazioni di telecomunicazione". Edizioni ETS, Pisa, 1996.
[2] G. Colavolpe, R. Raheli, Lezioni di Trasmissione numerica, Monte Università Parma editore, 2004.

Testi Complementari
[1] S. M. Kay, "Fundamentals of statistical signal processing", Vol.I (estimation), Vol.II(detection), Prentice-Hall, 1998.
[2] F. Gini, "Esercizi di teoria dei segnali II". Edizioni ETZ, Pisa, 1996.
[3] J. Cioffi, "Ch. 1: Signal Processing and Detection", http://www.stanford.edu/~cioffi

Metodi didattici

Lezioni frontali.

Modalità verifica apprendimento

Modalità d'esame

L'esame consiste in una prova scritta di due ore, seguita subito da una prova orale. Allo scritto è ammesso portare un foglio A4 di appunti personali.

Altre informazioni

Per aggiornamenti consultare:
http://www.tlc.unipr.it/bononi/didattica/TSD/informazioni.html