MACHINE LEARNING FOR PATTERN RECOGNITION (2ST MODULE)
cod. 1006079

Anno accademico 2014/15
2° anno di corso - Secondo semestre
Docente
Settore scientifico disciplinare
Sistemi di elaborazione delle informazioni (ING-INF/05)
Field
A scelta dello studente
Tipologia attività formativa
A scelta dello studente
21 ore
di attività frontali
3 crediti
sede:
insegnamento
in

Modulo dell'insegnamento integrato: MACHINE LEARNING FOR PATTERN RECOGNITION

Obiettivi formativi

L’obiettivo del corso è fornire allo studente la capacità di comprendere ed applicare le regole di base dell'apprendimento automatico, e in particolare:

- applicare i principali test statistici nella classificazione tra diverse categorie

- sintetizzare la struttura del classificatore ottimo e valutarne l'errore di classificazione

- applicare i principali metodi di estrazione delle features dai dati

- applicare i principali stimatori in uso nel campo dell'apprendimento automatico

- applicare i principali algoritmi di clustering nell'apprendimento non supervisionato


Le capacità di applicare le conoscenze sopra elencate risultano essere in particolare:

- progettare ed analizzare le prestazioni di un classificatore nell'apprendimento automatico

- selezionare le feature più appropriate per discriminare le categorie di ingresso

- selezionare gli algoritmi di clustering più appropriati nella progettazione di un classificatore non supervisionato.

Prerequisiti

Corsi di base in algebra lineare e teoria della probabilità, quali ad esempio quelli offerti nel corso di laurea triennale corrispondente, sono necessari prerequisiti per questo corso.

Contenuti dell'insegnamento

PART 1: Fundamentals (Bononi)
(follows ref [1] Ch 1-9)
_____________________________________________

1. Introduction:
- problem statement and definitions
- Examples of machine learning problems

2. Basic probability refresher:
- Bayes formula
- conditional density functions

3. Classical Decision Rules
- binary Bayes rule
- M-ary Bayes rule
- receiver operating curve (ROC) and its properties
- Glossary of equivalent terms in Radar detecton theory, hypothesis testing and
machine learning

4. Linear Algebra refresher
- Unitary and Hermitian matrices
- spectral decomposition (SD)
- covariance matrices and diagonalization

5. Feature extraction
- sufficient statistics
- feature extraction based on eigenvector analysis


6. Quadratic and linear classifiers
- discriminant functions
- classification with Gaussian vectors
- Bounds on classifiers error probability

7. parameter estimation
- maximum likelihood and properties
- bayes estimation: MMSE and MAP
- Bounds on MS error

PART 2: Advanced topics and applications (Cagnoni)
________________________________________________________

8. Nonparametric estimation
- Parzen density estimation
- k-Nearest-Neighbor algorithm

9. Linear Discriminant Analysis
- Fisher linear classifier
- Support Vector Machines

10. Classifier evaluation:
- generalization and overfitting (Training/validation/test sets)
- performance indices, representations curve, confusion matrices
- Classification risk: are all errors equally relevant ?

11. Unsupervised classification and clustering
- K-means and Isodata algorithms
- Self-Organizing Maps
- Learning Vector Quantization
- Kohonen networks

Programma esteso

- - -

Bibliografia

[1] C. W. Therrien, "Decision, estimation and classification" Wiley, 1989
[2] C. M. Bishop "Pattern Recognition and Machine Learning", Springer, 2006.
[3] R O Duda, P, E. Hart, D. G. Stork, "Pattern classification", 2nd Ed., Wiley, 2001

Metodi didattici

Didattica frontale 42 ore.
Esercitazioni 6 ore.
Esercizi assegnati per casa.

Modalità verifica apprendimento

Part 1, Bononi: Esame orale, su appuntamento. Al momento dell'iscrizione, contattare il docente all'indirizzo alberto.bononi[AT]unipr.it specificando la data desiderata. L'esame richied la soluzione di alcuni esercizi e la discussione dei dettagli teorici ad essi collegati, pe runa durata di circa un'ora.
E' consentito l'uso di un formulario su un foglio A4 per consultazione durante l'esame.

Part 2, Cagnoni: Assegnazione di un progetto pratico, i cui risultati dovranno essere presentati in forma di relazione scritta e di presentazione orale.

Altre informazioni

Ricevimento

Bononi: Lunedi' 11:30-13:30 (Sede Scientifica Ingegneria, Pal. 2, I piano, Stanza 2/19T).

Cagnoni: su appuntamento(Sede Scientifica Ingegneria, Pal.1, I piano,
email cagnoni[AT]ce.unipr.it).