Obiettivi formativi
L’obiettivo del corso è fornire allo studente la capacità di comprendere ed
applicare le regole di base dell'apprendimento automatico, e in
particolare:
- applicare i principali test statistici nella classificazione tra diverse
categorie
- sintetizzare la struttura del classificatore ottimo e valutarne l'errore di
classificazione
- applicare i principali metodi di estrazione delle features dai dati
- applicare i principali stimatori in uso nel campo dell'apprendimento
automatico
- applicare i principali algoritmi di clustering nell'apprendimento non
supervisionato
Le capacità di applicare le conoscenze sopra elencate risultano essere in
particolare:
- progettare ed analizzare le prestazioni di un classificatore
nell'apprendimento automatico
- selezionare le feature più appropriate per discriminare le categorie di
ingresso
- selezionare gli algoritmi di clustering più appropriati nella progettazione
di un classificatore non supervisionato.
Prerequisiti
Corsi di base in algebra lineare e teoria della probabilità, quali ad
esempio quelli offerti nel corso di laurea triennale corrispondente, sono
necessari prerequisiti per questo corso.
Contenuti dell'insegnamento
PART 1: Fundamentals (Bononi)
(follows ref [1] Ch 1-9)
_____________________________________________
1. Introduction:
- problem statement and definitions
- Examples of machine learning problems
2. Basic probability refresher:
- Bayes formula
- conditional density functions
3. Classical Decision Rules
- binary Bayes rule
- M-ary Bayes rule
- receiver operating curve (ROC) and its properties
- Glossary of equivalent terms in Radar detecton theory, hypothesis
testing and machine learning
4. Linear Algebra refresher
- Unitary and Hermitian matrices
- spectral decomposition (SD)
- covariance matrices and diagonalization
5. Feature extraction
- sufficient statistics
- feature extraction based on eigenvector analysis
6. Quadratic and linear classifiers
- discriminant functions
- classification with Gaussian vectors
- Bounds on classifiers error probability
7. parameter estimation
- maximum likelihood and properties
- bayes estimation: MMSE and MAP
- Bounds on MS error
PART 2: Advanced topics and applications (Cagnoni)
________________________________________________________
8. Nonparametric estimation
- Parzen density estimation
- k-Nearest-Neighbor algorithm
9. Linear Discriminant Analysis
- Fisher linear classifier
- Support Vector Machines
10. Classifier evaluation:
- generalization and overfitting (Training/validation/test sets)
- performance indices, representations curve, confusion matrices
- Classification risk: are all errors equally relevant ?
11. Unsupervised classification and clustering
- K-means and Isodata algorithms
- Self-Organizing Maps
- Learning Vector Quantization
- Kohonen networks
Programma esteso
- - -
Bibliografia
[1] C. W. Therrien, "Decision, estimation and classification" Wiley, 1989
[2] C. M. Bishop "Pattern Recognition and Machine Learning", Springer,
2006.
[3] R O Duda, P, E. Hart, D. G. Stork, "Pattern classification", 2nd Ed.,
Wiley, 2001
Metodi didattici
Didattica frontale 42 ore.
Esercitazioni 6 ore.
Esercizi assegnati per casa.
Modalità verifica apprendimento
Part 1, Bononi: Esame orale, su appuntamento. Al momento dell'iscrizione, contattare il docente all'indirizzo alberto.bononi[AT]unipr.it
specificando la data desiderata. L'esame richied la soluzione di alcuni
esercizi e la discussione dei dettagli teorici ad essi collegati, pe runa
durata di circa un'ora.
E' consentito l'uso di un formulario su un foglio A4 per consultazione
durante l'esame.
Part 2, Cagnoni: Assegnazione di un progetto pratico, i cui risultati
dovranno essere presentati in forma di relazione scritta e di
presentazione orale.
Altre informazioni
Ricevimento
Bononi: Lunedi' 11:30-13:30 (Sede Scientifica Ingegneria, Pal. 2, I piano,
Stanza 2/19T).
Cagnoni: su appuntamento(Sede Scientifica Ingegneria, Pal.1, I piano,
email cagnoni[AT]ce.unipr.it).
Obiettivi agenda 2030 per lo sviluppo sostenibile
- - -
