Obiettivi formativi
L’obiettivo del corso è fornire allo studente la capacità di comprendere ed applicare le regole di base dell'apprendimento automatico, e in particolare:
- applicare i principali test statistici nella classificazione tra diverse categorie
- sintetizzare la struttura del classificatore ottimo e valutarne l'errore di classificazione
- applicare i principali metodi di estrazione delle features dai dati
- applicare i principali stimatori in uso nel campo dell'apprendimento automatico
- applicare i principali algoritmi di clustering nell'apprendimento non supervisionato
Le capacità di applicare le conoscenze sopra elencate risultano essere in particolare:
- progettare ed analizzare le prestazioni di un classificatore nell'apprendimento automatico
- selezionare le feature più appropriate per discriminare le categorie di ingresso
- selezionare gli algoritmi di clustering più appropriati nella progettazione di un classificatore non supervisionato.
Prerequisiti
Corsi di base in algebra lineare e teoria della probabilità, quali ad esempio quelli offerti nel corso di laurea triennale corrispondente, sono necessari prerequisiti per questo corso.
Contenuti dell'insegnamento
PART 1: Fundamentals (Bononi)
(follows ref [1] Ch 1-9)
_____________________________________________
1. Introduction:
- problem statement and definitions
- Examples of machine learning problems
2. Basic probability refresher:
- Bayes formula
- conditional density functions
3. Classical Decision Rules
- binary Bayes rule
- M-ary Bayes rule
- receiver operating curve (ROC) and its properties
- Glossary of equivalent terms in Radar detecton theory, hypothesis testing and
machine learning
4. Linear Algebra refresher
- Unitary and Hermitian matrices
- spectral decomposition (SD)
- covariance matrices and diagonalization
5. Feature extraction
- sufficient statistics
- feature extraction based on eigenvector analysis
6. Quadratic and linear classifiers
- discriminant functions
- classification with Gaussian vectors
- Bounds on classifiers error probability
7. parameter estimation
- maximum likelihood and properties
- bayes estimation: MMSE and MAP
- Bounds on MS error
PART 2: Advanced topics and applications (Cagnoni)
________________________________________________________
8. Nonparametric estimation
- Parzen density estimation
- k-Nearest-Neighbor algorithm
9. Linear Discriminant Analysis
- Fisher linear classifier
- Support Vector Machines
10. Classifier evaluation:
- generalization and overfitting (Training/validation/test sets)
- performance indices, representations curve, confusion matrices
- Classification risk: are all errors equally relevant ?
11. Unsupervised classification and clustering
- K-means and Isodata algorithms
- Self-Organizing Maps
- Learning Vector Quantization
- Kohonen networks
Programma esteso
- - -
Bibliografia
[1] C. W. Therrien, "Decision, estimation and classification" Wiley, 1989
[2] C. M. Bishop "Pattern Recognition and Machine Learning", Springer, 2006.
[3] R O Duda, P, E. Hart, D. G. Stork, "Pattern classification", 2nd Ed., Wiley, 2001
Metodi didattici
Didattica frontale 42 ore.
Esercitazioni 6 ore.
Esercizi assegnati per casa.
Modalità verifica apprendimento
Part 1, Bononi: Esame orale, su appuntamento. Al momento dell'iscrizione, contattare il docente all'indirizzo alberto.bononi[AT]unipr.it specificando la data desiderata. L'esame richied la soluzione di alcuni esercizi e la discussione dei dettagli teorici ad essi collegati, pe runa durata di circa un'ora.
E' consentito l'uso di un formulario su un foglio A4 per consultazione durante l'esame.
Part 2, Cagnoni: Assegnazione di un progetto pratico, i cui risultati dovranno essere presentati in forma di relazione scritta e di presentazione orale.
Altre informazioni
Ricevimento
Bononi: Lunedi' 11:30-13:30 (Sede Scientifica Ingegneria, Pal. 2, I piano, Stanza 2/19T).
Cagnoni: su appuntamento(Sede Scientifica Ingegneria, Pal.1, I piano,
email cagnoni[AT]ce.unipr.it).
Obiettivi agenda 2030 per lo sviluppo sostenibile
- - -
