Obiettivi formativi
L’obiettivo del corso è fornire allo studente la capacità di comprendere le regole di base dell'apprendimento automatico, e in particolare:
- i principali test statistici nella classificazione tra diverse categorie
- la struttura del classificatore ottimo e come valutare l'errore di classificazione
- i principali metodi di estrazione delle features dai dati
- i principali stimatori in uso nel campo dell'apprendimento automatico
- i principali algoritmi di clustering nell'apprendimento non supervisionato.
Le capacità di applicare le conoscenze sopra elencate risultano essere in particolare:
- progettare ed analizzare le prestazioni di un classificatore nell'apprendimento automatico
- selezionare le feature più appropriate per discriminare le categorie di ingresso
- selezionare gli algoritmi di clustering più appropriati nella progettazione
di un classificatore non supervisionato.
Prerequisiti
Corsi di base in algebra lineare e teoria della probabilità, quali ad
esempio quelli offerti nel corso di laurea triennale corrispondente, sono
necessari prerequisiti per questo corso.
Contenuti dell'insegnamento
MODULE 1 (Bononi):
Basic probability refresher. Bayesian binary and M-ary classification.
MAP and Minimax classifiers. Performance and ROC.
Gaussian case and linear discriminant rules.
Bayesian estimation (regression).
Maximum likelihood, MMSE, MMAE estimators.
Linear suboptimal estimators. Supervised learning.
Generative versus discriminative approaches.
Plug-in learning.
Bayesian learning.
Minimum empirical risk learning. Nonparametric probability density estimation.
Linear data reduction for feature extraction.
MODULE 2 (Cagnoni):
Support Vector Machines.
Classifier evaluation techniques. Unsupervised classification and clustering.
K-means and Isodata algorithms Self-Organizing Maps
Learning Vector Quantization
Kohonen networks
Programma esteso
SYLLABUS (OGNI LEZIONE 2 ORE)
MODULO 1:
Lec. 1. Introduction
- Problem statement and definitions
- Examples of machine learning problems
- Glossary of equivalent terms in Radar detecton theory, hypothesis testing and machine learning
Lec. 2. Probability refresher
- Axioms, conditional probability, total probability law, Bayes law, double conditioning, chain rule, independence and conditional independence of events.
- Discrete random variables (RV): expectation, conditional expectation. Pairs of RVs. Sum rule. Iterated expectation. Vectors of RVs. An extended example.
Lec. 3. Probability refresher
- Random vectors:
expectation, covariance and its properties, spectral decomposition of covariance matrix, whitening.
- Continuous RV.
Parallels with discrete RVs. Functions of RVs. Mixed RVs. Continuous random vectors.
- Appendix: differentiation rules for vectors and matrices.
Lec. 4.
- Gaussian RVs and their linear transformations. Mahalanobis distance.
Classification:
- Bayesian prediction: introduction, loss function, conditional risk, argmin/argmax rules
- Bayes classification: introduction
Lec. 5. Classification
- 0/1 loss -> maximum a posteriori (MAP) classifier. Binary MAP. Decision regions.
- Classifier performance.
- Likelihood ratio tests and receiver operating curve (ROC)
- Minimax rule
Lec. 6. Classification
- Binary Gaussian classification
- Homoscedastic case: linear discriminant analysis
- Heteroscedastic case: Bhattacharrya bound
- Bayes classification with discrete features
- Classification with missing data (composite hypothesis testing)
Lec. 7. Estimation
- Bayesian estimation: introduction
- Quadratic loss: minimum mean square error (MMSE) estimator = regression curve
- L1 loss: minimum mean absolute error (MMAE) estimator
- 0/1 loss: MAP estimator, and maximum likelihood (ML) in uniform prior.
- Regression for vector Gaussian case
- ML estimation for Gaussian observations
Lec. 8. Estimation
- ML for multinomial
- Conjugate priors in MAP estimation
- Estimation accuracy and ML properties, Cramer Rao bounds.
Suboptimal (non Bayesian) estimation:
- LMMSE estimation (linear regression)
- LMMSE derivation with LDU decomposition
Lec. 9. Estimation
- LMMSE examples
- Generalized linear regression
- Example: polynomial regression
- Sample LMMSE
- Generalized sample LMMSE.
Lec. 10. Learning
- Supervised learning: introduction
- Generative vs discriminatie approaches
- Example: logistic model
- Plug-in learning
ML fitting of logistic model: logistic regression
Example: handwritten digit recognition.
- Bayesian Learning
Lec. 11.
Learning:
- Empirical risk minimization
Nonparametric density estimation:
- Parzen window estimator
- kNN estimator
Lec. 12. linear data reduction
- Principal component analysis (PCA)
- Fisher linear classifier
MODULO 2:
Parte 1: Introduzione
Lezione 1: Come impostare un esperimento di machine learning
Lezione 2: Classificazione basata sull'apprendimento
Parte 2: Reti neurali
Lezione 3: Introduzione alle reti neurali
Lezione 4: Apprendimento supervisionato e non supervisionato
Lezione 5: Apprendimento supervisionato: l'algoritmo Backpropagation
Lezione 6: Apprendimento non supervisionato e clustering
Lezione 7: Reti auto-organizzanti di Kohonen (SOM)
Lezione 8: Learning Vector Quantization
Parte 3: Altri classificatori basati sull'apprendimento
Lezione 9: Support Vector Machines
Esercitazioni in laboratorio:
Esercitazione 1: WEKA
Esercitazione 2: Classificazione con WEKA: Multi-Layer Perceptrons
Esercitazione 3: Clustering mediante SOM
Bibliografia
Letture Suggerite
[1] C. W. Therrien, "Decision, estimation and classification" Wiley, 1989
[2] R. O. Duda, P. E. Hart, D. G. Stork, "Pattern classification", 2nd Ed., Wiley, 2001
[3] D. Barber "Bayesian Reasoning and Machine Learning" Cambridge University Press, 2012.
[4] C. M. Bishop "Pattern Recognition and Machine Learning", Springer, 2006.
[5] T. Hastie, R. Tibshirani, J.
Friedman, "The Elements of Statistical Learning: Data mining, inference, and prediction", Springer, 2008.
[6] Eibe Frank, Mark A. Hall, and Ian H. Witten (2016). The WEKA Workbench. Online Appendix for "Data Mining: Practical Machine Learning Tools and Techniques", Morgan Kaufmann, Fourth Edition, 2016.
Metodi didattici
Didattica frontale 42 ore. Esercitazioni 6 ore. Esercizi assegnati per casa.
Modalità verifica apprendimento
MODULO 1, Bononi:
Esame orale, su appuntamento. Al momento dell'iscrizione, contattare il docente all'indirizzo alberto.bononi[AT]unipr.it
specificando la data desiderata. L'esame richiede la soluzione di alcuni esercizi e la discussione dei dettagli teorici ad essi collegati, per una durata di circa un'ora. E' consentito l'uso di un formulario su un foglio A4 per consultazione durante l'esame.
MODULO 2, Cagnoni:
Assegnazione di un progetto pratico, i cui risultati dovranno essere presentati in forma di relazione scritta e di presentazione orale.
Altre informazioni
1) Ricevimento
Bononi: Lunedi' 11:30-13:30 (Sede Scientifica Ingegneria, Pal. 2, I piano, Stanza 2/19T).
Cagnoni: su appuntamento (Sede Scientifica Ingegneria, Pal.1, I piano, email cagnoni[AT]ce.unipr.it).
2) Sito web del corso con materiale didattico (note di lezione, videolezioni, esercizi svolti);
http://www.tlc.unipr.it/bononi/didattica/ML/ML.html
Obiettivi agenda 2030 per lo sviluppo sostenibile
- - -
