La valutazione degli esiti degli apprendimenti degli studenti universitari (TEst sulle COmpetenze, TECO)
Nel 2012 l’ANVUR ha avviato un progetto sulla valutazione degli esiti degli apprendimenti dei laureandi italiani tramite un test (TEst sulle COmpetenze, TECO), ritenendo che l’analisi dei livelli delle competenze sia uno strumento importante per contribuire al monitoraggio della qualità del processo formativo.
I risultati del TECO rientrano nel sistema di valutazione della didattica (Autovalutazione, Valutazione periodica, Accreditamento – AVA), come indicatori utili alla valutazione della qualità del processo formativo dei singoli corsi di studio e degli atenei. Questa attività è normata dal DPR costitutivo dell’Agenzia (76/2010, art. 3) nel quale si fa chiaramente riferimento alla valutazione della qualità anche degli esiti dell’offerta formativa. In particolare, si chiarisce che devono essere oggetto di valutazione l’efficienza e l’efficacia dell’attività didattica sulla base di standard qualitativi internazionali, anche in riferimento agli esiti dell’apprendimento da parte degli studenti e al loro adeguato inserimento nel mondo del lavoro (art. 3, com. 2 lettera a). Più recentemente, nell’allegato E nel DM 987/2016, viene ulteriormente chiarito che la raccolta di nuovi dati relativi alle competenze trasversali e/o disciplinari acquisite dagli studenti permetterà di realizzare indicatori che verranno utilizzati per la valutazione periodica e l’accreditamento delle Sedi e dei Corsi di Studio.
L’Agenzia, per le prime due sperimentazioni, si è servita del test CLA+ prodotto dal Council for Aid to Education (CAE) e utilizzato su scala internazionale per la misurazione delle generic skills. Entrambe le esperienze, condotte in collaborazione con diversi atenei (rispettivamente 12 nel 2013 e 24 nel 2015), hanno però evidenziato alcune criticità, quali la parziale validità e adattabilità dell’impianto metodologico proposto dal CAE e gli elevati costi dell’intera procedura. Pertanto l’Agenzia nel 2016 ha ridefinito l’intero disegno di ricerca, compresi gli ambiti di riferimento, l’impostazione metodologica e gli strumenti di rilevazione sia per le competenze trasversali (TECO-T) sia per le competenze disciplinari (TECO-D).
Attualmente il progetto TECO ha come scopo la costruzione di indicatori che riflettano le competenze acquisite dagli studenti universitari del 1° e 3° anno delle lauree triennali o a ciclo unico degli Atenei italiani.
TECO-T
Le competenze trasversali finora valutate sono la Literacy e la Numeracy. Gli altri ambiti di rilevazione che sono in fase di sviluppo sono: Civics, Problem Solving e Lingua straniera (Inglese). L’ipotesi di lavoro è che tali competenze attingano a un bagaglio formativo di tipo generalista e, in quanto tali, siano formabili anche nel percorso di studi universitario, garantendo informazioni confrontabili tra Atenei e/o tra Corsi di Studio.
La Literacy verifica i livelli di capacità degli studenti nel comprendere, interpretare e riflettere su di un testo non direttamente riconducibile a materie caratterizzanti un preciso Corso di Studio o ambito disciplinare, utilizzando due tipi di prove: un brano seguito da 10 domande a risposta chiusa e un breve brano nel quale sono state cancellate 20 parole (Cloze test) che lo studente deve reinserire, per un totale di 30 domande.
La Numeracy misura i livelli di capacità degli studenti nel comprendere e risolvere i problemi logico-quantitativi, attraverso un breve brano corredato di grafici e tabelle seguito da 5 domande, un’infografica seguita da 5 domande e 15 brevi domande di ragionamento logico, per un totale di 25 domande.
Le prove di Literacy e Numeracy sono state realizzate dall’Agenzia con la collaborazione di un gruppo di esperti, e sono state validate alla fine del 2016 attraverso un Field Trial avvenuto in cinque Atenei (Politecnico di Torino, Università di Messina, Padova, Roma Tor Vergata, del Salento). Questa prima fase di validazione ha coinvolto 854 studenti del 1° e 3° anno delle lauree triennali. L’analisi della validità delle prove ha evidenziato come i singoli item misurino effettivamente competenze specifiche, e come le domande rappresentino diversi livelli di difficoltà e siano in grado di discriminare gli studenti più competenti dagli altri. Nella primavera del 2017 la versione definitiva delle prove di Literacy e Numeracy è stata somministrata a 1759 studenti iscritti al 1° e 3° in cinque nuovi Atenei (Università di Bari, Bologna, Firenze, Milano-Bicocca, Palermo) di 5 Aree disciplinari definite da ANVUR (Scienze biologiche, Scienze dell’Educazione e della Formazione, Scienze e tecniche psicologiche, Scienze economiche e Professioni sanitarie). Al termine del test gli studenti hanno risposto anche ad un Questionario studente, fornendo informazioni utili sul background familiare e sulle esperienze personali, universitarie e lavorative.
In entrambe le sessioni (2016 e 2017), che hanno visto una partecipazione su base volontaria degli studenti, le prove sono state somministrate al computer tramite una piattaforma gestita in remoto da CINECA, all’interno di aule informatiche degli Atenei coinvolti, in finestre temporali predefinite dall’Agenzia (due settimane circa).
Sono in corso due rilevazioni che coinvolgono circa 700 laureati a tre anni dal conseguimento del titolo triennale, condotte rispettivamente in collaborazione con AlmaLaurea e con INAPP (ex ISFOL). L’ipotesi di lavoro è verificare se, e in che misura, il punteggio al TECO-T sia in grado di predire gli esiti lavorativi.
TECO-D
Le competenze disciplinari sono invece strettamente legate ai contenuti formativi specifici del percorso intrapreso dallo studente, e quindi possono essere confrontate solo con corsi di analoga natura. La rilevazione è coordinata da ANVUR che si avvale di referenti, scelti dai gruppi disciplinari stessi, per la costruzione dei test TECO-D. Il progetto presenta aspetti molto innovativi per le comunità accademiche, poiché
- stimola una definizione condivisa dei contenuti disciplinari core e la loro declinazione rispetto ai 5 Descrittori di Dublino;
- permette la creazione di test disciplinari (TECO-D) i cui contenuti sono condivisi a livello nazionale e i risultati utilizzati per l’autovalutazione dei singoli CdS, permettendo confronti inter- e intra-ateneo nell’ambito del proprio gruppo disciplinare;
- garantisce una gestione centralizzata e certificata (CINECA per conto di ANVUR) per la somministrazione e la raccolta dei dati.
LA VALUTAZIONE DEGLI ESITI DEGLI APPRENDIMENTI DEGLI STUDENTI UNIVERSITARI (TEST SULLE COMPETENZE, TECO)
ANVUR TESTA LE COMPETENZE TRASVERSALI DI 15MILA STUDENTI
