Logo CRUI





Cos'è la CRUI
Organizzazione
Attività
Commissioni
Programmi
Documenti
   Documenti ufficiali
   Mozioni
    Pubblicazioni
   Altri documenti
Forum
Lettera CRUI
Comunicati Stampa
Rassegna Stampa
Progetto Musei
Progetto CampusOne
Progetto CAMPUS
Progetto Apollo
Valutazione




Ricerca nel Sito
RAPPORTO FINALE SULLE ATTIVITÀ DI VALUTAZIONE CAMPUS
L. Modica, M.F. Romano, E. Stefani

Conferenza dei Rettori delle Università Italiane

Premessa



  1. I dati numerici fondamentali del Progetto Campus

    Per cominciare è opportuno dare un'idea dei valori numerici fondamentali del Progetto Campus `96. Abbiamo predisposto una tabella in cui sono contenuti questi valori, messi a confronto con quelli analoghi di Campus `95.



    TABELLA 1

    I numeri fondamentali del Progetto Campus

     

    CAMPUS `95

    CAMPUS `96

    Diplomi Italia

    N. UNIVERSITÀ

    24

    28>

    65

    N. SEDI

    54

    71

     

    N. DIPLOMI

    52

    68

    574

    MODULI

    785

    1055

     

    N. ORE TOTALI

    72.474

    94.749

     
    N. ORE DOCENZA INT.

    51.515

    62.433

     

    N. ORE DOCENZA EST.

    20.959

    32.316

     

    N. STUDENTI

    3.862

    5.122

    30.000

    Le università coinvolte sono passate da 24 a 28, sulle 65 esistenti in Italia; poiché Campus riguarda solo le regioni dell'Obiettivo 3, cioè il Centro-Nord, 28 corrisponde alla quasi totalità degli atenei di quest'area. Le sedi dei diplomi sono passate da 54 a 71, evidenziando il ruolo delle sedi decentrate nello sviluppo dei diplomi universitari italiani. I diplomi sono passati da 52 a 68 (vedi tabella 3), su un totale di 574 in Italia: quindi Campus copre ormai più del 10% dei diplomi attivati ma occorre tener presente che una parte notevole dei diplomi esistenti afferisce all'area sanitaria, non compresa negli obiettivi di Campus perché relativa ad ambiti di responsabilità regionale non finanziabili dalla quota multiregionale del Fondo Sociale Europeo. Gli altri numeri si commentano da soli; vale la pena rilevare in particolare il netto aumento della docenza esterna.

    Per quanto riguarda la valutazione, a questi numeri occorre aggiungere 8 diplomi di 5 atenei del Mezzogiorno. Pur rientrando in un altro progetto di sostegno comunitario dei diplomi universitari, riservato alle regioni dell'Obiettivo 1 e un po' diverso da Campus, questi atenei hanno chiesto di condividere con Campus l'attività di valutazione. Scelta importante e significativa, che ci ha fatto molto piacere e che ha dato ottimi risultati, permettendoci di estendere l'esperimento anche a situazioni organizzative e ad ambiti disciplinari diversi da quelli di Campus.

    Nella seconda tabella che abbiamo predisposto sono contenuti i principali valori numerici dell'attività di valutazione di Campus `96 rispetto a quelli di Campus `95.

    TABELLA 2

    I valori numerici fondamentali della valutazione Campus

     

    CAMPUS `95

    CAMPUS `96

    GRUPPI DI AUTOVALUTAZIONE
    52
    65
    AUTOVALUTATORI
    228
    278
    GRUPPI DI VALUTAZIONE
    11
    14
    VALUTATORI
    54
    68
    COSTO VALUTAZIONE
    352
    455


    TABELLA 3

    Elenco diplomi

    DIPLOMA UNIVERSITARIO

    SEDE

    AREA

    GRUPPO VALUTATORI ESTERNI

    Ing. meccanica

    Milano Politecnico (Lecco)

    Settore ingegneristico

    N°. 1

    Ing. meccanica

    Padova (Vicenza)

    Settore ingegneristico

    N°. 1

    Ing. delle infrastrutture

    Pavia

    Settore ingegneristico

    N°. 1

    Ing. energetica

    Torino Politec. (Vercelli)

    Settore ingegneristico

    N°. 1

    Ing. meccanica

    Torino Politecnico

    Settore ingegneristico

    N°. 1

    Ing. meccanica

    Torino Politec. (Mondovì)

    Settore ingegneristico

    N°. 1

    Ing. meccanica

    Udine (Pordenone)

    Settore ingegneristico

    N°. 1

    Ing. meccanica

    Bologna (Forlì)

    Settore ingegneristico

    N°. 2

    Ing. meccanica

    Cassino

    Settore ingegneristico

    N°. 2

    Ing. meccanica

    Firenze (Prato)

    Settore ingegneristico

    N°. 2

    Ing. meccanica

    Parma

    Settore ingegneristico

    N°. 2

    Ing. meccanica

    Pisa

    Settore ingegneristico

    N°. 2

    Ing. chimica

    Roma La Sapienza

    Settore ingegneristico

    N°. 2

    Ing. meccanica

    RM Tor Vergata (Colleferro)

    Settore ingegneristico

    N°. 2

    Ing. elettrica

    Cassino

    Settore ingegneristico

    N.° 3

    Ing. biomedica

    Milano Politecnico(Segrate)

    Settore ingegneristico

    N°. 3

    Ing. biomedica

    Pavia

    Settore ingegneristico

    N°. 3

    Ing. elettrica

    Torino Politec. (Alessandria)

    Settore ingegneristico

    N°. 3

    Ing. logistica e produzione

    Castellanza LIUC (Varese)

    Settore ingegneristico

    N°. 4

    Ing. logistica e produzione

    Pisa

    Settore ingegneristico

    N°. 4

    Ing. logistica e produzione

    Trieste (Pordenone)

    Settore ingegneristico

    N°. 4

    Informatica

    Camerino

    Scienze tecnologiche

    N°. 5

    Informatica

    Milano

    Scienze tecnologiche

    N.° 5

    Informatica

    Roma La Sapienza

    Scienze tecnologiche

    N°. 5

    Sistemi informat. territoriali

    Venezia IUAV

    Scienze tecnologiche

    N°. 5

    Tecnica pubblicitaria

    Perugia Stranieri

    Scienze tecnologiche

    N°. 6

    Marketing e comunicazione d’azienda

    Urbino

    Scienze tecnologiche

    N°. 6

    Disegno industriale

    Venezia IUAV (Treviso)

    Scienze tecnologiche

    N°. 6

    Ing. informatica

    Napoli

    Settore ingegneristico

    N°. 7

    Ing. elettronica

    Padova (Vicenza)

    Settore ingegneristico

    N°. 7

    Ing. informatica automatica

    Padova (Rovigo-Feltre-Treviso)

    Settore ingegneristico

    N°. 7

    Ing. informatica automatica

    Trento (Rovereto)

    Settore ingegneristico

    N°. 7

    Ing. informatica automatica

    Trieste

    Settore ingegneristico

    N°. 7

    Ing. elettronica

    Udine

    Settore ingegneristico

    N°. 7

    Ing. elettronica

    Firenze (Prato)

    Settore ingegneristico

    N°. 8

    Ing. elettronica

    Pisa

    Settore ingegneristico

    N°. 8

    Ing. delle telecomunicazioni

    Siena

    Settore ingegneristico

    N°. 8

    Ing. informatica automatica

    Roma La Sapienza

    Settore ingegneristico

    N°. 8

    Ing. informatica automatica

    Bologna (Cesena)

    Settore ingegneristico

    N°. 9

    Ing. elettronica

    Bologna (Cesena)

    Settore ingegneristico

    N°. 9

    Ing. delle telecomunicazioni

    Bologna (Cesena)

    Settore ingegneristico

    N°. 9

    Ing. informatica automatica

    Modena

    Settore ingegneristico

    N°. 9

    Ing. informatica automatica

    Parma

    Settore ingegneristico

    N°. 9

    Ing. informatica automatica

    Milano Politecnico (Como)

    Settore ingegneristico

    N°. 10

    Ing. informatica automatica

    Milano Politecnico

    Settore ingegneristico

    N°. 10

    Ing. elettronica

    Pavia

    Settore ingegneristico

    N°. 10

    Ing. informatica automatica

    Pavia

    Settore ingegneristico

    N°. 10

    Ing. elettronica

    Torino Politecnico

    Settore ingegneristico

    N°. 10

    Economia e amm.ne imprese

    Ancona

    Terziario avanzato

    N°. 11

    Econ. gestione servizi turistici

    Firenze

    Terziario avanzato

    N°. 11

    Statistica e informatica per gest. imprese

    Napoli

    Terziario avanzato

    N°. 11

    Statistica e informatica per gest. imprese

    Perugia

    Terziario avanzato

    N°. 11

    Statistica informatica gestione imprese

    Padova

    Terziario avanzato

    N°. 12

    Economia e amm.ne imprese

    Udine (Pordenone)

    Terziario avanzato

    N°. 12

    Statistica informatica gestione imprese

    Venezia Ca' Foscari (Treviso)

    Terziario avanzato

    N°. 12

    Commercio estero

    Venezia Ca' Foscari (Treviso)

    Terziario avanzato

    N°. 12

    Economia e gestione servizi turistici

    Venezia Ca' Foscari (Oriago)

    Terziario avanzato

    N°. 12

    Metodologie fisiche

    Ferrara

    Scienze tecnologiche

    N°. 13

    Metodologie fisiche

    Trento

    Scienze tecnologiche

    N°. 13

    Scienza dei materiali

    Torino

    Scienze tecnologiche

    N°. 13

    Scienze e tecniche cartarie

    Camerino (Fabriano)

    Scienze tecnologiche

    N°. 13

    Economia e amm.ne imprese

    Modena

    Terziario avanzato

    Gruppo Economia

    Economia e amm.ne imprese

    Siena (Arezzo)

    Terziario avanzato

    Gruppo Economia

    Economia e amm.ne imprese

    Trieste (Gorizia)

    Terziario avanzato

    Gruppo Economia

    Lo sforzo organizzativo (e finanziario) appare molto evidente, senza bisogno di ulteriori commenti, ivi compresi i timori sul costo organizzativo e finanziario di un'attività generalizzata di valutazione. Anche se un'analisi approfondita delle possibili economie di scala non è stata ancora tentata, certamente occorre mettere in conto che la valutazione ha un costo molto alto e deve essere accuratamente progettata per massimizzare i benefici che se ne vogliono ottenere. Anche in questa direzione Campus offre argomenti di riflessione e di dibattito all'intero sistema universitario per le scelte normative che presto dovranno essere prese sull'argomento della valutazione delle attività universitarie.

  2. La procedura di valutazione Campus e le sue innovazioni

    La procedura di valutazione Campus (mutuata sostanzialmente, come è noto, dall'esperienza del progetto pilota europeo svoltosi nel 1995) prevede - come indicato nella tabella 4 - un'autovalutazione, un rapporto di autovalutazione elaborato sulla base di liste di controllo, una valutazione esterna che si articola in visite in loco cui segue un rapporto di valutazione, anch'esso guidato dalla lista di controllo, un rapporto finale, un parere - novità di quest'anno - espresso dai valutati sulla metodologia di valutazione, il che consente di avere un'informazione doppia sulla metodologia, sia dai valutati che dai valutatori.



    TABELLA 4

    Procedura dell'attività di valutazione

      • Autovalutazione
      • Relazione di autovalutazione su lista di controllo
      • Valutazione esterna (Peer Review, visita in loco)
      • Rapporto di valutazione su lista di controllo
      • Rapporto finale
      • Parere sulla metodologia da parte dei valutati

     

    Questo modello è ormai largamente condiviso e peraltro corrisponde anche a scelte di carattere europeo su un possibile modello stabile di valutazione universitaria da diffondere in Europa, scelte confermate molto di recente da organismi della Commissione Europea e dalla Confederazione delle Conferenze dei Rettori Europee.

    Campus `96 ha parzialmente innovato la metodologia di valutazione di Campus `95 come indica la quinta tabella.



    TABELLA 5

    Elementi innovativi metodologia Campus `96



      • liste di controllo eguali e con tipologia ISO 9000
      • analisi qualitative e quantitative accoppiate
      • indicatori statistici predeterminati
      • esperti stranieri
      • formazione degli autovalutatori e dei valutatori

    Innanzitutto le liste di controllo dell'autovalutazione e della valutazione esterna sono state unificate: la valutazione esterna è condotta su una lista identica a quella utilizzata dagli autovalutatori. La lista per gli autovalutatori consiste di domande con risposte SI/NO; i valutatori esterni sono chiamati a valutare, con un valore numerico intero tra 1 e 4, la situazione relativa ad ogni domanda e alla risposta fornita dagli autovalutatori. Ciò ha permesso anche l'avvio di un procedimento di quantificazione della valutazione qualitativa, che l'anno scorso non era possibile per la diversa tipologia delle liste di controllo. Comunque la vera novità di quest'anno risiede proprio nell'omogeneità delle due valutazioni, che ha molto migliorato la percezione globale della valutazione, sia da parte dei valutati sia da parte di chi è stato chiamato ad esaminare l'intera attività (Campus Board), e la qualità stessa dei rapporti.

    Questa innovazione proviene - come specificheremo meglio più avanti - direttamente dalle esperienze del mondo delle imprese per l'applicazione delle normative di tipo ISO 9000, il che ha costituito in qualche situazione - ma non in tutte - motivo di "scandalo" e di forti critiche. Certamente la trasposizione non è facile e ha causato veri e propri inconvenienti (a prescindere da alcuni reali errori di programmazione delle tabelle automatizzate di cui lo staff della valutazione Campus si scusa), ai quali cercheremo di rimediare l'anno prossimo. Ma, d'altra parte, il confronto con metodologie di altri ambiti è stato estremamente fruttuoso e come tale percepito dalla maggior parte dei valutatori; un approccio diretto (e forse azzardato) invece che mediato ha permesso di abbreviare i tempi e di rendere più evidenti pregi e difetti; non va infine dimenticato che tutto il Progetto Campus, di cui sono contitolari - non lo si dimentichi - anche Confindustria, Unioncamere ed ENEA, si muove nella direzione di una maggiore integrazione del mondo della formazione universitaria con quello delle imprese e questa integrazione, se non vuole essere solo un'etichetta, deve estendersi anche alle metodologie di valutazione.

    Un'altra innovazione, forse un po' sottovalutata, è rappresentata dall'aver suggerito agli autovalutatori ed ai valutatori il calcolo e l'analisi di indicatori statistici predeterminati. Il Manuale conteneva quattro insiemi di indicatori, utilizzabili per valutare altrettanti momenti del processo formativo. Si sperava di ottenere, e in qualche modo così è stato, una descrizione dell'attività di un diploma comparabile con quella degli altri diplomi, il che è impossibile nel caso che le varie sedi scelgano diverse tipologie di indicatori, anche se con criteri pienamente legittimi. Ancora una volta, peraltro, si è evidenziata la carenza della strumentazione informativa presente presso gli atenei, il che ha impedito in molti casi un uso valutativo effettivo ed efficace degli indicatori suggeriti.

    Di grande interesse la partecipazione ad ogni gruppo di valutazione di un esperto straniero. Come già era accaduto per il progetto pilota, questa presenza ha aumentato il livello di partecipazione, si direbbe quasi di professionalità, di ogni gruppo, ha favorito la fertilizzazione incrociata di esperienze tra i valutatori, gli autovalutatori e gli stessi esperti stranieri, ha generato - e ne ringraziamo sentitamente gli autori - dei veri e propri documenti di commento sui pregi e sui limiti del nostro esperimento nel confronto con le esperienze più mature dei paesi di provenienza.

    La metodologia prevedeva infine per la prima volta - ed è un punto molto importante - momenti di formazione degli autovalutatori e dei valutatori, con la finalità di rendere esplicita e condivisa la filosofia sottostante la metodologia di valutazione Campus, di indicare le modalità d'uso e la finalità degli strumenti proposti, in modo che i rapporti ottenuti fossero il più omogenei possibile, quanto a impostazione e struttura.

    L'introduzione di tutte queste innovazioni ha modificato profondamente l'effetto della valutazione ed ha aperto un dibattito approfondito, molto accalorato e ricco di spunti critici, il che è addirittura, secondo noi, uno dei vantaggi riscontrati quest'anno. Non si può però tacere che, accanto alle critiche, non sono mancati decisi consensi alle scelte progettuali proposte.




Indice

1. Premessa
     1.1 I dati numerici fondamentali del Progetto Campus
     1.2 La procedura di valutazione Campus e le sue innovazioni
2. Dati generali
     2.1 I gruppi di autovalutazione e la qualità dei rapporti
     2.2 I gruppi di esperti esterni e la qualità dei rapporti
     2.3 Il ruolo degli esperti stranieri
     2.4 Le visite in loco
     2.5 Il parere dei valutati
3. Applicazione della metodologia: punti critici, commenti su liste di valutazione e su indicatori statistici
     3.1 Le scelte della CRUI sulle liste di controllo e sulla metodologia
     3.2 Il grado di coinvolgimento nella metodologia proposta
     3.3 La lista di controllo
     3.4 Critica degli indicatori statistici
4. Il sistema qualità dei diplomi
     4.1 Considerazioni generali
     4.2 Requisiti Campus
     4.3 Punti di forza e di debolezza
5. Innovazioni e proposte
     5.1 Esperienza maturata e proposte sulla metodologia seguita
     5.2 Suggerimenti e contributi critici dei gruppi di valutazione
     5.3 La nuova lista di valutazione ed i nuovi indicatori statistici
6. Conclusioni
Appendice statistica



Ultimo aggiornamento: 23 marzo 2001