Teorie, tecniche ed esperienze nei processi di verifica e valutazione dei Servizi e Progetti Immateriali
LA VALUTAZIONE (Parte 1 - Parte 2 )

Premessa

Quando si parla di valutazione si può dire senza tema di essere smentiti che oggi ogni tempo si è valutato, nonostante i primi tentativi di valutazione sistematica appaiano negli Stati Uniti solo verso l'inizio di questo secolo e trattino essenzialmente della valutazione e della produttività scolastica. Dal 1920 al 1930 si parla di "testing periode": si tratta di un periodo di tempo in cui i ricercatori polarizzano la loro attenzione sul desiderio di sostituire ai metodi soggettivi utilizzati fino ad allora nella scuola, degli strumenti oggettivi tali da consentire anche comparazioni statistiche. E' il momento in cui nascono i primi test standardizzati destinati ad identificare le doti intellettive e le attitudini degli allievi. Si fanno particolari sforzi per determinare la validità, la fedeltà e la sensibilità degli strumenti.Il periodo seguente, intorno agli anni '30 è denominato "evaluation periode" perchè emerge il concetto di valutazione per merito soprattutto di Ralph Tyler, dell'Università dell'Ohio. Si assiste ad un movimento di espansione degli strumenti di misura: ai vecchi strumenti carta-matita, se ne aggiungono altri quali l'intervista, il questionario, la sociometria, l'osservazione dei gruppi.

La valutazione in questo senso si basa sui contenuti teorici e sull'esperienza della psicologia sociale (Lewin et al., Moreno ecc).In questo momento i problemi della valutazione si espandono dal mondo scolastico ed entrano in quello delle organizzazioni industriali. Occorre riconoscere che da allora gli studiosi si dedicarono con maggior impegno ed interesse a questo secondo campo di intervento, mentre il sistema scolastico mutò da quello organizzativo-industriale teorie, strumenti e strategie di intervento.

A mio parere ancora oggi in Italia il mondo scolastico deve imparare molte cose dal sistema produttivo in fatto di evaluation. Certo la scuola ha le sue caratteristiche specifiche, ma è altrettanto certo che la valutazione dei risultati da essa ottenuti non si può fare solo contando gli allievi promossi e quelli bocciati.


1) PERCHE' VALUTARE?

La prima risposta a questa domanda è piuttosto semplice: "Per conoscere l'efficacia dell'intervento fatto".In campo educativo è prassi valutare periodicamente e a fine anno i risultati del lavoro di ciascun allievo, per decidere se egli può passare alla classe successiva. Ci si chiede se lo studente ha appreso ciò che gli è stato insegnato e se ciò ha influito sulla sua maturazione. Nei casi più fortunati si analizza anche l'eventuale evoluzione del comportamento dell'allievo.

C'è quindi una base di riscontro oggettiva (il programma svolto dall'insegnante in classe) ed una soggettiva (le possibiità intellettuali dello studente e la fedeltà di riproduzione di ciò che gli è stato insegnato). Chi ascolta, studia e sa ripetere ciò che ha detto l'insegnanteè intelligente e preparato; chi è distratto, svogliato, indifferente a quanto la scuola gli propone e poco dotato intellettualmente e negligente.

La valutazione è soggettiva nel senso che è unilaterale: perchè si fonda sull'adeguamento e sul conformismo, sulla ripetitività e sulle soluzioni convergenti. Chi è diverso e divergente nei suoi comportamenti non è un buono scolaro-studente. Da qui deriva la seconda risposta alla domanda posta: "Per controllare la discrepanza fra obiettivi raggiunti e mete proposte". Quando si decide un intervento esso e fatto con intenzionalità, per raggiungere gli obiettivi. Valutare i risultati di un intervento formativo-educativo significa misurare la distanza fra quanto ci si proponeva e quanto si è raggiunto. Questo tipo di valutazione, come il primo, è fatto sul prodotto dell'intervento, cioè sugli allievi. Mai, o molto raramente, sugli operatori educativi. Se uno studente non ha appreso è senz'altro colpa sua. Nessuno pone in dubbio le capacità professionali o la metodologia educativa dell'insegnante. Anzi, a parte rare eccezioni, la regola degli incontri collegiali è la conservazione del quieto vivere: "Io faccio finta di approvare ciò che fai tu, ma tu fai altrettanto". Dove si arriva altrimenti con queste riunioni chilometriche? In questo modo però non si ha mai la possibilità di "aggiustare il tiro" o di modificare e migliorare le motodologie pedagogiche e didattiche degli insegnanti o l'organizzazione. C'è quindi una terza risposta: "Per riflettere su ciò che ha facilitato o ostacolato l'intervento progettato e realizzato dagli insegnanti".Si tratta in questo caso di verificare l'efficacia di un intervento considerando le variabili che lo hanno condizionato: preparazione dell'insegnante, metodi usati, situazione della classe, clima della scuola, rapporti interpersonali, funzionamento degli organi collegiali ecc.

In questo senso una ulteriore considerazione è l'analisi del rapporto che emerge fra spese e risultati ottenuti. Si tratta di un rapporto economico che però non tiene conto solo dei soldi impiegati nell'impresa effettuata, ma anche delle risorse psicologiche disperse nella realizzazione di un'azione pedagogica. Vale la pena di pagare alti prezzi finanziari e psicologici per risultati che non possono essere considerati soddisfacenti?A volte nella scuola pare che, qualsiasi cosa succeda, l'importante è tener fede alle proprie idee e punti di vista, anche se la realtà dice che forse occorrerebe cambiare. Se le situazioni valutative manifestano la dipendenza dell'aspetto pedagogico ed educativo da determinazioni esterne e se queste ultime tendono a giocare essenzialmente un ruolo di controllo, ciò non porta comunque alla negazione dell'importanza o della validità della valutazione.Valutare significa quindi utilizzare degli strumenti che rendano un'organizzazione cosciente dei propri problemi e capace di autocorreggersi e di innovarsi. Il cambiamento di una istituzione può essere deciso solo dopo una attenta analisi della situazione che rilievi le carenze, le insoddisfazioni e l'inadeguatezza dell'esistente. Non basta dire che qualcosa non va; occorre sapere con precisione dove stanno i problemi e le parti non funzionanti per poter intervenire con consapevolezza e sistematicità. E d'altra parte bisogna proporsi un intervento possibile per evitare successivamente frustrazioni e scontentezze peggiori del male che si voleva togliere. Ci sono cambiamenti che si possono fare perchèdipendono dall'istituzione stessa che li desidera. In altri casi le innovazioni richiedono interventi a livelli più alti ed in senso più ampio, fino a coinvolgere il sistema politico e sociale in cui l'istituzione vive.Valutare correttamente significa quindi evitare deliri di onnipotenza che possono trasformarsi in depressioni da impotenza e trovare gli insterstizi nei quali agire efficacemente in vista di un miglioramento della capacitàdel proprio intervento.


2 COSA E QUANDO VALUTARE?

I due principali interrogativi che si incontrano nel campo della valutazione riguardano gli ambiti in cui e possibile valutare ed i momenti intesi non solo come scandenza temporale, ma anche come situazioni ottimali per eseguire un intervento in tal senso.Il "cosa" valutare è determinato dalle caratteristiche dell'organizzazione-istituzione scolastica. Per esempio non essendo un'impresa che produce manufatti non è possibile prevedere un riscontro in campo produttivo: non si possono contare gli oggetti finiti. Le variabili che intervengono in un processo educativo sono molteplici e non tutte sono misurabili perchè dipendono da sfumature di comportamento di almeno 4 fattori: l'organizzazione scolastica, l'insegnamento, l'allievo, la comunità circostante. A queste se ne aggiunge un quinto che è rappresentato dallo stato delle interrelazioni fra i fattori indicati.

L'organizzazione scolastica: la scuola si fonda su un modello gerarchico piramidale che ha al suo vertice il dirigente scolastico e che viene riprodotto in ogni plesso. Considerando questo aspetto bisogna anche tener presente:

  • - i tipi di riunioni che si effettuano nella scuola
  • - l'esistenza di integrazioni quali il doposcuola, il tempo pieno
  • - l'esistenza di attività formative parallele quali le "160 ore"
  • - la presenza di attività di sostegno con insegnanti specifici
  • - la presenza della mensa nel plesso scolastico

L'insegnante: è un professionista che si guadagna giornalmente competenze in campo educativo. In effetti è preparato da una scuola ampiamente inadeguata a soddisfare i suoi bisogni professionali ed arriva al suo primo giorno di insegnamente quasi privo di strumenti specifici necessari al suo lavoro. Nella valutazione dell'insegnante occorre tener conto anche delle sue conoscenze, delle tecniche che sa usare e delle sue capacità personali.

L'allievo: fondamentalmente è un individuo in via di sviluppo, bombardato da una serie di stimoli diversi e spesso anche in contrasto fra loro. Su di lui agiscono forze educative ufficiali come la famiglia e la scuola, e clandestine come i mass-media; questi ultimi non sono certo da sottovalutare quanto ad influenzamento.

La comunità circostante: i genitori degli allievi, i rappresentanti della vita politica e culturale, gli opinion leaders che costituiscono il contesto esterno della scuola, la cultura locale. Già prima che esistessero gli organi collegiali questa era una dimensione importante per i suoi riflessi sulla vita scolastica.

Le interrelazioni fra i fattori indicati: tutte queste variabili producono come risultante un certo intervento educativo. Per fare una valutazione il più esatta possibile e quindi necessario prendere in considerazione queste diverse dimensioni tutte insieme o una per volta, a seconda delle necessita o degli obiettivi di un procedimento valutativo.Ma quando si può o si deve procedere ad una valutazione?In ambiente scolastico credo che occorrerebbe valutare il processo educativo ogni volta che ne vengono valutati gli utenti, poichè le componenti che si dovrebbero analizzare per una valutazione sono 5 e occorrerebbe analizzarle tutte.

Un altro momento adatto ad una valutazione è quello nel quale le frustrazioni e lo scontento superano le soddisfazioni ottenute dal proprio lavoro. Tutti sanno che, se è vero che si lavora per vivere, è anche vero che si e più contenti se dal lavoro si ricavano delle soddisfazioni. Spesso nel mondo scolastico le delusioni derivano dalla struttura scolastica piuttosto che dal rapporto diretto con gli allievi. Addirittura, in genere questa è la parte dell'esperienza ritenuta positiva e irrinunciabile per proseguire la propria attività. Le disfunzioni derivano invece dal clima scolastico, dai rapporti che si determinano con i colleghi, dalle difficoltà di accettazione dell'ambiente scolastico, da conflitti ideologici che si trasformano o vengono vissuti come conflitti personali. Un collegio docenti troppo silenzioso o troppo rissoso; un consiglio di istituto che si occupa solo del suo bilancio; un consiglio di classe all'interno del quale non esistono comunicazioni circolari; una classe i cui allievi sono eccessivamente svogliati ed indisciplinati. Tutte queste sono altrettante occasioni di valutazione. Quando si vive in un disagio, di qualsiasi natura esso sia, conviene chiedersi il perchè se si vuole trovare una soluzione. Chiudere gli occhi per non vederlo può essere, a lungo andare, distruttivo e pericoloso. In campo operativo si raggiungono buoni risultati solo se e quando si riesce a trovare un clima collaborativo e partecipativo, un senso di appartenenza all'ambiente scolastico. Molto spesso se il lavoro non funziona è perche ci sono problemi di ordine psicologico e sociale che determinano una serie di ostacoli. Se si vuole migliorare la situazione occorre dunque prevedere un intervento che la chiarifichi aumentando la consapevolezza dei problemi e delle cause che li hanno determinati. In un secondo tempo si potrà decidere se e come apportare delle modifiche, pur tenendo conto che la coscienza è già un cambiamento.E se tutti sono soddisfatti del loro operato? La valutazione può fornire elementi per un' utile riflessione che tenda a migliorare ulteriormente la situazione o a stimolare ulteriori innovazioni. D'altr parte c'è anche la possibilità che la soddisfazione non corrisponda con l'efficacia degli interventi educativi. In questo caso fare una ricerca valutativa significa verificare l'esistenza di processi in questo ambito.Così intesa la valutazione è un modo di progettare il futuro ed ha quindi in se spunti vitali e non distruttori come spesso si crede.


3) COME SI VALUTA

Il problema sta nel sapere come si fa a raccogliere informazioni utili per valutare. Quali sono gli strumenti disponibili? Valgono in tutte le situazioni? Come si fa ad analizzarli correttamente? Queste sono solo alcune delle domande che nascono spontanee a chi decide di procedere a valutare la situazione. La cosa si complica poi se si pensa che l'obiettivo è quello di fare delle interpretazioni in base a dati oggettivi.Essendo la scuola un sistema istituzionale a carattere sociale, occorre trovare un sistema di indicatori sociali tale da consentire l'individuazione dei connotati della situazione.

Sorge qui il primo problema metodologico. E' necessario infatti che gli indicatori non siano funzionali agli interessi di chi propone la valutazione; e cioè necessario che alla funzione conoscitiva non si sostituisca quella del controllo sociale. Storicamente la ricerca-valutazione in campo sociale è nata utlizzando una serie di indicatori oggettivi che "coprivano" gli aspetti della vita sociale che erano quantificabili e traducibili in misure statistiche. Per esplorare, ad esempio, l'area sociale "scuola" si consideranva il numero delle aule in rapporto al numero degli allievi; il numero degli insegnanti disponibili per allievi; le strutture parascolastiche esistenti ecc. In seguito questi indicatori oggettivi vengono integrati con indicatori soggettivi che, a lungo andare, diventano il nucleo fondamentale di questo tipo di ricerca. Questo cambiamento si deve a H. Cantrll e a N. Bradburn, i quali sostengono che il campo specifico di ricerca è quello dell'esperienza individuale poichè le aspirazioni, i valori, lo statement sulla base del quale un individuo giudica la propria esistenza, derivano dalla sua esperienza diretta. E' quindi dall'interazione fra il soggetto e l'ambiente che gli sta intorno che deriva la serie di informazioni sulla base delle quali ciascuno formula il suo giudizio di valore. Il sociale in senso generale non è più l'oggetto della ricerca; ad esso si sostituisce l'individuo: lo studio della sua esperienza che è indirettamente conoscenza del mondo oggettivo. Indicatori sociali soggettivi diventano quindi i sentimenti, le emozioni, i desideri, le aspirazioni, le frustrazioni.

Fra i ricercatori esiste tuttora un dibattito aperto a proposito degli indicatori soggettivi. La principale obiezione che viene fatta a questo tipo di ricerca è la convinzione che essa non fornisce dati misurabili, proprio perchè soggettivi. Ma in psicologia "misurare" non corrisponde a "quantificare", bensì a "possibilità di trattamento dei dati". Il comportamento umano è determinato dalle valutazioni personali che ciascun individuo fa e dipende dal come percepiamo tutto ciò che è esterno a noi. Tutto questo è soggettivo? Certamente,ma innegabilmente determina un'influenza determinante.Resta dunque aperto il problema se il numero degli allievi promossi o la loro riuscita successiva sia significativo per valutare l'andamento dell'organizzazione scolastica. Per capire basta un semplice esempio tratto dal mondo economico: se si ha un aumento misurabile dell'aumento del reddito medio degli italiani ciò non significa che gli italiani siano piu felici, ma significa solamente che i loro introiti, per cause diverse, sono aumentati. Si puo dunque dire che benessere e qualita della vita sono due sfere ben distinte. Il primo èinfatti connesso ai bisogni ed è proporzionabile alla loro soddisfazione, mentre la seconda dipende dalle percezioni soggettive e dalle esperienze individuali. Ciò significa che realtà e vissuti psicologici non sono strettamente connessi ed interdipendenti.Non basta perciò avere una scuola nuova con aule ben arredate e molti sussidi didattici per essere soddisfatti di ciò che si fa.Dal punto di vista operativo la frustrazione percepita da una persona ha lo stesso valore e significato di denuncia di un disagio reale dovuto a cause riscontrabili (per es, l'aula umida). La ricerca psicologica ha come criterio conoscitivo l'esperienza individuale e come criterio di valutazione le aspirazioni individuali.Da questo punto di vista cio che è importante non è la rilevazione quantitativa di un certo fenomeno, ma il modo in cui ogni singolo individuo lo vive e lo giudica.La raccolta di dati oggettivi è problematica in quanto essi non sono univoci: le immagini soggettive variano da individuo a individuo e, a distanza di tempo e di situazione, possono variare anche nello stesso individuo e non sono controllabili nella realtà oggettiva.A questo punto il problema può sembrare insolubile; ma se pensiamo che quando si dice ad es. che gli italiani mangiano 1/2 pollo a testa al giorno, ciò non significa che questo accada realmente nella realtà perchèc'è chi mangia un pollo intero e chi non ne mangia assolutamente, ci rendiamo conto della relatività degli stessi dati ottenuti dalle cosiddette ricerche oggettive e statistiche.Se 15 insegnanti su 20 ci dicono che non sono soddisfatti del loro lavoro, questa affermazione è vera o falsa? Ne dobbiamo o no tener conto? Si tratta certamente di una realtà che ha ripercussioni sull'andamento dell'attivitàscolastica e come tale e significativa in un momento di valutazione. Si tratta se mai di sostituire alla completa soggettività l'intersoggettività, cioè di considerare l'istituzione scuola come l'insieme di sentimenti, atteggiamenti, percezioni ecc. che agiscono all'interno degli individui per motivazioni soggettive e psicologiche.Si tratta di un tentativo di studio del comportamento collettivo dal punto di vista psicolgico. Si passa perciò di una concezione totalizzante obiettivistica ad una concezione obiettivo-soggettiva che tenda a recuperare le problematiche proprie dell'individuo in quel momento. Si valorizza quindi la componente umana spesso trascurata a favore della presunta obiettività.Se si tiene conto che, trattandosi di un ambiente di lavoro a carattere sociale, la sua "produttività" è connessa alle modalità di rapporto esistenti fra le varie componenti, ne risulta che l'importanca di un simile modello valutativo e fondamentale.

Dunque le variabili significative in questo campo sono:

  • - la soddisfazione
  • - la percezione dei problemi
  • - la speranza nella risolvibilità dei problemi
  • - la fiducia in sè e negli altri
  • - il senso di appartenenza
  • - il clima affettivo generale
  • - la consapevolezza
  • - i rapporti interpersonali
  • - la percezione dell'esterno
Uno degli strumenti più adatti a questo tipo di ricerca è il questionario strutturato. Si tratta di un questionario diviso in varie parti-sezioni, ognuna delle quali analizza gli aspetti di un particolare problema ritenuto importante per l'individuo. Nel caso si vogliano analizzare piu fattori interessati al processo educativo e le interrelazioni fra essi, ènecessario prevedere un questionario specifico per ognuna di esse, con parti simili e parti specifiche.


4) COME SI COSTRUISCE UN QUESTIONARIO (QS)

Quando ci si appresta a costruire uno strumento di valutazione occorre tener presente alcune regole fondamentali che consentono di procedere correttamente e di ottenere risultati significativi.

  1. la formulazione della domanda deve essere chiara: ogni domande deve essere posta in modo da prevedere un'unica risposta interpretabile in modo predeterminato;
  2. deve essere spiegato in modo chiaro come si deve fare a rispondere
  3. prima di procedere alla costruzione dello strumento è necessario averechiari gli obiettivi dell'intervento e le variabili che si intendonoesplorare
  4. il questionario deve contenere una parte informativa sul compilatore che consenta comunque l'anonimato
  5. ogni domanda deve riguardare un argomento
  6. le domande non devono contenere in sè la risposta
  7. il linguaggio deve essere il più possibile semplice
  8. le domande devono essere chiuse, cioè devono prevedere una serie di risposte che riproducano tutte le possibilità esistenti, lasciando eventualmente uno spazio per ulteriori risposte autonome individuali. Le risposte aperte sono di difficile e spesso dubbia interpretazione. Nel caso la domanda preveda una risposta valutativa, è necessario prevedere valutazioni positive e negative in ugual numero ed una risposta di incertezza
  9. il questionario non deve essere troppo lungo perchè in caso contrario è possibile che il compilatore non lo completi
  10. occorre inserire alcune domande di controllo
  11. è necessario provare il questionario prima di utilizzarlo su alcune persone campione


5) CONDIZIONI NECESSARIE AL SUCCESSO DELLA VALUTAZIONE

Un'inchiesta, di qualsiasi tipo essa sia, fa scattare quasi automaticamente delle resistenze: ci si difende per paura che qualcuno in qualche modo ci spii. Si tende allora a mistificare le risposte, a nascondersi. Per evitare ciò occorre tener presente alcune regole etiche o accorgimenti pratici tali da consentire il maggior livello possibile di partecipazione e di coinvolgimento.
  1. il QS va presentato ai destinatari in modo che essi ne conoscano le finalità e le motivazioni che hanno spinto al suo utilizzo
  2. nella premessa è necessario specificare che i risultati dell'intervento saranno resi pubblici e discussi con i compilatori, in modo che diventino patrimonio comune e fonte di utili riflessioni
  3. si deve assicurare l'anonimato
  4. i dati ottenuti dal QS devono essere restituiti ai compilatori in tempi stretti perchè non cadano le motivazioni e l'interesse
  5. si deve individuare uno spazio adeguato alla lettura dei dati emersi
  6. la' dove sia possibile si deve allargare il gruppo di coloro che preparano lo strumento, senza per questo divulgarlo anticipatamente a tutti coloro che lo dovranno poi compilare.

Margherita Sberna
Dispensa distribuita nei corsi per Managers Scolastici / ARIPS