Søk i denne bloggen

tirsdag, mai 21, 2013

En vurdering av konsulentrapporten




Kandidatene har levert en rapport som skal «kartlegge og analysere tilstanden ved Fjell skole». Rapporten mangler et klart fokus. Hva er det ved tilstanden som ønskes kartlagt og analysert? Det sies at en stor andel av elevene «presterer under kritisk grense på nasjonale prøver». Kandidatene viser manglende forståelse av bakgrunnsdata for slike prøver. At en skole med en høy andel minoritetsspråklige elever som ikke fratas på prøver, skårer dårligere enn gjennomsnittet i landet, burde ikke overraske noen. Kandidatene burde diskutere dette. Hensikten med de nasjonale prøvene er ikke å sammenligne en skole med andre skoler. Hensikten er å bruke dataene til kvalitetsutvikling i opplæringen.

Under metodedelen skriver kandidatene at de blant annet bruker intervju. Det sies ingenting mer om metoden annet enn at 42 personer på ulike avdelinger ved skolen har blitt intervjuet. Er de tatt opp, slik at de er etterprøvbare? Er de transkribert? Hvordan er de analysert? Har informantene fått lese intervjuene i ettertid, slik at de kunne godkjenne dem (kjenne seg igjen)? Hvorfor er ikke intervjuguiden lagt ved, slik at leseren kan se hva slags spørsmål kandidatene har stilt? I konklusjonen kommer kandidatene med noen anbefalinger, som blant annet skal være basert på observasjoner, men observasjoner er ikke brukt som metode i det hele tatt.

Kandidatene bruker gjennomgående ladede uttrykk som ikke defineres, og som får rapporten til å framstå som subjektiv med en klar agenda. Eksempler på dette er «pionerperiode», «idealisme», «sterke kulturbærere», «flerkulturell egenart». Videre benytter kandidatene seg av uttrykk som «det virker som om». Dette strider mot det synet kandidatene forfekter i innledningen: «et eksternt og objektivt syn». Det samme gjelder måten datamaterialet presenteres på, med uttrykk som «påfallende mange».

Kandidatene har mange konklusjoner i rapporten, men det er vanskelig å se hva de er basert på. «Høy grad av autonomi» tolkes negativt. «Lite utviklet kollektiv læringskultur» kan ikke sies å være unik for denne skolen, men blir presentert som det av kandidatene. PISA har vist at Norge er i en spesiell situasjon, i og med at det er større forskjeller mellom klasser på en skole enn mellom skoler. Kollektiv læringskultur er altså noe som kan problematiseres i Skole-Norge generelt. Dette blir ikke problematisert av kandidatene. Nesten samtlige anbefalinger i konklusjonen er generelle, og kunne vært sagt om hvilken som helst skole, med unntak av punkt en og to som gjelder avsetting av rektor og erstatning av vedkommende med assisterende rektor.

I sin klage på vurderingen, fremsatt i en kronikk i Drammens Tidende 11. mai, skriver kandidatene at man ikke kan kvantifisere kvalitative data. Det er ikke riktig. Alle kvalitative data vil måtte kvantifiseres for å bli håndterlig, og alle kvantitative data må håndteres med kvalitativ skjønn for å kunne tolkes. Med en gang man bruker uttrykk som «flertallet» og «mange», har det skjedd en kvantifisering av kvalitative data. Det er en stor mangel ved rapporten at det ikke oppgis hvor mange «flertallet» og «mange» er. Dette blir enda alvorligere når informantene i ettertid sier at de ikke kjenner seg igjen i presentasjonen.

Rapporten i sin helhet sier lite om det kandidatene har satt seg som mål, nemlig å kartlegge og analysere tilstanden ved en skole. For å få forståelse av en kultur, må kandidatene oppholde seg lengre på skolen og benytte seg av observasjoner i tillegg til intervjuer. Hensikten med rapporten må ha et tydeligere fokus. Metoden må bli mer transparent, slik at leseren forstår hvordan kandidatene har gått fram i innsamling og analyse av data. Analysene og tolkningene må presenteres på en ryddig måte: hva er kandidatenes tolkning, hva er informantenes utsagn, hvor stor andel mener hva, hva slags «motbevis» finner kandidatene for «flertallets» utsagn. Ikke minst bør kandidatene vurdere etikken i å mene så mye om en hel skole på et så tynt grunnlag og basert stort sett på subjektive betraktninger.

Det kreves ikke av en slik rapport at teori skal brukes og referanser legges ved, men det minste kravet for å kunne bestå er å være tydelig på hva som gjøres, hvordan det gjøres og hva konklusjonene bygger på.

Publisert i Drammens Tidende 21. mai 2013

2 kommentarer:

Asle Lien sa...

Hei Tony - velskrevet, som vanlig

Jeg ser du ikke bare setter spørsmålstegn, men slakter det kvalitetsmessige innholdet i rapporten. Og med dette som innfallsvinkel, mener du at man ikke skal ta rapporten alvorlig, overhodet? Jeg mener ethvert utsagn som fokuserer negativt ved "noe", og særlig når det kommer i en skriftlig rapport, bør taes på det største alvor - uavhengig hvilke akademiske kriterier rapporten oppfyller - eller mangel på sådan.

Med vennlig hilsen
Asle Lien

Tony sa...

Takk for kommentar, Asle.

Ja, det mener jeg. Jeg vet ikke hvilke akademiske kriterier du henviser til, men som jeg forsøker å få fram i kronikken er det i det hele tatt vanskelig å se hva konsulentene skulle gjøre, hvordan de gjorde det, hva de kom fram til, hva konklusjonene er basert på osv.

Med andre ord: en rapport som ikke er verdt papiret den er skrevet på.

Ikke bare jeg, men utallige lærere, forskere, ledere og andre har skrevet om hvor dårlig kvaliteten på rapporten er. Det er vel, så vidt jeg skjønner, kun bestiller og forfattere som synes rapporten holder mål.

Tony