Stig Bjørshol, Inge Vinje, Øyvind Wistrøm:
Evaluering av ENSI 3 : Miljølære og skoleutvikling : Første rapport
Copyright © 2000 forfatterne

Forrige sideInnholdNeste side

3. METODE



3.1 Innledning

Grunnlaget for våre metodevalg i den forskningsmessige evalueringen av ENSI 3 har vært todelt. Dels har det dreid seg om oppdragsbeskrivelsen fra KUF og dels om målene for prosjektet - og den norske presiseringen av disse - slik de framkommer i KUFs invitasjonsbrev av 19.01.98 til Statens utdanningskontorer (vedlegg 4).

Videre har det vært en forutsetning at evalueringsarbeidet skal inndeles i to faser, der det fokuseres på forskjellige aspekter og nivåer i prosjektet:

    Fase 1:

    En forsøksvis registrering av status før prosjektet startet, samt en registrering av de eventuelle endringer som så langt har foregått på skolene. På dette stadiet har vi vært opptatt av hva som har skjedd, samtidig som vi antyder hovedutfordringer i et skoleutviklingsperspektiv.

    Fase 2:

    Skal gjennomføres når skolene er godt i gang med eller i avslutningen av prosjektet. Med utgangspunkt i resultatene fra fase 1 skal det her gjøres en dybdeanalyse av de forskjellige skolene. Videre skal helheten i oppdragsbeskrivelsen fra KUF, inklusiv en vurdering av korrespondansen mellom de forskjellige impliserte etater, besvares.

Oppdragsbeskrivelsen forutsetter at forskergruppa utarbeider felles rapporteringsskjemaer for skolene i henhold til disse to fasene.

3.2 Problemstillinger knyttet til Fase 1

I fase 1 av evalueringen - og i denne rapporten - er spørsmål og svar som kan beskrive hva som faktisk har skjedd ved den enkelte skole, blitt satt i fokus. Rapporteringsskjemaene har derfor hatt til hensikt å få svar på følgende hovedspørsmål:

  • Hvordan er prosjektet forstått på den enkelte skole
  • Hvordan er prosjektet organisatorisk etablert på skolen
  • Hva var "før-situasjonen" på skolen med hensyn på prosjekterfaring, tverrfaglig samarbeid samt ekstern kontakt og samarbeid.
  • Hva var rektors og læreres motivasjon for deltakelse i prosjektet
  • Hva har prosjektet ført til av eventuelle endringer i undervisningssituasjonen og i intern og ekstern kontakt.
  • Hvilken utvikling av eller endring i skolen har funnet sted som et resultat av ENSI 3

3.3 Strategier i arbeidet med Fase 1

Flere av våre problemstillinger av en slik karakter at de har vært vanskelige å etterprøve direkte. Dette har ført til at vi i stor grad har måttet anvende indikatorer. Dette gjelder spesielt spørsmålene om hvordan skolene har forstått prosjektet, og hvilken utvikling eller endringer som har skjedd i skolen som et resultat av ENSI 3.

Det er et uttalt kriterium for prosjektet at det skal være en bred tilnærming med lik vekt på miljøfaglige og pedagogiske mål der en knytter sammen arbeid med Lokal Agenda 21 (lokal dagsorden for miljøvern i det 21. århundre) og utvikling av skolen som en dynamisk organisasjon. Når det gjelder skolenes forståelsen for denne brede og "todelte" tilnærming, har vi benyttet organisering som hovedindikator og søkt å avdekke om skolen gjennom sin organisering fremmer helheten i prosjektet.
Når det gjelder spørsmålene som søker å avdekke hvordan selve miljøprosjektet er organisert og gjennomført så langt, kunne svarene vært ytterligere dokumentert og begrunnet bl. a. ved observasjon og intervju. Som grunnlagsmateriale i denne fasen og denne rapport, har vi imidlertid ikke benyttet slike metoder for å etterprøve svarene fra våre respondenter.

Hvilke endringer eller utvikling som har skjedd i skolen som et resultat av deltakelsen i prosjektet, er forskningsmessig svært komplisert. Dette gjelder i første rekke utviklingen av skolen som en dynamisk organisasjon, og ikke i samme grad den miljøfaglige delen. Det å kunne avdekke hvilke variabler som har betydd hva i forhold til endringsprosessene ved den enkelte skole, har vi ikke gått inn på i denne fasen av prosjektet. Slike variabler kan for eksempel være rektors holdninger, innstillinger og prioriteringer i praksis, eller lærerpersonalets generelle holdninger til endring, og tidligere skoleutviklingshistorie. Vi har mer søkt å avdekke hvilke endringer som har skjedd, og ønsker i neste rapport å gå dypere i dette spørsmålet på en mer kvalifisert måte.

I arbeidet for å finne fram til respondenter som kan gi en gyldig informasjon knyttet til de spørsmål som vi har vært ute etter å belyse, har vi hatt mange overveielser. Ved å overlate utvelgelsen til skolene selv, og til de mest delaktige i prosjektgjennomføringen, stod vi i fare for å få en fortegnet positiv informasjon. Ved å la et tilfeldig utvalg, for eksempel en viss prosentandel lærere, valgt ut fra alfabetet, besvare spørsmålene, ville det føre til at vi fikk et fortegnet bilde av både skolen og prosjektet, uten at vi hadde muligheter til å etterprøve dette i denne fasen. Den endelige beslutningen ble at rektor ved alle skolene skulle besvare et spørreskjema beregnet på rektorer, og at rektor selv valgte ut de lærere som er mest involvert i prosjektet, til å besvare et spørreskjema beregnet til lærere.

Denne strategien har gitt oss muligheten til å utvikle og presentere vår forståelse av den enkelte rektors ståsted i prosjektet. I denne rapporten blir dette blant annet benyttet som grunnlag for vurderingen av den enkelte skole (kapittel 4). Videre vil det bli fulgt opp i dybdeanalysen av den enkelte skole i fase 2, der rektors rolle og funksjon i skoleutviklingsdelen av prosjektet, vil være et viktig element. Vår beslutning om å la rektor velge ut de lærere som er mest involvert i prosjektet, er begrunnet ut fra behovet om å få tilstrekkelig relevante informasjoner til å beskrive det som faktisk skjer i prosjektet ved den enkelte skole.

3.4 Oversikt over metodene som er brukt i Rapport nr. 1

I arbeidet med å finne svar på problemstillingene i denne rapporten har vi benyttet kvalitative og kvantitative metoder ved innhentingen av informasjoner fra deltakerne. Videre har vi også foretatt studier av relevante dokumenter. De kvalitative metodene vi har benyttet, har vært individuelle intervjuer av sentrale personer ved SU-kontorer, rektorer og vaktmestere, samt gruppeintervjuer og fokusbaserte drøftinger med utvalgte representanter fra 13 av skolene. Kvantitative data er innhentet fra rektorer og noen utvalgte lærere.

I det følgende gir vi en oversikt over metodene med korte kommentarer i den rekkefølge vi har benyttet dem i dette arbeidet.

Analyse av skriftlig korrespondanse og andre grunnlagsdokumenter i prosjektet.
Vi har hatt tilgang på all korrespondanse mellom KUF, SU-kontorer og de enkelte skoler. Videre har skolenes prosjektplaner, invitasjonsbrevet fra KUF og tidligere evalueringer av ENSI 1 og ENSI 2 vært benyttet. Analysen av skriftlig materiale har vært et viktig bidrag til vår forståelse av prosjektet og den forskningsmessige hensikten med evalueringen.

Intervjuer og besøk på utvalgte skoler
Vi besøkte to skoler i mai -99: Nesheim skole i Arendal kommune og Reithaug skole i Levanger kommune. Ved begge skolene gjennomførte to forskere i fellesskap et individuelt intervju og gruppeintervju med rektor og to lærere, samt vaktmester. Grunnlaget for deler av intervjuet var en gjennomgang av dokumenter og korrespondanse vedrørende prosjektet. Forskerne hadde også møte med de respektive skolenes SU-kontorer.

Utarbeiding og analyse av rapporteringsskjema, samt utkast til rapport nr. 1
På bakgrunn av dokumentanalysen og disse to besøkene, ble det utarbeidet to rapporteringsskjemaer: ett til rektor og ett til lærerne. Enkelte av spørsmålene i disse to skjemaene er identiske. Dette er gjort for å fange opp eventuelle likheter og forskjeller i hvordan rektor og lærere oppfattet situasjonen. Med bakgrunn i det ovennevnte grunnlagsmateriale, samt vår analyse av de spørreskjema vi har mottatt, ble også utkastet til rapport 1 utarbeidet.

Tilbakemeldinger på utkast til rapport nr. 1
Et utkast til rapport 1 ble først lagt fram og drøftet i referansegruppen for prosjektet. Deretter ble den sendt ut til alle skolene, med beskjed om at forskergruppen ville ha tilbakemeldinger på utkastet, spesielt fra den delen som gjaldt egen skole. På arbeidsseminaret 4. og 5. november, med deltakere fra prosjektskolene, referansegruppen, KUF og forskergruppen, ble denne tilbakemeldingen gitt. Tilbakemeldingen ble gitt gjennom fokusbaserte drøftinger.

3.5 Prosjektdeltakelse og besvarelser

Antall skoler i undersøkelsen
I utgangspunktet deltok 22 skoler i ENSI 3. Alle disse fikk rapportskjema tilsendt.
Av de 22 var det fem skoler som meldte at de ikke var involvert i ENSI. De fem skolene er Overhalla Videregående, Barbu videregående, Moltemyr skole, Haraldreina skole og Mære landbruksskole. Av de resterende 17 skolene kom det svar fra 13, dvs. at fire skoler ikke har svart til tross for flere purringer. Skolene ansees som deltakere i ENSI, men inngår ikke i svarstatistikken.

Tabell 1: Skoledeltakelse

     

    Ant

    %

    Påmeldte skoler

    22

    100

    Antall "avmeldte" skoler

    5

    23

    Antall skoler som har svart

    13

    59

    Antall skoler som ikke har svart

    4

    18

De skolene som eksplisitt har meldt seg ut av ENSI 3 har oppgitt ulike begrunnelser:

  • Manglende økonomisk støtte til skolen.
  • Veileder skiftet jobb og rektor fant ikke noen ny "ildsjel".
  • Skolen gjennomfører ENØK, men anser seg ikke for å være med i ENSI-prosjektet.

To skoler ikke har oppgitt noen eksplisitt grunn.

I forbindelse med departementets Arbeidsseminar i ENSI-nettverket 4. og 5. november 1999, deltok to av de fire skolene som ikke har besvart spørreskjemaene. Forskergruppen intervjuet og mottok svar på spørreskjemaene fra disse to skolene, Stokkan ungdomsskole og Fosslia skole i Nord-Trøndelag. Tilbakemeldingen fra disse to kommer såpass sent i forhold til de 13 andre skolene, at tilbakemeldingen ikke er innarbeidet i denne rapporten. De vil imidlertid danne bakgrunn for analysen av ENSI-prosjektet i senere rapporter.

Besvarelser av spørreskjemaene

Tabell 2: Besvarelser (fra vedlegg 1)

     

    Ant

    %

    Svarskjemaer i alt

    30

    100

    Skoler som har besvart

    13

    59

    Besvarelser fra lærere

    17

    57

    Besvarelser fra rektorer

    13

    43

Ved de fleste skolene har rektor og en lærer besvart spørreskjemaene. Fra to grunnskoler, Reithaug og Nesheim, har vi mottatt svar fra rektor og to lærere, og fra to videregående skoler, Tingvoll og Smøla, har vi mottatt svar fra rektor og tre lærere. Det ble sendt ut ett lærerskjema til hver skole, men med beskjed om at det skulle kopieres og besvares "av de lærerne som aktivt deltar i ENSI" (vedlegg 2). I og med at vi har mottatt kun ett lærersvar fra de fleste skolene, vil dette kunne tolkes dithen at det er én lærer som har vært mest aktiv og hovedansvarlig for ENSI 3.

3.6 Gjennomføring av undersøkelsen og behandling av data

De første rapporteringsskjemaene ble sendt til skolene i juni -99, bare 1 uke før lærernes sommerferie. Dette førte til at vi mottok svært få besvarelser før sommerferien. Etter flere "purrerunder" mottok vi enkeltbesvarelser fram til begynnelsen av september. En annen forklaring på at skolene ventet så lenge med svarene, er nok også at flere av skolene ikke hadde startet opp med prosjektet før skoleåret 1999/2000.

Disse rapportskjemaene har dannet grunnlaget for den statistiske oversikten som er vist i vedlegg 1. Dette er en grov statistikk, som gir en total oversikt over det materialet som har kommet inn. Tabellen skiller ikke mellom de forskjellige skolene, som er nærmere beskrevet i kapittel 4.

I ettertid ser vi at skjemaene ikke har vært entydige i alle spørsmål, og at spørsmål har vært irrelevante for enkeltpersoner eller for skolene i den nåværende fasen av prosjektet. Som eksempel kan nevnes at på en skole ble lærerskjemaet utfylt av verneombudet, med minimal undervisningsplikt, og at vedkommende derfor ikke hadde forutsetninger for å svare på alle spørsmål. I slike tilfelle kan dette føre til at et fortegnet bilde av skolen.

Det statistiske tallmaterialet er derfor bearbeidet noe, og enkelte av rapporteringsskjemaets spørsmål eller svaralternativ er slått sammen til "hovedspørsmål" i den statistiske oversikten. Hensikten med dette er å få fram tendenser i stedet for detaljer.
Skjemaene er lest manuelt og er ikke behandlet gjennom noe statistisk dataprogram. Dette er gjort for å kunne fange opp situasjonen i den enkelte skole som så vil bli drøftet i kapittel 4.

I den statistiske oversikten blir svarene ført opp som prosent og som antall svar, dvs. som ren opptelling. Til de sistnevnte spørsmålene vil antall svar være identisk med antall skjemaer (dvs. 13 eller 17). I andre spørsmål hvor det kan krysses av for flere alternativer, vil svarantallet kunne bli høyere.

For et par spørsmål inneholder svarskjemaet graderinger (for eksempel: I hvilken grad er flg. personer involvert i undervisningen). I den statistiske oversikten er disse svarene omregnet, slik at det høyest mulige positive svaret ville for alle skjemaene til sammen gitt 100 poeng.

Forrige sideInnholdToppen av sidenNeste side

Stig Bjørshol, Inge Vinje, Øyvind Wistrøm:
Evaluering av ENSI 3 : Miljølære og skoleutvikling : Første rapport

Copyright © 2000 forfatterne
Høgskolen i Vestfold