Hans A. Hauge:
HENÆR-senterets evaluering av
Prosjekt Endelig Lørdag i Valdres 1998
Copyright © 1999 forfatteren

Previous PageTable Of ContentsNext Page

2.Metodiske tilnærminger, ressurser og habilitet



I dette kapittelet skal ulike sider ved rammene evalueringen har vært gjennomført innenfor presenteres. Det gis først en kortfattet oversikt over ressursmessige rammer for evalueringsprosjektet. Disse rammene viser til helt reelle begrensninger evalueringen har måttet forholde seg til, noe som selvfølgelig virker inn på ambisjonsnivå og muligheter til å gi rimelig sikre svar på evalueringsspørsmålene. Derpå følger en oversikt over de metodiske tilnærmingene som er brukt i evalueringen. Et hevdvunnet prinsipp innen forskning (også evalueringsforskning), er at leseren skal ha kjennskap til hvilke fremgangsmåter som er brukt (Hellevik 1995). Dette blant annet for å vurdere hensiktsmessigheten i metodevalg og metodebruk. I tilknytning til presentasjonen av rundspørringen som er gjennomført, vises det også en oversikt over sentrale variable (egenskaper evalueringen analyserer). Endelig er spørsmålet om habilitet viktig i denne evalueringen, på grunn av det nære samarbeidet mellom HENÆR-senteret og Borgestadklinikken.

Table Of ContentsTop Of Page

2.1 Rammer evalueringen har vært gjennomført innen

Forfatteren av denne rapporten, sosiolog Hans Hauge ved HENÆR-senteret, Høgskolen i Vestfold, har disponert en timeressurs tilsvarende 433 timer (tilnærmet lik 12 ukeverk). I tillegg er reise- og kostutgifter i tilknytning til datainnsamling dekket. Timeressursen dekker både nødvendig forarbeid (blant annet gjennomgang av relevant forskningslitteratur), datainnsamling og rapportskriving. Arbeidet med gjennomgang av forskningslitteratur er nedprioritert til fordel for datainnsamling og rapportskriving.

En svært viktig ressurs har vært samarbeidet med spesialkonsulent (og nå også prosjektleder for Prosjekt Endelig Lørdag) Terje Knutheim ved Borgestadklinikken. Knutheim har vært gjentatte ganger i Valdres i tilknytning til gjennomføringen av Prosjekt Endelig Lørdag, og har gitt verdifulle bidrag med hensyn til å få innsikt i ambisjonene med prosjektet. Dette har bidratt ikke minst til perspektivene i kapittel 3, hvor den grunnlagsforståelse som evalueringen bygger på er presentert. HENÆR-senterets leder Bjørn Hauger har også bistått i evalueringsarbeidet. Samarbeidet mellom HENÆR og Borgestadklinikken videreføres ut over høsten. Erfaringene fra evalueringen av Prosjekt Endelig Lørdag i Valdres utarbeides og systematiseres nå i en engelsk fagartikkel Hans Hauge og Terje Knutheim skriver sammen. Evalueringen ble også presentert på 2nd Nordic Health Promotion Conference i Stockholm 9.-11. september i år.

Table Of ContentsTop Of Page

2.2 Metodiske tilnærminger - trianguleringsteknikker

Valg av metodiske tilnærminger har konsekvenser for hvilke erfaringer (data) man registrerer, og dermed også for hvilke svar man er i stand til å gi. Det typiske skillet innen forskningsmetodikk er mellom kvalitative og kvantitative metodetilnærminger. Noe forenklet kan kvalitative data beskrives som "ordfesting" av erfaringer, mens kvantitative data er "tallfesting" av erfaringer. Mens ordfestingen ofte tillater at en går i dybden med det siktemål å forstå de sosiale sammenhengene man er interessert i, vil tallfestingen gjøre det mulig å gi en oversikt over bredden (for eksempel hvor mange som sier seg enig i en påstand). I arbeidet med evalueringen er begge typer metodetilnærming brukt, og dette regnes som fordelaktig fordi man da kan "bruke det beste" fra dem begge (Grønmo 1996). Dette kalles ofte for "triangulering", som betyr at en vurderer data ut fra egne erfaringer og to eller flere metodetilnærminger. Et eksempel på dette er fremgangsmåter for å vurdere om Prosjekt Endelig Lørdag stimulerer til dialog mellom foreldre og elever. For å belyse dette spørsmålet, er det både gjennomført en rundspørring med spørreskjema, observasjon av oppfølgingsseminarer, og dokumentanalyse av oppgavetekster til deltakerne. Dette gjør at grunnlaget for å gi svar er bedre enn om bare en tilnærming skulle vært brukt.

Det er i hovedsak gjennomført fire former for datainnsamling i forbindelse med evalueringen, nemlig intervjuer, observasjon, rundspørring og registrering. I tillegg kommer relativt beskjedne dokumentanalyser, hovedsakelig av dokumenter utarbeidet av Prosjekt Endelig Lørdag før gjennomføringen i Valdres. Det har også vært god tilgang på avisartikler om Prosjekt Endelig Lørdag. Hver av de fire datainnsamlingsmetodene nevnt over skal her presenteres kortfattet, før dette blant annet settes i sammenheng med ressurssituasjon i tilknytning til evalueringsarbeidet.

Table Of ContentsTop Of Page

Intervjuer med nøkkelpersoner

Som ledd i evalueringen av Prosjekt Endelig Lørdag i Valdres ble 14 personer intervjuet i åpen samtale med intervjuguide. En intervjuguide er en liste over temaer eller spørsmål man ønsker å få belyst, men rekkefølgen på spørsmålene er mindre viktig. Det sentrale er å få tak i hvordan den intervjuede forstår den sosiale sammenhengen hun eller han intervjues om. Det betyr at det ikke brukes faste svaralternativer, og den som intervjues tillates å komme med detaljerte svar. Ved mange anledninger kan ikke den som intervjues gi et entydig svar i form av et "ja" eller "nei". Det er ofte flere sider ved en sak, og usikkerhet, uvitenhet eller ambivalens kommer således mye klarere fram gjennom et intervju enn gjennom en rundspørring med standardiserte svaralternativer (se nedenfor).

Grovt sett kan de 14 nøkkelpersonene deles i to grupper, henholdsvis "produksjonsarbeidere" og "ressurspersoner". Den første gruppen består av de 7 som arbeidet mest med produksjonen av selve teaterforestillingen. Den andre gruppen består av 7 personer henholdsvis i kommuneledelsen, rektorer og foreldrerepresentanter. Intervjuene fordeler seg på følgende måter:

  • forfatter/regissør/seminarleder Paal Sandø
  • to skuespillere
  • tre musikere
  • en tekniker
  • to i kommuneledelsen
  • tre rektorer
  • to foreldrerepresentanter

I tillegg kommer flere telefonsamtaler med nøkkelpersoner underveis i evalueringsprosessen, spesielt skal Paal Sandø, leder for Prosjekt Endelig Lørdag i Valdres Marianne Fodnes, og sosialsjef i Nord-Aurdal kommune Bjørg S. Lien, nevnes. De har stilt villig opp på henvendelser, og lettet arbeidet med å finne fram til relevante informanter og datakilder, uten å forsøke å "styre" evalueringen på noen slags måte.

Table Of ContentsTop Of Page

Observasjon av forestilling og seminar

Forestillingen ble observert seks ganger, oppfølgingsseminaret fire ganger. Som tilskuere til forestillingen bekjentgjorde vi ikke grunnen til at vi var der, men forsøkte å gli inn i mengden. Det viste seg ikke å være så enkelt, både foreldre og ungdommer konstaterte tilsynelatende raskt at vi ikke var foreldre til noen av elevene. Det er imidlertid liten grunn til å tro at vår tilstedeværelse påvirket tilskuerne på bestemte måter. På forestillingene tjente observasjonene et dobbelt siktemål. Det ene var å leve seg inn i forestillingen og registrere egne reaksjoner på det som grunnlag for spørsmål i senere intervjuer, det andre å registrere synlige reaksjoner på tilskuerne.

På oppfølgingsseminarene ble det gjort kjent innledningsvis at vi var der for å evaluere erfaringene med Prosjekt Endelig Lørdag. Det ville vært forskningsetisk tvilsomt, og neppe særlig vellykket heller gitt det faktum at ingen kjente oss igjen, å late som om vi var der som likeverdige deltakere til foreldre og elever. På oppfølgingsseminarene var vi spesielt opptatt av å observere hvem som snakket når, med hvem og om hva, og da særlig i tilknytning til gruppearbeid.

Table Of ContentsTop Of Page

Rundspørring blant foreldre og elever

Vi gjennomførte også en rundspørring blant til sammen 164 foreldre og elever, ved fire av de 27 skolene forestillingen ble vist på. Det ble innhentet skriftlig tillatelse fra kommuneledelse til å gjennomføre rundspørringen. Rundspørringen ble gjennomført med prosedyrer som sikret informantenes anonymitet. Kun forfatteren av denne rapporten har hatt tilgang til de utfylte spørreskjemaene, som ikke inneholder opplysninger om navn, alder, eller annet som kunne gjøre det mulig å identifisere enkeltpersoner. Skjemaene er nå makulert.

Spørreskjemaet ble utarbeidet etter at Prosjekt Endelig Lørdag var kommet i gang, slik at vi visste mer om prosjektet, og dermed kunne øke sannsynligheten for at spørsmålene var relevante for deltagene foreldre og elever. Gjennom skjemaet ble informantene spurt om å ta stilling til fire påstander om teaterforestillingen, og fem påstander om oppfølgingsseminaret. Her kunne de velge mellom på forhånd definerte svaralternativer (se Vedlegg 1). Faste svaralternativer ble brukt for lettere å kunne sammenligne svarene til informantene. Påstander ble brukt fordi spørsmål av den typen mer sannsynlig fanger opp dimensjoner som holdninger, følelser og opplevelser (Mordal 1989). Det tiende spørsmålet var åpent, og ba informantene gi opplysninger om hva som kunne vært gjort annerledes for at Prosjekt Endelig Lørdag skulle være mer i tråd med deres ønsker. Vi regnet med at for manges vedkommende ville vi ikke få tak i essensiell informasjon kun gjennom spørsmål med faste svaralternativer. I tillegg svarte informantene på spørsmål om kjønn. Vi utarbeidet et skjema for foreldre og et for elever, og ga disse skjemaene forskjellige farger. Vi noterte oss også hvor dataene var samlet inn i, og visste da selvfølgelig både hva slags skole og kommune rundspørringen var gjennomført i. Figuren nedenfor viser en oversikt over variablene vi utarbeidet på grunnlag av runderspørringen (for full referanse til spørsmålene, se Vedlegg 1):

Figur 2.1 Oversikt over sentrale variable i rundspørringen

VARIABEL

VERDIER

Kjønn

Kvinne, Mann

Skoleslag

Barneskole, Ungdomsskole

"Alder"

Forelder, Elev

Kommune

Nord-Aurdal, Vang

Tenke over egne erfaringer med rusmidler

1= Helt uenig, 2=Ganske uenig, 3=Ganske enig, 4=Helt enig

Ønsker å snakke med barn/forelder

Som over

Ønsker å snakke med fagperson

Som over

Kjenner meg igjen i forestillingen

Som over

Seminar godt tilrettelagt

Som over

Seminar tok for lang tid

Som over

Fikk sagt det jeg ville

Som over

Det jeg sa mottatt med respekt

Som over

Vil delta på flere seminarer

Som over

Informantene fikk skjemaet utlevert til sist i oppfølgingsseminaret, og måtte fylle det ut og levere det tilbake før de forlot lokalene. Det var ingen spesielle problemer i den forbindelse, ingen nektet å svare på skjemaet. Det faktum at det som regel da var sent på kveld, ble det til at informantene fyllte det ut raskt. Det var få som brukte mer enn fem minutter på svarene. Det kan selvfølgelig ha ført til at noen har misforstått enkelte av spørsmålene, men generelt regnes det som gunstig at informantene svarer raskt, uten å tenke seg om og reflektere seg fram til hvilke svar de tror forventes av dem. Det blir altså mindre taktiske svar, noe som øker sannsynligheten for at svarene er uttrykk for informantenes umiddelbare holdninger. Noe annerledes forholder det seg på det åpne spørsmålet, hvor få svarte med mindre de ble gjort oppmerksom på at det var sterkt ønskelig at de gjorde det.

Table Of ContentsTop Of Page

Kartlegging av oppmøte, og kartlegging av henvendelser

Kartlegging ble gjennomført av prosjektleder i Valdres Marianne Fodnes, og av Paal Sandø. Dette viste seg å være et nyttig supplement til de øvrige datatilnærmingene. Det var flere typer kartlegging som ble gjennomført, med sikte på å få oversikt over antall på henholdsvis:

  • Oppmøte på forestilling
  • Oppmøte på oppfølgingsseminar
  • Henvendelse til behandlingsapparatet etter forestillingen
  • Henvendelse til behandlingsapparatet etter oppfølgingsseminaret
  • Grunn til henvendelse
  • Resultat av henvendelse

Oversikt over oppmøte på forestilling og oppfølgingsseminar har vært vanskelig å skaffe til veie. Det ble registrert systematisk kun ved de skolene hvor oppmøte var obligatorisk, det vil si at elevene måtte møte fordi Prosjekt Endelig Lørdag var gjort til en ordinær del av undervisningen. Oversiktene fra de enkelte kommunene og skolene inneholder ikke presise tallfestinger, men det har vært mulig å utarbeide rimelige estimater over oppmøte (se kapittel 4 for mer om dette). Så å si samtlige henvendelser som er registrert har kommet til Paal Sandø i en eller annen form. Han har utarbeidet en oversikt med utgangspunkt i et skjema utarbeidet av Terje Knutheim, som skiller mellom henvendelser etter når de kom (etter forestilling eller etter seminar), samt grunn til og resultat av henvendelse. Imidlertid er også disse dataene beheftet med usikkerhet, men i likhet med data om oppmøte er de inkludert i rapporten som sannsynlige estimater av respons på Prosjekt Endelig Lørdag i Valdres.

Table Of ContentsTop Of Page

Problematiske sider ved datainnsamlingen

Det mest problematiske med datainnsamlingen var tolkningen av fordelingene på spørsmålene i rundspørringen. Det viste seg blant annet at påstanden "Oppfølgingsseminaret var godt tilrettelagt" (svaralternativer fra 1=Helt uenig til 4=Helt enig), var altfor diffust. Dessverre unnlot vi å spørre direkte om dialog, holdninger til rusmidler, eller mer generelt om hvordan informantene opplevde Prosjekt Endelig Lørdag. Problemet er altså mer hva vi ikke gjorde, enn hva vi gjorde. Resultatet er at vi ikke har så gode data om informantenes opplevelse av Prosjekt Endelig Lørdag som vi kunne ønske oss i ettertid. Dette betyr at det er en del interessante momenter vi ikke kan følge opp med analyser, uten at vi av den grunn står på bar bakke med hensyn til å beskrive deltagernes opplevelse av Prosjekt Endelig Lørdag.

Et annet problem med datainnsamlingen er at det med unntak for registrering av henvendelser, ble gjennomført datainnsamling kun i to av de seks Valdreskommunene, nemlig Nord-Aurdal og Vang. Nord-Aurdal var vertskommune, og der ble det naturlig nok gjort omfattende forarbeider til prosjektgjennomføringen, blant annet var det stor premiere i Fagernes kino. I Vang var forberedelsene mer beskjedne, men til gjengjeld var entusiasmen for prosjektet stor blant nøkkelpersoner. I tillegg var en av skuespillerne derfra, og det trakk utvilsomt mange tilskuere. Erfaringene som presenteres med bakgrunn i datainnsamlingen er derfor neppe helt representative for Prosjekt Endelig Lørdag i Valdres sett under ett. Det er imidlertid ikke representativitet i seg selv som er målet med evalueringen, men mer å trekke ut viktige erfaringer som kan være nyttige å bygge på ved senere gjennomføringer av Prosjekt Endelig Lørdag.

Det vil alltid være slik under datainnsamling at en ikke får med seg alt interessant som skjer, men dette er sannsynligvis mer frustrerende enn problematisk (Wadel, 1991). Et eksempel er at kun fire av oppfølgingsseminarene ble observert, og det er sikkert mange nyttige erfaringer som ikke er registrert. Igjen er poenget at det ikke er representativitet i seg selv som er målet, men å lære av erfaringene som er gjort. Når det senere beskrives at det var "taust" på seminarene, så er grunnene til den observerte tausheten viktigere enn å konstatere om det var taust på alle seminarene. Det er nettopp i slike tilfeller en helt ekstern evaluering kan virke noe "urettferdig" for prosjekteierne i Valdres.

Den generelle egenvurderingen av metodevalg og metodebruk, er at det har blitt gjennomført relativt omfattende datainnsamling og analysearbeid innen timeressursen stilt til rådighet. Det har opplagt vært fordelaktig med flere metodetilnærminger, slik at triangulering er mulig. Dataene som er samlet inn vurderes også som hensiktsmessige for å belyse evalueringsspørsmålene. Den største svakheten med opplegget er utvilsomt at det ikke er mulig å analysere endringer over tid, herunder både holdnings- og atferdsendringer. Det hadde imidlertid forutsatt en mer omfattende evalueringsressurs.

Table Of ContentsTop Of Page

2.3 Vurdering av habilitet.

Evalueringen er et resultat av lengerevarende samarbeid mellom Borgestadklinikken og HENÆR-senteret ved Høgskolen i Vestfold. I prosjektbeskrivelse heter det at HENÆR skal "engasjeres direkte i prosjektarbeidet og at følgende to hovedoppgaver tillegges senteret. 1. Utvikling av metoder i det rusforebyggende arbeid. (...) 2. Nettverksbygging." (Knutheim 1997a). Disse oppgavene skal ikke presiseres nærmere her, men i sammenheng med at HENÆR-senteret også står ansvarlig for denne evalueringen, er det viktig å avklare spørsmålet om habilitet.

HENÆR-senteret er samarbeidspartner med Borgestadklinikken, og har mulige egeninteresser i evalueringen. Det har som nevnt over også vært et utstrakt samarbeid mellom Hans Hauge og Terje Knutheim. Det er viktig å understreke at evalueringen selvfølgelig ikke tar sikte på å felle noen dom over Prosjekt Endelig Lørdag i Valdres, men at hovedfokus er på å lære av erfaringene ved delvis å stille seg kritisk til dem. Arbeidet med evalueringen har dermed i en viss forstand forløpt parallellt med klargjøring av ambisjoner med Prosjekt Endelig Lørdag i tiden fremover, noe blant annet samarbeidet om å skrive fagartikler er et uttrykk for.

Det er foretatt en arbeidsdeling mellom HENÆR-senterets leder Bjørn Hauger og Hans Hauge, i det sistnevnte ikke har annen befatning med Prosjekt Endelig Lørdag enn evalueringen. Bjørn Hauger skal holde kurs og jobbe systematisk med metodeutvikling fra og med høsten 1998, men har ikke hatt noen sentral rolle i evalueringen. Denne arbeidsdelingen er et stykke på vei med på å motvirke at kryssende interesser influerer på evalueringen. Et viktigere poeng for å sikre at evalueringen ikke blir korrumpert av eventuelle fordeler HENÆR måtte ha, av å skjønnmale erfaringene eller potensialet i Prosjekt Endelig Lørdag i tiden fremover, er HENÆR-senterets ambisjon om å utvikle spisskompetanse på helsefremmende og forebyggende arbeid. En slik målsetning er ikke forenlig med å skyve problemer under teppet. Det viktigste grepet for å skape tillit til evalueringen, er sannsynligvis det faktum at premissene for evalueringen så langt mulig er klargjort, slik at leseren kan ta stilling til om han eller hun er enig i de valgene som er fremgangsmåtene eller resonnementene som er valgt. Det er gjennomgående gjort forsøk på å vise hva vi har gjort og hvordan vi har resonnert. Dette fører til at rapporten kan virke noe omstendelig, men det er vurdert som nødvendig for å sikre tilliten til evalueringen og dens resultater.

Previous PageTable Of ContentsNext Page

Hans A. Hauge: HENÆR-senterets evaluering av Prosjekt Endelig Lørdag i Valdres 1998

Copyright © 1999 forfatteren
Høgskolen i Vestfold