Effektevalueringer på integreringsfeltet
Denne rapporten gjennomgår erfaringer med effektevalueringer fra velferdsfeltet. Hensikten er å lære av disse erfaringene for å kunne tilrettelegge for gode effektevalueringer av integreringstiltak.
Rapporten er utarbeidet av IMDi, og gjennomgår blant annet følgende:
- Hva menes med effekt og hvorfor kan det være vanskelig å måle? Evalueringer på integreringsfeltet er ofte basert på at man observerer resultatene av et tiltak i etterkant: Har tiltaket oppnådd de forventede resultatene? Dette gjør det imidlertid vanskelig å avgjøre om det var det nye tiltaket som ga resultater, eller andre forhold. Eller om resultatet kanskje ville vært det samme uten tiltaket. Disse problemene oppstår fordi man ikke har en kontrollgruppe å sammenligne med som ikke har fått tiltaket.
- Hvilke metoder kan gi robuste mål på effekt? Å måle effekter kan gjøres både gjennom randomiserte kontrollerte studier (RCT-er) og med ulike kvasieksperimentelle design. RCT-er regnes som gullstandarden innen effektstudier, fordi det er det metodiske designet som gir de sikreste målene. Alle problemstillinger lar seg imidlertid ikke besvare med en RCT, og det kan også være etiske, politiske og økonomiske grunner til at man må velge andre metoder.
- Eksempler på pågående og gjennomførte RCT-er fra velferdsfeltet i Norge, som vi kan trekke lærdom av for gjennomføring av lignende eksperimenter på integreringsfeltet.
- Noen sentrale grep for å oppnå vellykkede effektevalueringer:
- En RCT bør gjennomføres i flere faser. Evalueringen bør planlegges samtidig som prosjektet utvikles, og være basert på foreliggende kunnskap og en programteori. I første fase utvikler man modellen og forankrer prosjektet, deretter piloteres det, og modellen justeres før en (eventuell) oppskalering og systematisk utprøving, med prosessevaluering.
- I mange tilfeller vil man være avhengig av tett samarbeid mellom forskere, byråkrater og praktikere for å lykkes med å designe og gjennomføre en god RCT.
- For å få mer kunnskap om virkning av integreringstiltak, bør de som utvikler tiltak samtidig planlegge hvordan det skal evalueres. Dersom det er ønskelig å måle effekt av tiltaket, bør man ikke starte implementeringen før det er laget et metodisk design for evaluering. På den måten holder man muligheten åpen for å teste ut tiltaket gjennom en RCT, som hvis det er gjennomført på en godt måte er den sikreste metoden for å få vite om tiltaket har effekt.
- Forsøk der nyankomne innvandrere er målgruppe, kan innebære noen særskilte utfordringer som for eksempel språk, økt risiko for frafall og at populasjonen ikke er så stor. Når målgruppen regnes som en sårbar gruppe, er det også særlig viktig å vurdere etisk forsvarlighet.