Sådan læser du en offentlig evaluering

En evaluering undersøger, hvordan en indsats er blevet gennemført og hvilke resultater, man kan se. Konklusionen giver mest mening, når du også ser på spørgsmålet og datagrundlaget.

Find formålet

Læs indledningen: Hvad skulle evalueres, og for hvem? En evaluering af tilfredshed kan ikke uden videre svare på, om en indsats havde en langsigtet virkning. Se også tidsperioden og hvilke målgrupper der er med. Et klart spørgsmål gør det lettere at opdage, når konklusionen bliver bredere end undersøgelsen.

Undersøg metoden

Kommer oplysningerne fra interviews, spørgeskemaer, registre eller observationer? Hver metode viser noget forskelligt. Tjek svarprocent, udvælgelse og eventuelle manglende grupper, hvis rapporten oplyser dem. En tabel med mange tal er ikke nødvendigvis stærkere end en velbeskrevet kvalitativ undersøgelse; det afhænger af spørgsmålet.

Skil observation fra forklaring

At noget ændrede sig samtidig med en indsats betyder ikke alene, at indsatsen var årsagen. Se efter alternative forklaringer og rapportens egne forbehold. En troværdig evaluering fortæller også, hvad den ikke kan afgøre. Brug derefter resultaterne til at stille bedre spørgsmål om næste beslutning frem for at lede efter ét magisk tal.

Læs konklusionen sammen med spørgsmålet

En evaluering kan undersøge, om et projekt blev gennemført som planlagt, hvordan deltagerne oplevede det, eller om det skabte en bestemt forandring. Det er forskellige spørgsmål. Hvis rapporten især bygger på interviews om oplevelser, kan den give god indsigt i hvorfor noget fungerede, men ikke nødvendigvis sige præcist, hvor stor effekten var. Find evalueringsspørgsmålet i begyndelsen og vend tilbage til det, når du læser konklusionen.

Se også, hvem der bestilte rapporten, hvornår undersøgelsen blev lavet, og om den dækker hele forløbet. En tidlig evaluering kan ikke sige meget om virkninger, der først viser sig senere. Det gør den ikke værdiløs; den kan stadig pege på problemer i gennemførelsen.

Undersøg hvem og hvad der er med

Hvor mange deltog i spørgeskemaer eller interviews, og hvordan blev de valgt? Hvis kun de mest tilfredse deltog, kan billedet blive skævt. Læs, om rapporten beskriver frafald og grupper, der mangler. Kig også efter definitioner af centrale ord. “Bedre adgang” kan betyde kortere transport, enklere digital tilmelding eller mere hjælp undervejs. Uden en definition er resultatet svært at overføre til andre steder.

Tabeller bør kunne læses uden gæt. Se efter tidspunkt, enhed, kilde og om tal er absolutte eller procentvise. En stor procentvis ændring fra et meget lille udgangspunkt kan være mindre dramatisk, end overskriften antyder. Omvendt kan en lille gennemsnitlig ændring dække store forskelle mellem grupper.

Skil fund, forklaring og anbefaling

En rapport kan finde, at deltagelsen steg. Den kan foreslå, at en bestemt indsats er årsagen. Og den kan anbefale at fortsætte. De tre led bør være tydeligt adskilt. Spørg, hvilke andre forklaringer der blev undersøgt, og om anbefalingen følger af fundene eller også bygger på økonomiske og politiske hensyn. En god evaluering bør vise usikkerhed og uenighed, ikke skjule den.

Til sidst kan du skrive tre linjer til dig selv: Hvad ved vi? Hvad tror forfatterne, men kan ikke fastslå? Hvilken beslutning kan rapporten hjælpe med? Den metode gør en lang rapport mere brugbar uden at gøre den simplere, end den er.