Gå-hjem-møder 2012

16. januar 2012: Stilistisk cost-benefit som "evalueringsmodel"

Mandag den 16. januar 2012, kl. 15.30-17.30 ved Servicestyrelsen, Skibhusvej 52b, 1. sal, lokale 1, 5000 Odense C

Dansk EvalueringsSelskab inviterer sammen med Servicestyrelsen til oplæg og debat om cost-benefit som evalueringsmetode.

I en tid hvor den offentlige økonomi er presset giver det god mening at anvende evalueringsmetoder, der sætter fokus på costs og benefits. Men hvordan gennemføres cost benefit analyser egentlig og hvad stiller man op når der ikke er adgang til de ideelle data? Med afsæt i konkrete studier, hvor stilistisk cost benefit har været anvendt som evalueringsmetode, stilles der skarpt på dette spørgsmål. Når der ikke er adgang til oplysninger om de enkelte deltager i et projekt, er en sædvanlig kvantitativ tilgang med samkøring af oplysninger fra Danmarks Statistiks registre ikke mulig. Det er derfor en mulig vej frem at identificere en gruppe af personer, der har tilnærmelsesvist samme karakteristika som projektdeltagerne og beregne effekten af projektet på baggrund heraf. Der præsenteres to studier, hvor denne metode er anvendt og fordele og ulemper diskuteres.

Rasmus Højbjerg Jacobsen er ph.d. i økonomi og arbejder som seniorrådgiver ved Centre for Economic and Business Research ved Copenhagen Business School. Han har gennemført effektmålinger og evalueringer for bl.a. Forsknings- og Innovationsstyrelsen, Erhvervs- og Byggestyrelsen, Arbejdsmarkedsstyrelsen og Familie og Arbejdslivskommissionen. Rasmus er en af de førende danske forskere inden for det, man kalder social cost-benefit-forskning og har bl.a. lavet en meget omtalt samfundsøkonomisk undersøgelse af mødrehjælpen i 2010.


1. februar 2012: 'Evidens og måling'

Onsdag den 1. februar 2012, kl. 16.00 - 18.00 ved Aalborg Universitet, Fibigerstræde 1, lokale 37, 9220 Aalborg Ø. 

Dansk EvalueringsSelskab inviterer sammen med ForskningsCenter for Evaluering (FCE) til oplæg og debat med Hanne Kathrine Krogstrup om evidens og måling.

Der er sket en eksplosiv vækst i efterspørgslen efter evaluering og dokumentation af resultater, ligesom der er stigende krav om, at den offentlige sektors indsats skal være evidensbaseret. I øget grad integreres evaluering, dokumentation og evidens som ledelsesinstrumenter, og kendskab til disse begreber og redskaber efterspørges som en del af den moderne leders kvalifikationer Samtidig er der tale om komplekse og af og til uigennemskuelige begreber, som indgår som helt centrale elementer i styringen af den offentlige sektor. Men hvad indeholder begreberne egentlig, og hvornår kan de omsættes til hensigtsmæssige ledelsesredskaber og hvordan? I oplægget ser Hanne Kathrine Krogstrup nærmere på resultatmålinger og monitorering som fænomen - hvad er deres muligheder og begrænsninger? Derudover problematiseres og diskuteres kravet om effektevaluering og evidens. Hvad er egentlig effektevaluering, og hvornår kan den anses for at være evident?


Hanne Kathrine Krogstrup er lektor ved institut for Statskundskab ved Aalborg Universitet (AAU), hvor hun også er dekan for det Samfundsvidenskabelige Fakultet. Gennem mange år har Hanne Kathrine Krogstrup beskæftiget sig med evaluering, kvalitetssikring og ledelse i offentlige organisationer, og hun er leder af Forskningscenter for Evaluering ved Institut for Statskundskab (AAU). Gå-hjem-mødet tager udgangspunkt i hendes senest bog ”Kampen om evidens” – resultatmålinger, effektevaluering og evidens (Hans Reitzel), men hun er også forfatter til bogen ”Evalueringsmodeller” (academica) samt medforfatter og redaktør på henholdsvis ”Nye veje i evaluering” (academica) og ”Tendenser i evaluering” (Syddansk Universitets forlag).

Se billeder fra mødet


16. april 2012: Var det indsatsen, der skabte resultaterne?

Mandag den 16. april 2012, kl. 14.30-16.30 ved Socialstyrelsen, Skibhusvej 52b, 1. sal, lokale 1, 5000 Odense C

Dansk EvalueringsSelskab inviterer sammen med Socialstyrelsen til oplæg og debat om fidelitet og evaluering ved Line Dybdal, manager, og Hanne Nielsen, chefkonsulent, Rambøll Management Consulting

Når man evaluerer effekten af en indsats, er det afgørende at vide, i hvilken grad målgruppen har været eksponeret for den beskrevne indsats. Dette kan omtales som fideliteten i indsatsen.

Ofte tages en høj grad af fidelitet for givet, når man skal evaluere effekten af en indsats. Selvom måling af fidelitet kan være vanskelig, er fokus på fidelitet og tilpasning en central faktor for at forstå resultaterne og effekterne af en indsats – og tilsvarende vigtig i forhold til en videre udvikling af indsatsen.

I oplægget diskuteres fidelitetsbegrebet, herunder forholdet mellem fidelitet og tilpasning. Ligeledes diskuteres, hvordan fidelitetsbegrebet kan operationaliseres og håndteres i evalueringsstudier gennem inddragelse af konkrete eksempler på, hvordan fidelitetsspørgsmålet er håndteret i konkrete evaluerings- og forskningsopgaver.

Line Dybdal er mag. art. og manager hos Rambøll Management Consulting. Hun har været projektleder på en række evalueringer inden for velfærdsområdet, deltager i forskningsprojektet SPELL med fokus på sammenhængen mellem implementeringsmiljø og fidelitet og indgår i Dansk Netværk for Interventionsforskning i dagtilbud (ECIS ).

Hanne Nielsen er cand. mag og chefkonsulent hos Rambøll Mangement Consulting. Hanne har været evaluator og projektleder på en række offentlige programmer og forsøgsprojekter på børne- og ungeområdet med særligt fokus på den forebyggende indsats overfor udsatte børn og unge. Hun har beskæftiget sig med vilkår for implementering og loyalitet over for metoders systematik bl.a. i forbindelse med evaluering af forskningsprojektet Opkvalificering af den tidlige indsats.


8. oktober 2012: Hvad siger forskningen om (positive) konsekvenser af resultatmålinger og hvad er de metodiske udfordringer, når man ønsker udtale sig kausalt om resultaterne?

Mandag den 8. oktober 2012, kl. 15.00 - 16.30 ved Socialstyrelsen, Skibhusvej 52b, 1. sal, lokale 1., 5000 Odense C.

Slides fra gå-hjem-mødet kan downloades her

Over sommeren kastede Berlingske et kritisk blik på evaluering. Og der er brug for det kritiske blik på evaluering især i perioder, hvor evaluering bliver en ”naturlig” del af måden at organisere sig på. Kritikken kommer ude fra, men også evalueringsfeltet selv, har været gode til at forholde sig kritisk til egen praksis; blandt andet gennem DES. Men det er vigtigt at understrege, at evaluering ikke er problemet i sig selv, men det er den måde evaluering bruges på, der kan være problematisk. Derfor er det heller ikke givet, at evaluering herunder såkaldte resultatmålinger altid medfører negative konsekvenser. Forskningen, især i Danmark, har haft fokus på og har vist – analytisk og empirisk – at evaluering herunder resultatmålinger kan have konsekvenser, som kan defineres som negative. Men der er også forskning, som viser det modsatte, og hvordan kan vi lære og blive klogere af denne forskning?

DES har inviteret en af debattørerne, Asmus Leth Olsen, der deltog debatten i Berlingske. Asmus’ oplæg på gå-hjem-mødet vil med udgangspunkt i empirisk forskning tale om konsekvenserne af resultatmålinger, men også drøfte metodiske udfordringer i forhold til resultatmålinger og kausalitet (årsags-virkningsforholdet).

I studiet af den offentlige sektor er der mange teorier om positive og negative konsekvenser af at publicere resultatmålinger for den offentlige sektor. I Danmark har debatten været ophedet i forbindelse med offentliggørelsen af sygehusstjerner, skoleranglister, pisatests og brugertilfredshedsundersøgelser. Men hvad siger den nyeste empiriske forskning? Hvad er de metodiske udfordringer, når man vil måle de kausale effekter af resultatmålinger på adfærden hos ledere, ansatte og borgere? Og hvordan kan naturlige eksperimenter hjælpe os med at forstå effekterne af resultatmålinger?

Asmus er ph.d.-studerende ved Institut for Statskundskab på Københavns universitet, hvor han forventer at indlevere sin afhandling i begyndelsen af det nye år. Udover effekterne af resultatmålinger, er han interesseret i anvendelsen af naturlige og traditionelle eksperimenter til at forstå borgerne og de ansattes interaktion med den offentlige sektor. Hans forskning er bl.a. kommet i de internationale tidsskrifter Public Administration, Governance og Public Choice. Læs mere om Asmus her:http://forskning.ku.dk/search/profil/?id=279298