Gå-hjem-møder 2015

EVALUERING AF LÆRER-EVALUERING

CREME inviterer sammen med DES til gå-hjem-møde om evaluering af lærer-evaluering.

Professor Gary Henry, Vanderbilt University taler om emnet: Evaluating Teacher Evaluation in the U.S.: Evaluating Value-Added Models and Multiple Measures of Teacher Performance.  

Efter præsentation er der mulighed for at stille spørgsmål og CREME er vært ved en lille forfriskning.

Tid: Fredag d. 2. oktober kl 13.30 til 15.00

Sted: Institut for Statskundskab, CSS, Øster Farimagsgade 5, 1353 København, lokale 4.2.26 ("frokoststuen"). Lokalet er i bygning 4 på anden sal.

Gary T. Henry er Professor of Public Policy and Education i Department of Leadership, Policy and Organization, Peabody College på Vanderbilt University. Han er specialiseret i uddannelsespolitik, uddannelsesevaluering og kvantitative forskningsmetoder. Han er medforfatter på "Evaluation: An Integrated Framework for Understanding, Guiding, and Improving Policies and Programs (Jossey-Bass 2000)". Han har været medlem af the Standing Committee for Systemic Reform, Institute of Education Sciences, U.S. Department of Education.  


HVORDAN FÅR DU SUCCES MED EVALUERING I UDDANNELSESSEKTOREN?

Uddannelse står højt på dagsordenen både nationalt og internationalt. Uddannelsesinstitutionerne, folkeskolerne, og efterhånden også daginstitutionerne, er under stigende pres for at forbedre deres resultater, så fremtidens virksomheder kan klare sig i den globale konkurrence, og udgifterne til at løse de sociale problemer, som er forbundet med manglende studiekompetence, kan nedbringes.

Der er bred konsensus om, at evaluering og anvendelse af ny viden er en vej til at forbedre resultaterne. Men hvad skal der til for at få succes med evaluering og anvendelse af ny viden i uddannelsessektoren?

Claus Rebien, COWI, og Andreas Hougaard, Danmarks Evalueringsinstitut, har skrevet artiklen Conditions for Evaluation Success in the Education Sector i bogen Success in Evaluation - Focusing on the Positives, hvor de giver et bud på, hvad evaluatorer og beslutningstagere i uddannelsessektoren skal være opmærksomme på.

Artiklen danner udgangspunkt for dette gå-hjem-møde, hvor DES inviterer alle med i interesse i evaluering og/eller uddannelse til at tage del i af drøftelsen af, hvad der skal til for at evalueringer får den tiltænkte betydning.            

Oplægsholdernes hovedbudskab er, at evalueringsdesigns og anvendelse af ny viden i uddannelsessektoren, må tage udgangspunkt i hvem underviserne er og hvilke organisationer, de er en del af. Uddannelsesinstitutioner er komplekse systemer med en tradition for høj grad af selvstændighed i opgaveløsningen. Underviserne må dagligt bruge deres personlige dømmekraft og gøre erfaringer med, hvad der virker for dem i undervisningen. Den viden de opnår i deres daglige praksis er uvurderlig for dem som undervisere og en stor del af deres professionelle identitet. De er også en del af en stærk professionskultur, hvor underviserne søger indflydelse på politiske og ledelsesmæssige beslutninger.

En del erfaringer peger på, at man i et system som dette - og i komplekse professionsdrevne systemer i det hele taget – ikke kan implementere evaluerings- og forskningsresultater oppefra og ned. Der er i stedet brug for et møde og et samarbejde mellem aktører med forskellige typer viden. Med en konkret evaluering som eksempel, foreslår oplægsholderne en systematisk og dialogisk tilgang, hvor aktørernes viden præger konkrete beslutninger i en evalueringsproces. Evalueringsprocessen involverer lærere, pædagoger, ledere og beslutningstagere samt forskere, og ledes af evaluator med indsatsteori som metode. 

Få mere at vide om artiklens pointer og deltag i en drøftelse af evaluering og anvendelse af viden i uddannelsessektoren.   

Tid: Onsdag. d. 30. september kl. 15.30-17.30 

Sted: COWI, Parallelvej 2, i Auditoriet. COWI ligger lige ved Lyngby St., ca. et kvarter med S-toget fra København C.

Der vil blive serveret en forfriskning i forbindelse med gå-hjem-mødet.

Vel mødt.


Hvordan får vi omsat viden til handling?

Tid: Onsdag d. 24. juni 2015 kl. 16.00-17.30

Sted: Oxford Research, Falkoner Allé 20, 2000 Frederiksberg. Mødelokale på 5. sal.

The meeting will be in English. 

Det ligger i evalueringens DNA at viden fra evalueringer skal gøre en forskel. Anvendelse af evaluering er et klassisk tema inden for evalueringstraditionen, og det er ikke blevet mindre aktuelt i disse år, hvor vi ser en stigende opmærksomhed på at arbejde evidensbaseret inden for velfærdsområderne. Her tilbyder den nyeste forskning inden for knowledge-to-action (KTA) spændende perspektiver på, hvordan man kan arbejde målrettet med at styrke anvendelse af evaluering og generel vidensmobilisering.

Dansk Evaluerings Selskab har sammen med Oxford Research fornøjelsen af at invitere til et gå-hjem-møde i København 24. juni 2015. Her kan få inspiration direkte fra en af de førende forskere inden KTA-forskningen: Professor Huw Davies, co-director af Research Unit on Research Utilisation (RURU), University of St. Andrews, Skotland.

Hvad handler KTA-forskningen om?

Omsætning af viden til handling er ikke en lineær, rationel og instrumentel proces, som blot handler om at formidle fakta til mål­gruppen på den rigtige måde. Det er tværtimod en kompleks, dynamisk og interaktiv proces, som involverer en lang række aktører og finder sted i mange forskellige organisatoriske kontekster. Mobilisering af viden kræver en målrettet indsats – og ikke mindst en langt bedre forståelse af, hvilke mekanismer der ligger bag spredningen og anvendelsen af ny viden. Og det er netop, hvad den nyeste forskning i anvendelse af viden eller ”knowledge-to-action” kan give os!

Hvad sker der på gå-hjem-mødet?

Professor Huw Davies vil præsentere de væsentligste indsigter fra forskningen og invitere deltagerne til at drøfte, hvad disse betyder for den måde, vi i dag tænker og arbejder med spredning, anvendelse og mobilisering af viden i politik og praksis – hvad enten det er på det sociale område, sundhedsområdet, inden for kriminalitetsforebyggelse, uddannelse eller arbejdsmiljø eller et helt sjette fagområde.

Der vil blive serveret en forfriskning i forbindelse med arrangementet.

Har du spørgsmål til gå-hjem-mødet er du velkommen til at kontakte Nina Middelboe på nmi@oxfordresearch.dk.


Validerede og evidensbaserede dataindsamlingsredskaber

Tid: Tirsdag d. 12. maj kl. 16-18

Sted: KORA - Olof Palmes Alle 22, 8200 Aarhus N

Dansk Evalueringsselskab er glade for, at kunne invitere til endnu et gå-hjem-møde i Aarhus under temaet 'Validerede og evidensbaserede dataindsamlingsredskaber'. På mødet vil Eva Husum Schmidt fra Socialstyrelsen samt Line Dybdal og Ian Kirkedal Nielsen fra Rambøll Management præsentere deres perspektiver på og erfaringer med, anvendelsen af validerede redskaber i forhold til evalueringer.

Samfundets effektiviseringsdagsorden og beslutningstagernes ambition om mere sikker viden sætter krav til evaluatorer om at vælge stærkere metoder og dataindsamlingsredskaber.

Det nødvendige vidensgrundlag for beslutninger får man ikke ved at anvende ”hjemmestrikkede” spørgsmål, der er opfundet til lejligheden for at afdække effekten af en indsats. En forudsætning for at tilvejebringe sikker viden er validerede og evidensbaserede dataindsamlingsredskaber. Socialstyrelsen anbefaler eksempelvis udvalgte validerede redskaber til brug for evalueringer med samme målgruppe og forventede outcomes. Formålet er bl.a. at styrke mulighederne for at sammenligne indsatser og for økonomisk evaluering. Socialstyrelsen vil på mødet  præsentere erfaringer med og perspektiver for arbejdet med validerede redskaber i forhold til evalueringer.   

Validerede redskaber vil udfordre evaluatorer i deres formidling af omfattende spørgsmålsbatterier og kringlede subscores til såvel respondenter som modtagerne af evalueringen.

Rambølls oplæg er en grundlæggende introduktion til anvendelse af validerede redskaber i evalueringsøjemed. Der vil i oplægget og de fælles drøftelser blive sat særligt fokus på, hvordan man bedst formidler viden opnået gennem komplekse multi-items redskaber, så de ikke blot indfrier forskningstidsskrifternes publiceringskrav, men også taler til praktikere og beslutningstagerne, der skal bringe resultaterne til anvendelse.

Oplægget bygger på erfaringer fra en lang række evalueringer og forskningsstudier på social- og sundhedsområdet.

Efter oplægget vil der være mulighed for at stille spørgsmål og Dansk Evalueringsselskab vil være vært for en lille forfriskning.


RESULTATMÅLING OG STRESS – GÅ-HJEM-MØDE MED PETER DAHLER-LARSEN

Tid: Torsdag d. 23. april 2015 kl. 16.30-18.00

Sted: KORA, Olof Palmes Alle 22, 8200 Aarhus N

Arbejdet for offentligt ansatte er præget af en veritabel bølge af resultatmåling, dokumentation og evaluering. Samtidig diskuterer man stress som et stigende problem. Få har imidlertid undersøgt, om der er en sammenhæng mellem de to fænomener.

Det har professor Peter Dahler-Larsen imidlertid gjort i sin nye bog, som kortlægger resultatmålinger og stress blandt tre grupper af offentligt ansatte: gymnasielærere, sproglærere og jobkonsulenter. Bogen svarer på følgende spørgsmål:

  • hvor meget fylder resultatmålinger for medarbejderne i det daglige?
  • hvordan oplever medarbejderne, at resultatmålinger fungerer?
  • hvilke organisatoriske forhold er afgørende for, hvordan resultatmålinger fungerer hos forskellige grupper?
  • medvirker resultatmålinger til at skabe stress ud over, hvad gængse stressmodeller kan forklare?

Medarbejdernes krav til sig selv viser sig at være en vigtig stressfaktor. Men disse krav er forbundet med organisatoriske forhold. Det rejser diskussionen om, hvordan ansvaret for stress placeres eller deles. Det viser sig også, at resultatindikatorer giver klarhed for nogle grupper, men uklarhed for andre. Perspektivet er velfærdspolitisk: Hvor klare mål ønsker vi for de offentligt ansattes arbejde?

Professor Peter Dahler-Larsen fremlægger sine hovedresultater om resultatmålinger og deres betydningfor medarbejderne. Efter oplægget vil der være mulighed for at stille spørgsmål og Dansk evalueringsselskab vil være vært for en lille forfriskning.


KVALITATIV METODE I EVALUERING

Tid: Onsdag den 29. april 2015 kl. 15.30-17.30.
Sted: Center for Sundhed og Samfund, Øster Farimagsgade 5, lokale 4.2.26 ("frokoststuen"). Det betyder bygning 4, 2. sal, lokale 26. 

Hvad der tæller, er det der kan tælles, lyder et slogan i vor tid. Alligevel viser kvalitative metoder i evaluering en bemærkelsesværdig levedygtighed. Hvorfor? Hvad er de særlige styrker ved kvalitativ metode? Hvordan lyder argumenterne for og imod - teoretisk og praktisk? Hvordan når man frem til anvendelse af kvalitativ evaluering?

Tre oplæg a hver max 20 minutter:

  • Professor Peter Dahler-Larsen fremlægger et bidrag til Sage International Handbook of Qualitative Research om kvalitativ metode i evaluering
     
  • Chefkonsulent, Ph.d. Claus Rebien, COWI: Den praktiske anvendelse af kvalitativ metode: overvejelser i forbindelse med design og selve gennemførelsen af evalueringen af akuttelefonen1813
     
  • Chefkonsulent Thomas Pihl, Region Hovedstaden: Kundeperspektivet på den kvalitative evaluering af 1813

Efter oplæggene er der fri debat og en forfriskning.

Arrangementet finder sted i samarbejde mellem CREME, COWI og Dansk Evalueringsselskab.

Kort over CSS: http://samf.ku.dk/pdf/kort_css.pdf


 Organisering af kommunale innovationsprocesser – midtvejsevaluering af Frikommuneordningen

Tid: Tirsdag d. 3. marts 2015 kl. 16.00 – 18.00

Sted: BDO, Kystvejen 29, 8000 Aarhus C.

I forbindelse med finanslovsaftalen for 2011 besluttede den tidligere regering at gennemføre forsøg med frikommuner. Den nuværende regering har videreført forsøget med den ambition, at erfaringerne kan bidrage til den generelle reform af den offentlige sektor med fokus på tillid, faglighed, ledelse og afbureaukratisering. Frikommuneprojektets mål om at sætte kommunerne mere fri og fjerne uhensigtsmæssige regler og bindinger for lokalpolitikere, ledere og medarbejdere skal ses i sammenhæng med regeringens tillidsreform. I alt ni kommuner er udvalgt til frikommuneordningen, der foregår fra den 1. januar 2012 til den 31. december 2015.

Kommunernes Landsforening samt Økonomi- og Indenrigsministeriet har bedt Rambøll og BDO om at gennemføre en evaluering af Frikommuneordningen. Evalueringsarbejdet løber frem mod sommeren 2016, men allerede nu er der udarbejdet en midtvejsevaluering med fokus på, hvordan ordningen er blevet organiseret i samspillet mellem stat og kommuner, og hvordan ordningen er blevet implementeret af de ni frikommuner, herunder særligt hvordan idéudviklings- og innovationsprocesserne er blevet tilrettelagt.

På gå-hjem-mødet fortæller Senior Manager fra BDO, Alvaro Arriagada og Managing Consultant fra Rambøll, Jeppe Ostersen, om midtvejsevalueringens resultater, de kommunale og statslige erfaringer med ordningen og hvilke perspektiver dette giver i forhold til det fortsatte arbejde med afbureaukratisering og tillid i den offentlige sektor i Danmark.


Surveys med mere. Hvordan kombineres survey med andre metoder?

Tid: Onsdag d. 18. februar 2015 kl. 13:00 - 15.00
Sted: Alexandersalen, Bispetorvet 3, København K

International gæsteforelæsning v. Jennifer Greene

"Dansk Selskab for Surveyforskning” afholder følgende arrangement, der også bør have interesse for medlemmer af DES.

Kom til møde i surveyselskabet og hør Jennifer Greene - en af verdens førende forskere inden for Mixed Methods.

Foredragets titel er  

“Contributions and cautions in mixing other methods with survey research” 

Foredraget tager udgangspunkt i surveyforskning og de udfordringer det giver at bruge survey-undersøgelser som en del af et mixed methods studie. Hvordan kombinerer man survey med andre metoder? Hvilke gevinster kan der høstes ved at gøre dette og hvilke faldgruber skal man undgå? Med udgangspunkt i sin omfattende erfaring med mixed methods-forskning og -evaluering giver Jennifer Greene sine bud på surveyens rolle i mixed methods-forskning.

Efter foredraget åbnes der for en paneldebat med Jennifer Greene, Bella Marckmann (KU) og Signe Ploug Hansen (EVA).

PROGRAM:

Kl. 13-14:Gæsteforelæsning

Kl. 14-14.20: Kaffepause

Kl. 14.20-15: Paneldebat v/ Jennifer Greene, Bella marckmann (KU) og Signe Ploug Hansen (EVA)

Jennifer Greene er professor i uddannelsesforskning med speciale i evaluering og mixed methods-forskning ved University of Illinois at Urbana-Champaign. Hun har gennem de seneste 20 år været en af de internationalt førende kapaciteter inden for mixed methods forskning. Hun har udgivet adskillige artikler der har været skelsættende for udviklingen af mixed methods-metodologi og en række grundbøger og introduktioner til mixed methods-forskning generelt.