Sisse Harrev, chefkonsulent og Jonathan Hermansen, lektor. Begge fra Københavns Professionshøjskole.
Fokus på impact-evalueringer som en særskilt disciplin er ikke ny (Khandker et al., 2009). Den digitale og teknologiske acceleration inden for generativ AI medfører imidlertid nye muligheder og potentialer for anvendelse af teknologien i evalueringsøjemed. De største forhåbninger knytter sig til kvantitative evalueringer med dataindsamling på tværs af forskellige datakilder og bearbejdning af store datamængder (se også Bamberger, 2024), da det særligt synes at være her, at der kan være effektiviseringsgevinster at hente for evaluator ved at involvere AI. Nyere forskning peger imidlertid på, at der er stor forskel på, hvilke stadier af forskningsprocesser, som generativ AI særligt kan bidrage til og at: ”when it comes to data collection and analysis, there is considerable variation in the relevance and utility of GenAI tools across disciplines and research fields” (Sørensen et al., 2024, 3)
Begrebet impact-evaluering har i forskning- og uddannelsessektoren en ofte meget specifik betydning, der kan være både akademisk eller samfundsorienteret (Pedersen, 2017). Her lader det til, at menneskelige evaluatorer fortsat er afgørende for at bringe ekspertise og evnen til at fortolke data i en bredere kontekst, hvilket er nødvendigt for troværdige analyser og vurdering af impact. Så selvom AI kan tilvejebringe, sammenfatte og organisere data samt identificere sammenhænge, er teknologiens evne til at bidrage i evalueringsfasen endnu begrænset.
Vi ønsker helt grundlæggende at undersøge, hvordan AI kan bidrage meningsfuldt i de forskellige faser af en impact-evaluering i samspil med en menneskelig evaluator. Dette vil vi undersøge med afsæt i en impact-evaluering af et uddannelsesstrategisk projekt på Københavns Professionshøjskole.
Vores tese er, at det er nødvendigt at finde en afbalanceret tilgang til anvendelse af AI i impact-evaluering, der på den ene side udnytter AI, hvor der er effektiviseringsgevinster, mens der fortsat bibeholdes menneskelig ekspertise til at foretage de konkrete analyser og vurderinger. Dette gør vi med afsæt i en evaluering af ”Program for Generativ AI på KP’s professionsuddannelser”, som er en indsats, der har til formål at styrke kompetencer i og anvendelsen af AI på KP’s uddannelser på kort sigt såvel som på den længere bane. Evalueringen tager afsæt i programmets ”udviklingsspor”, der har tre hovedmål:
- Sikre, at eksamens- og prøveformer er valide og understøtter retssikkerhed og administrerbarhed
- Understøtte udviklingen af AI-baserede undervisningsmetoder, der er relevante for professionsuddannelserne
- Kompetenceudvikling for undervisere i brugen af generativ AI i undervisningen.
(Københavns Professionshøjskole, 2024, 4).
I projektet vil vi benytte generativ AI til at indhente og koble en række forskellige primære og sekundære data, der tilsammen vil udgøre et samlet datagrundlag for at vurdere programmets effekt, jf. de tre hovedmål. Projektet er designet til at inddrage data fra survey og fokusgruppeinterviews blandt hhv. KP’s undervisere og administrative medarbejdere, samt studievejledninger på de enkelte uddannelser, administrative oversigter over retskrav og eksempler på anvendt AI til udvikling af undervisningsmetoder. Projektet skal afprøve generativ AI i analysefasen med henblik på at sammenligne evalueringsresultaterne med dem, der nås frem til ved menneskelig analyse. Derigennem vil vi kunne pege på, hvor teknologien har sine muligheder og begrænsninger i dette stadie af impact-evaluering.
Projektet vil bidrage med nye perspektiver på, i hvilke faser af evalueringen og på hvilke måder AI meningsfuldt, hensigtsmæssigt og etisk kan bidrage til impact-evaluering af AI-indsatser inden for uddannelsessektoren. Samtidig vil projektet kunne identificere, hvilke opmærksomheder, dilemmaer og udfordringer, der mere bredt set er forbundet med at bruge AI i de forskellige evalueringsfaser, fx i relation til datakvalitet, jura og GDPR på uddannelsesområdet.
Deltagerudbytte:
En viden om, hvordan AI kan integreres i impact-evalueringer inden for uddannelsessektoren.
Deltagerforudsætninger:
Ingen