Workshop 2: Ordets kraft – Sprogbaseret tekstanalyse i evaluering

Thomas Skaalum Bargisen, HUB co-lead Lead for Data Science & Analytics; Simon Damgaard Nielsen, Consultant og Christian Fischer Vestergaard, Senior Director, Epinion.

Prøv at tænke over hvor meget tekst, du producerer i løbet af en almindelig arbejdsdag: Mødenotater, uendelige mailkæder og projektdokumenter. Tænk så på hvor meget de ord egentligt fortæller om dit arbejde, og hvor meget man ville kunne sige om dit arbejde, hvis man kunne analysere alle de tekststykker. 

Tæller man alle de ord, vi løbende nedfælder, tegner der sig et massivt tekstunivers med en enorm analytisk rigdom, som alt for sjældent bliver udnyttet. Med nye tekniske mulighed og sprogmodeller har vi fået mulighed for at analysere enorme tekstmængder, og udfordringen er derfor sjældent mangel på data, men snarere mangel på inspiration til, hvordan vi kan bruge de store mængder tekst, der allerede eksisterer. 

I denne workshop introducerer vi en praktisk tilgang til, hvordan tekstanalyse ikke alene kan supplere velkendte metoder, men i mange tilfælde også kan være bærende datakilder i evalueringer. Med afsæt i konkrete eksempler viser vi, hvordan man kan bruge store sprogmodeller til at håndtere store mængder tekst og opsummere tusindvis af dokumenter, men også simple men effektive metoder til at analysere mønstre i åbne besvarelser i spørgeskemaer. Undervejs vil vi vise, hvornår og hvordan de nye værktøjer bedst bidrager til læring og beslutningsstøtte i et evalueringsperspektiv. 

Workshoppen henvender sig til alle, der ønsker at udforske, hvordan tekst som data rummer et uopdyrket potentiale: Vi kan allerede nu opsamle værdifuld viden om projekter og indsatser – ofte uden at skulle ud i nye eller ressourcetunge målinger. Ved at tage et teknologisk innovativt blik på ustruktureret data åbner vi for nye vinkler, bedre kontekstforståelse og mere handlekraft i evalueringsarbejdet. 

Deltagerudbytte:
Konkrete redskaber og metoder:
Deltagerne lærer grundlæggende trin i tekstanalyse og får øjnene op for, hvordan sprogmodeller og andre værktøjer kan anvendes i praksis. 

Inspiration til praktisk anvendelse: De vil se eksempler på, hvordan man kan erstatte eller supplere traditionelle dataindsamlinger (fx dyre surveys eller tidskrævende interviewrunder) med tekstanalyse, og hvordan det kan give dybere og mere nuancerede indsigter. 

Refleksion over validitet og kvalitet: Ved at inddrage tekstdata med stor variation (f.eks. fritekstsvar, dokumenter fra organisationer eller offentligt tilgængelige referater) får deltagerne en forståelse for, hvornår tekstbaseret evaluering er velegnet, og hvornår man skal kombinere det med andre datakilder. 

Forankring i egen praksis: Gennem eksempler, diskussioner og erfaringsudveksling får deltagerne afklaret, hvordan de nye metoder kan overføres til deres egne evalueringer og arbejdsopgaver.

Deltagerforudsætninger:
Workshoppen er relevant for alle, der arbejder med evaluering, undersøgelsesdesign eller dataanalyse. Det kræver ingen forudgående teknisk viden om analyseværktøjer, men en grundlæggende forståelse for evaluering og metodiske overvejelser er en fordel.  

Hvis man har erfaring med at håndtere kvalitative data (fx gennem interviews, fokusgrupper eller tekststudier), vil man kunne spejle sine egne praksisser i de eksempler, vi gennemgår. Samtidig vil man også som erfaren i at arbejde med kvantitative data kunne få inspiration til at se mod nye datakilder til statistisk analyse.