28. februar 2013

4. Metoder – fundamentet for progressionsmåling

En afgørende forudsætning for at udarbejde progressionsmål er, at man har nogle begrundede forestillinger om, hvad der virker for de borgere, man gennemfører en indsats for.

Forandringsteori, programteori, logisk model eller interventionsteori er et redskab, som kan tydeliggøre hvorfor og hvordan en given indsats virker (se f.eks. Peter Dahler Larsen m.fl. Nye veje i evaluering, 2003). Forandringsteorien m.v. giver dermed et godt fundament for at udarbejde progressionsmål, som matcher målgruppen.

Du kan trykke på overskifterne nedenfor for at hoppe direkte til afsnittet.

Forandringsteori
Sat på en kort formel består arbejdet med forandringsteori m.m. i, at man som organisation stiller sig selv tre nøglespørgsmål

1. Hvad er målet med det vi gør? (politisk vilje)

2. Hvilke aktiviteter er nødvendige for at få os derhen? (professionel viden)

3. Hvordan ved vi, at vi er ved at nå derhen? (løbende overvågning f.eks. via progressionsmålinger)

Forandringsteorien m.m. tydeliggør den logiske sammenhæng mellem organisationens aktuelle handlinger og organisationens strategiske mål. Dermed kobler forandringsteorien målgrupperne og de ønskede resultater sammen med den indsats, som tilrettelægges. Resultaterne kan måles via mange forskellige datakilder. Progressionsmålinger udgør kun en ud mange og er ikke nødvendigvis det rette valg. Progressionsmålinger kan også anvendes på flere niveauer, hvor det generelle niveau ikke er koblet så tæt til arbejdet med forandringsteori for en specifik målgruppe.

Til toppen 

Generel måling af progression
Man kan vælge, at måle progressionen for en meget bred målgrupper f.eks. alle ikke-arbejdsmarkeds­parate og følge dem over lang tid - hele vejen til beskæftigelse. Man måler med andre ord de store skridt. Fordelen – og ulempen ved denne model er, at den primært giver viden om den generelle udvikling for målgruppen og ikke de enkelte aktiviteter og forløb borgerne gennemgår. Hvis evalueringen af resultaterne sammenkobles med registreringer af indsatserne, giver det mulighed for at analysere om kombinationen af indsatser giver mening. Målingerne vil derimod ikke give detaljeret viden om resultaterne af de enkelte tilbud for nærmere definerede målgrupper eller den enkelte borger.

Hvis man ønsker denne form for målinger er det vigtigt at være omhyggelig i udviklingsfasen. Hvis projektet skal give mening, skal målingerne være generelle, robuste og holdbare, så man får en lang valid tidsserie af data. Det centrale krav er her, at målene dækker de væsentligste kriterier for arbejdsmarkedsparathed.

Væksthuset og New Insight gennemfører i samarbejde med en række forskere og praktikere et udviklingsprojekt om indikatorer for arbejdsmarkedsparathed og progressionsmåling. Jobcentrene er i efteråret 2012 inviteret til at deltage i projektet.

Læs mere om udviklingsprojektet her.

Til toppen

Måling af progression hos nærmere definerede målgrupper og indsatser
Her tages der udgangspunkt i en mere specifik målgruppe, hvor man opstiller mål og aktiviteter med henblik på at opnå bedre resultater af indsatsen og dermed mere evidens for de virksomme elementer i indsatsen.  Udgangspunktet for at vælge denne type måling vil ofte udspringe af arbejdet med forandringsteori og resultatbaseret styring.

Progressionsmålinger kommer til at fungere som en slags test eller måling af, om indsatsen gør en forskel i forhold til de mål, man gerne vil opnå for målgruppen. Fordelen ved denne typer af måling er, at jobcenteret kan få mere detaljeret viden om, hvad der er de ”virksomme mekanismer” i indsatsen for målgruppen.

Det er muligt at afgrænse målingerne til en afprøvning af et eller flere specifikke tilbud i en bestemt tidsperiode. Denne type måling er oplagt, hvis man ønsker at udvikle indsatsen og bruge progressionsmål som redskab til at sikre mere viden om, hvad der virker for forskellige målgrupper.

Rebild Kommune har brugt denne tilgang i deres arbejde med progressionsmålinger. Rebild ville afdække hvilken indsats, der virkede bedst for langtidsledige dagpengemodtagere. De igangsatte et forsøg, hvor de ”testede” to forskellige indsatser. Progessionsmåling var ikke målet, men et af redskaberne til at teste deres programteori, og målingen gav dem den viden, de havde brug for til at målrette og prioritere indsatsen.

Til toppen 

Progressionsmåling forankret hos anden aktør
Væksthuset og Den Flyvende Holdlænder er to eksempler på eksterne aktører, der med henblik på kontinuert udvikling af deres indsats for borgerne, foretager hyppige progressionsmålinger. Her måles der på de små specifikke skridt i udviklingen - ofte i tæt dialog med borgerne. Progressionsmåling sikrer i denne sammenhæng mål og fokus på den enkelte borgers udvikling og skaber refleksion og systematik i arbejdet for medarbejderne.

Københavns- og Århus Kommuner har implementeret progressionsmåling af borgerne i deres tilbud i den specialiserede indsats for at sikre systematisk viden om indsatsernes virkning. Hermed har de styrket fundamentet for at foretage en overordnet prioritering og ressourceallokering.   

Til toppen 

Opstart med forandringsteori eller programteori
Forandrings-/programteori er et godt redskab til at sikre gode progressionsmålinger. Figuren nedenfor giver et hurtigt overblik over de vigtigste skridt i forandringsprocessen – fra start til slut.

Proces for forandring 

Sådan læses figuren

Man starter med at definere de målgrupper, for hvem man ønsker at opnå bedre resultat­er. Derefter definerer man de langsigtede mål (proces 1 i figuren ovenfor) af indsatsen og identificere, hvilke delmål (2) der er centrale for at nå målet.

For de fleste professionelle er det meget fristende at definere aktiviteterne før delmålene, men arbejdet med at udpege de centrale mål og delmål, er det afgørende fundament for resultatbaseret styring af indsatsen. Det er ikke usædvanligt, at man hopper for hurtigt hen over fastsættelsen af delmålene og bliver nødt til at gå tilbage og blive mere præcis senere i processen. Det kan derfor ofte betale sig at arbejde grundigt med fastsættelsen af delmålene, fordi det skærper resultatfokus og målretning i arbejdet.

Det næste skridt er at søge viden (3) og på baggrund af den viden man har indsamlet definere man, hvad man tror der virker i indsatsen, og hvad man tror, der skal være til stede for at indsatsen kan føre til de forventede resultater. De centrale spørgsmål er her: Hvilke elementer skal der være i indsatsen for at formålet kan opnås? Hvad er de afgørende faktorer, hvis indsatsen skal lykkes? (4). Kilder til inspiration i processen kan være medarbejdernes erfaringer, div. undersøgelser (fra effektanalyser til praksisundersøgelser), arbejdsgivervurderinger (hvilke kompetencer er afgørende for at virksomheden vil ansætte) og sidst men ikke mindst brugerdreven innovation og brugerundersøgelser (hvad vurderer borgerne, som de ”virksomme mekanismer”, der har hjulpet dem videre).

Når grundstammen i forandringsteorien er etableret, et det muligt at finde indikatorer eller ”tegn” på, at den forandring, der skal indtræffe, hvis målene skal nås (5). Det er her, det vil vise sig, hvordan man bedst måler resultaterne og dermed, om det er relevant at bruge progressionsmålinger.

Aktiviteterne kan først fastsættes, når det står klart, hvilken indsats, der skal til for at nå målene (5a).

Beskæftigelsesregion Nordjylland og Syddanmark har sørget for, at der er blevet udarbejdet praktiske håndbøger i, hvordan man kan arbejde med programteori og forandringsteori. Her er det muligt at få mere viden om de enkelte elementer i figuren. Links til håndbøgerne. under bilag sidst på siden.

De sidste processer i figuren handler om dokumentation og progressionsmålinger, som beskrives nærmere i afsnit 5 i dette startkit. Proces 6 beskrives i afsnit 5.1. Proces 7 beskrives i afsnit 5.2. Tryk her for at komme til afsnit 5.

Til toppen

Erfaringer fra kommunerne mht. at bruge forandrings- eller programteori
Mange kommuner har udviklet eller er godt i gang med at udvikle forandrings- eller programteorier for deres indsats. Nogle kommuner får eksterne konsulenter til at køre forandringsprojekter fra start til slut, som omfatter mange målgrupper. Andre kommuner starter for sig selv i det små med at sætte mål for afgrænsede målgrupper.  

Esbjerg Kommune
Esbjerg Kommune har arbejdet med forandringsteori på beskæftigelsesområdet ud fra et ønske om at forbedre indsatsen i alle led i jobcenteret. Rambøll Management har været inddraget i store dele af processen. Esbjerg startede i 2009 med workshops for medarbejderne, hvor de fastsatte deres forandringsteori med inspiration fra David Hunter.

Efterfølgende gennemførte Esbjerg et pilotprojekt for progressionsmåling, som udløber af deres forandringsteori (fra 1. april til 31. december 2010) hvor 6 medarbejdere afprøvede metoden med ca. 15 borgere. De udarbejdede et registreringsværktøj til måling af progression på regnearksbasis.  Esbjerg har efterfølgende udrullet deres projekt i stor skala.

Erfaringer fra Esbjerg:

  • Der er et stort potentiale i at styrke sammenhængen i indsatsen mellem bestiller/­sagsbe­handler og udfører/tilbud. Arbejdet med resultatbaseret styring og progressionsmåling har givet større fokus på BUM som organisatorisk princip. Projektet har sikret større præcisering af målgrupper og kravspecifikationer både til interne og eksterne leverandører.
  • Det er vigtigt at sikre forsat dialog og åbenhed om resultater. Det er også vigtigt at kommunikere, at målet er læring og ikke kun kontrol.
  • Arbejdet med forandringsteori har betydet, at der er kommet større fokus på samtalen som metode til at skabe forandring. Esbjerg har gennemført kurser i anerkendende samtaler/resultatorienterede samtaler for ca. 100 medarbejdere.

Esbjerg Kommune udviklede oprindeligt vedhæftede programteori. Projektafdelingen er aktuelt i gang med at bruge afsnittet om ’vejen til målet’ som inspiration til tilrettelæggelse af tilbuddene. Se mere under bilag.

Rebild Kommune
Rebild kommune havde brug for mere viden om, hvad der virkede for deres langtidsledige dagpenge­modtagere. Derfor opstillede de en programteori og endte med at gennemføre et miniforsøg med 2 forskellige indsatser. 25 ledige deltog i en vejledningsindsats varetaget af en ekstern aktør og 25 ledige deltog i et virksomhedsrettet forløb, som jobcenteret selv stod for. Indsatsen varede 3 måneder og undervejs i forløbet, blev progression hos de ledige målt ved hjælp af 10 spørgsmål. Forsøget blev efterfølgende evalueret.

Erfaringer med at bruge progressionsmåling i Rebild Kommune

  • Vi brugte progressionsmåling som et redskab i vores virkningsevaluering
  • Det viste sig senere, at de ledige som ifølge progressionsmålinger havde den største udvikling undervejs også var de ledige, som kom i job.
  • Det vigtigste er at gøre sig klart, hvad man vil bruge progressionsmåling til. Hos os kom målet før målingerne.
  • Vi lærte en del – forsøget har medført, at vi har ændret kurs i vores indsats.

Link til programteori, spørgsmål til langtidsledige dagpengemodtager og evalueringsrapporten kan findes under bilag sidst på siden.

Skanderborg Kommune
Erfaringer med at bruge forandringsteori i workshops:

  • Det fungerede godt at mødes på tværs af afdelinger og sammen formulere mål og antagelser om hvad der skal til. Medarbejderne tænder på at fagligheden er i centrum
  • Det kan være en udfordring, at få medarbejderne til at sætte ord på praksis
  • Vær opmærksom på, at det er vigtigt, at ledelsen er tydelig med hensyn til, hvad de langsigtede mål er – og om de kan ”diskuteres”
  • Vær opmærksom på, at der skal kunne træffes beslutninger og være faglighed til stede. Derfor skal der deltage både medarbejdere og ledere

Link til beskrivelse af forandringsteori for børn i voldsramte familier kan findes under bilag nedenfor.

Til toppen

Tryk her for at komme tilbage til hovedsiden om startkit til progressionsmålinger

YDERLIGERE MATERIALE

  • 412 Rebild_Programteori_vejledningsforløb_New Insight

  • 412 Rebild_Programteori_virksomhedsrettet_forløb_New Insight

  • 412 Skanderborg_forandringsteori

  • 421 Pixi i Forandringsteori_web_2_aug (2)

  • 4.1.2 mploy Kogebogomforandringsteori

  • 4.1.2 Programteori fredericia_feb 2009

  • 4.1.2 Roskilde Evalueringsnotat tilrettet 2docx

  • 4.1.2 skanderborg

  • 4.1.2 spilleregler skanderborg kommune

  • 4.1.2 Virkningsevaluering - kravspecifikation til match 2pdf