28. februar 2013

5. Progressionsmålinger – fra indikator til måling

I håndbogen om virkningsevaluering og manual til jobcentre i resultatbaseret styring er der gode praktiske anvisninger på, hvordan man kommer i gang med at definere sine målinger. Se håndbogen under bilag.

Det er en videnskab at måle rigtigt. Derfor oplever de fleste, at det første spørgebatteri skal justeres, når erfaringerne indhøstes. Det første og måske vigtigste råd er derfor at starte i det små med et pilotprojekt, som kan ændres undervejs.

I det følgende er et lille udpluk af gode råd bl.a. fra de to håndbøger. Du kan trykke på overskifterne nedenfor for at hoppe direkte til afsnittet.

  1. Hvad er en indikator?
  2. Proces for opstilling af indikatorer
  3. Kvalitetsvurdering af indikatorer
    3.1 Præcise og entydige indikatorer
    3.2 Er indikatoren relevant?
    3.3 Er indikatoren tilstrækkelig?
  4. Hvordan laves skalaer?
  5. Hvor tit skal der måles og gøres status?

 

1. Hvad er en indikator?
Det er forholdsvist enkelt at måle, om en borger er kommet i beskæftigelse. Men mange af delmålene på vej til beskæftigelse, kan man ikke direkte måle. Derfor er det nødvendigt at finde indikationer på, at der er sket den ønskede forandring. Det kan, afhængigt af de faktiske delmål for den enkelte målgruppe, være evnen til at indgå i sociale relationer, motivation, tillid, tiltro til egne evner og kompetencer, indlærings- og omstillingsevne, levevaner, mestring af struktur i hverdagen, mestring af helbred, jobparathed, arbejdsidentitet, økonomisk afklaring osv.

Indikatorerne ovenfor er progressionsmål, men der er også indikatorer der belyser hvor langt en person er fra beskæftigelse. Det kan f.eks. være antal måneder i ledighed, alder, boligsituation, uddannelsesbaggrund, antal år i beskæftigelse osv.

Definition af en Indikator:

  • Et tegn på at en forandring er indtrådt
  • En indikator er ikke altid eksakt, men kan indikere at noget er tilstede eller indtrådt
  • En indikator skal være målbar.

Kilde: New Insight, Håndbog i virkningsevaluering, s. 17

 

Eksempel på en indikator:

 Integro har opstillet følgende indikatorer til at måle evnen til at indgå i sociale relationer:

  • Du har svært ved at skabe sociale relationer og har ikke noget socialt netværk
  • Du er åben for kontakt
  • Du har svært ved selv at skabe kontakt
  • Du har lært dig selv teknikker, der gør at du føler dig bedre tilpas i sociale sammenhænge
  • Du har forståelse for egne sociale styrker og behov for netværk
  • Du fungerer godt i sociale arrangementer både privat og i arbejdssammenhænge

 Kilde: Integro (se mere under bilag)

Til toppen  

2. Proces for opstilling af indikatorer
Hvis man arbejder efter forandrings- eller programteori vil opstillingen af indikatorer ligge som en naturlig del af konceptet, når delmålene skal gøres operationelle. Men det kræver en selvstændig teknisk øvelse at opstille indikatorer. Derfor kan det være frugtbart at samle flere nøglemedarbejdere i en workshop, hvor de kan inspirere hinanden til at opstille og kvalitetsvurdere indikatorerne.

I New Insights håndbog anbefaler de, at man starter processen med at finde relevante indikatorer ved at stille følgende spørgsmål:

  • Hvad kan vise os, om aktiviteterne gennemføres, og hvor stor udbredelsen af dem er?
  • Hvad er tegn på, at den forandring, der forventet at indtræffe i forbindelse med delmålene, finder sted – hvad skal der specifikt kigges efter?
  • Hvad er tegn på at slutmålene nås?
  • Hvad er tegn på at de virksomme mekanismer er til stede i indsatsen?

Kilde: New Insight, Håndbog i virkningsevaluering, s. 17

I Rambøll’s manual foreslås følgende proces fra start til slut:

  • Opstilling af bruttoliste: Indikatorer, som er identificeret i forandringsteoriworkshoppen samles.
  • Kvalitetsvurdering: En systematisk vurdering af kvaliteten af de tilbageværende indikatorer.
  • Prioritering: Efter vurderingen rangordnes indikatorerne.
  • Specifikation. Indikatorerne specificeres i forhold til den praktiske implementering samt deres præcise definition og operationalisering.
  • Nettoliste: Jobcentret lægger sig fast på et antal indikatorer og tilhørende registreringsværktøjer.

Kilde: Rambøll, Resultatbaseret styring – Manual til jobcentrene  s. 17

Nedenfor beskrives nogle af de overvejelser, man kan gøre sig i forbindelse med kvalitetsvurderingen (dot 2 ovenfor) af indikatorerne.

Til toppen 

3. Kvalitetsvurdering af indikatorer

Når man har identificeret de indikatorer, som er relevante for at nå målet, kan det anbefales at underkaste dem en systematisk vurdering. Det vigtigt at vurdere, om man måler rigtigt, før man bruger ressourcer på at måle.

Rambøll Management anbefaler fem kriterier som kan anvendes i den forbindelse.

  1. Er indikatoren præcis og entydig for det fænomen, den måler?
  2. Er indikatoren relevant i forhold til at belyst fænomenet tilstrækkeligt?
  3. Er indikatoren tilgængelig for et realistisk omkostningsniveau?
  4. er indikatoren et tilstrækkeligt grundlag til, at vurdere præstationer af en indsats?
  5. Kan indikatoren underkastes uafhængig validering?  

Kilde Rambøll Management , Resultatbaseret styring – Manual til jobcentrene  s.17

Nedenfor er tre af de fem kriterier uddybet nærmere (1,2,4)

 

3.1 Præcise og entydige indikatorer

Det er en udfordring at sætte en faglig vurdering på en skala og omsætte kvalitative vurderinger til kvantificerbare måleenheder.

Et godt råd er, at bruge så objektive og enkle indikatorer som overhovedet muligt

Jo mere subjektive og kompliceret indikatorerne er, jo større er risikoen for at de sagsbehandlere, der skal vurderer og scorer den ledige, ikke er enige om, hvad indikatorer står for. Den scorer borgeren får, kan i så fald ligeså godt afspejle sagsbehandlerens subjektive værdier som borgerens progression – og resultaterne af målinger mister dermed deres validitet.

Desværre kan det ikke undgås at indikatorerne er subjektive. Men der er flere måder, hvorpå man kan sikre sig større entydighed i målingerne. Bl.a. ved at:

  1. Udarbejde vejledende eksempler, som præciserer hvad der kendetegner en bestemt ”score”
  2. Teste om medarbejderne scorer den samme borger ens
  3. Gennemføre dialogmøder, hvor man tager en case op og skaber fælles forståelse
  4. Supplerer medarbejdervurderingerne med borgernes selvvurderinger.

Ad A udarbejde vejledende eksempler, som præciserer hvad der kendetegner en bestemt ”score”
Det er relativt enkelt at specificere, hvad der kendetegner en bestemt scorer, så det er muligt at reducere forskellige opfattelser af en subjektiv indikator. Hermed sikrer man, at indikatoren er så objektiv vurderbar som muligt.

I Aarhus kommune har de f.eks. vejledende eksempler til hver enkelt score på deres indikatorer. Eksemplerne er så vidt muligt baseret på objektive faktorer. De vejledende eksempler skal sikre, at scoringen hos de forskellige medarbejdere bliver så ens som overholdet muligt.

Eksempel fra Aarhus: Kriminalitet

Vedrører, hvorvidt den unge udviser kriminel adfærd og graden af alvor af de kriminelle adfærd.
De fem niveauer skal ses indenfor en periode på de seneste 6 måneder, eller før ankomst til sikret afdeling. Der kan godt være viden/mistanke om kriminel adfærd uden der foreligger en sigtelse. Sigtelser vedrører overtrædelser af straffeloven (d.v.s. at overtrædelse af politivedtægten eksempelvis ikke medtages.)

 

Se flere eksempler under bilag.

Tryk her for at komme til bilag.

Ad B teste om medarbejderne scorer den samme borger ens
En anden mulighed for at sikre større validitet i vurderingerne af borgernes progression, er at teste om forskellige sagsbehandlere bedømmer de samme personer ens. I Aarhus kommune holder de netværksmøder for de medarbejder, der arbejder med resultatdokumentation. Til møderne scorer medarbejderne anonyme personer og drøfter eventuelle forskelle i vurderingerne for at opnå så stor fælles forståelse som muligt af skalaen.

Ad C gennemføre dialogmøder, hvor man tager en case op og skaber fælles forståelse
En tredje mulighed er at afholde dialogmøder, hvor medarbejderne bredt drøfter udvalgte problemstillinger og eksempler på borgere. Her kan medarbejderne bl.a. drøfte, hvordan de opfatte borgenes situation, udfordringer, muligheder, løsninger og hvordan de vil ”score” borgeren.

Esbjerg Kommune holder cafemøder på tværs af forvaltningerne med henblik på at drøfte cases og dermed øge validiteten af målingerne.

Kommune holder også dialogmøder, som skal sikre et fælles sprog og tilpasning af indsatsen. Her er dagsordenen bredere end at teste validiteten af målingerne. Esbjerg Kommunes erfaring er, at dialogmøderne styrker entydigheden i scoringen (om en borger skal ”scores” med 2 eller 3). Men Esbjerg kommune har også den erfaring, at møderne derudover styrker den fælles faglighed og sætter fokus på spørgsmål som, hvordan udvikler vi vores indsats, så vi opnår bedre resultater.

Eksempler på dialogmøder og cafemøder i Esbjerg Kommune

Dialogmøder i forbindelse med resultatbaseret styring

Formålet med dialogmøder er at skabe et fælles sprog samt sikre progression af borgerens indsatsområder. Dialogmøderne skal afholdes, når der sker en negativ udvikling eller ved ændring af indsatsområder.

Dialogmøderne afholdes på forskellig vis grundet målgruppernes forskellige karakteristika og sektionslederne er garant for, at dialogmøderne afholdes ud fra ovennævnte formål.

Cafedage

Afholdes på tværs af afdelingerne. Beskæftigelsesrådgiver og projektmedarbejdere fra internt projektafdeling mødes og drøfter cases i forhold til relevante indsatsområder og scoringerne på indsatsområderne.

 

Ad D supplerer medarbejdervirderingerne med borgernes selvvurderinger
Endelig er det en mulighed at lade borgeren scorer sig selv. Hvis der er en meget stor afvigelse mellem medarbejderens og borgerens vurdering, kan selvvurderingen styrke dialogen mellem borger og medarbejder om årsagen, men det kan også give anledning til at vurdere validiteten af målingen.

3.2 Er indikatoren relevant?

Man kan bruge mange forskellige datakilder til at evaluere om indsatsen virker.

  • Hvis målet er beskæftigelse og delmålene til at nå beskæftigelse for borgeren bedst nås via udvikling af mestringsevner som f.eks. ”bedre evne til at indgå i sociale sammenhænge” vil det være oplagt at anvende progressionsmålinger.
  • Progressionsmålinger er derimod ikke den rigtige løsning, hvis det er mere afgørende for at nå målet om beskæftigelse, at borgerne har et sted at bo, at borgeren er parat til at pendle længere, har en specifik uddannelse, eller at indholdet i jobsøgningskurserne er målrettet borgerens behov.
  • Progressionsmålinger er heller ikke den rigtige løsning, hvis udvikling såsom ”evnen til at indgå i sociale sammenhænge”, slet ikke er afgørende for at få et job eller relevant for borgeren for at nå målet ”beskæftigelse”. Det kan f.eks. være fordi beskæftigelsesmålet ikke kræver social mestring eller personen f.eks. er autist og aldrig vil kunne mestre et job, der sætter høje krav til sociale kompetencer. Progressionsmåling er med andre ord velegnet til at måle borgernes udvikling, men skal kun bruges, hvis det er relevant for at opnå det endelige mål.

I New Insights håndbog er der en kort gennemgang af hvilke datakilder, der er velegnede til forskellige formål (se kap. 8).

3.3 Er indikatoren tilstrækkelig?
Som et led i kvalitetsvurderingen er det relevant at overveje, om de valgte indikatorer er tilstrækkelige til at fastslå om delmålet er opfyldt. ”Evalueringer af offentlige indsatser i Danmark er typisk ikke solide nok til at fastslå en årsagssammenhæng mellem indsatsen og det valgte effektmål” (Jacob Nielsen Arendt, Frikommuneforsøget – hvordan opnås en brugbar effektmåling? (2012))

Hvis formålet med at måle progression er at få mere præcis viden (evidens) om hvilke elementer i indsatsen, der gør en forskel, er det en fordel, hvis indsatsen overfor borgeren dokumenteres nærmere . Med andre ord, at der føres logbog over hvilke tiltag der iværksættes overfor borgeren. Disse tiltag kan være en fast drejebog, som den enkelte kommune selv har udviklet, eller det kan være metoder eller individuelle idéer, der afprøves i indsatsen. Fordelen ved at dokumentere indsatsen er, at den kan danne rammen om hvilke elementer i indsatsen eller tiltag, der har fået borgeren til at bevæge sig opad i progressionsmålingen. Selvom ikke alle borgere reagerer ens på samme tiltag, kunne der være nogle gevinster/viden at hente i form af generelle elementer i indsatsen, som flytter alle.

En helt anden men mere vigtig praktisk overvejelse er, hvordan man mest enkelt begrunder en konkret ”scoring” af en borger.

For at understøtte scoringerne, men samtidig gøre det gennemskueligt, har Esbjerg Kommune udfærdiget følgende retningslinjer til brug af ’kommentarfelt’ under hvert enkelt indsatsområde.

Se Esbjerg  Kommunes retningslinjer under bilag

Til toppen

4. Hvordan laves skalaer?

For at kunne belyse udvikling, skal man kunne se, om borgeren gennemgår en ”bevægelse” – Går det fremad, går det tilbage eller er der tilstand. Derfor er skalaer gode, når der skal måles på en borgers progression. Ofte bruger man skalaer der går fra 1-5 eller 1-10.

Progressionsmålinger kan både besvares af en sagsbehandler i kommunen (faglig vurdering), en medarbejder ude i tilbuddet eller virksomheden (faglig vurdering) evt. i dialog med borgeren eller af borgeren selv (selvvurdering). Det kan være interessant at indhente vurderinger fra flere kilder, fordi det giver stof til nye overvejelser, hvis vurderinger er forskellige.

Væksthuset har i et tilbud for match 2 borgere udarbejdet følgende 1-5 skala for borgernes evne til at handle og tage initiativ.

Initiativ

Antal point

Borger er helt passiv:

Tager ikke initiativ i samtaler, kursusforløb eller arbejdsopgaver

  • Uinteresseret i at starte nye opgaver
  • Tør ikke/vil ikke prøve
  • Ingen erfaring med og viden om at tage initiativ

1

Borger er passiv

Tager ikke initiativ i samtaler, kursusforløb eller arbejdsopgaver

  • Begyndende viden om hvordan der kan tages initiativ, men har ingen erfaring med at gøre det

2

Borger er klar over at det forventes at han/hun selv deltager aktivt

  • Usikker – men vil
  • Går selv i gang med nye opgaver efter instruktion
  • Har viden om, hvad der forventes, og mulige måder at tage initiativ på
  • Begyndende erfaring i at tage initiativ

3

Borger er initiativtagende med en vis usikkerhed og ikke altid konsekvent

  • Usikker men prøver og har en række erfaringer med at tage initiativ og være aktiv
  • Stiller spørgsmål og kommer med forslag
  • Går selv i gang med nye opgaver inden for de definerede rammer af borgernes arbejdsopgaver.

4

Borger går selvstændigt i gang med nye arbejdsopgaver, eller deltager aktivt i undervisning, samtaler mv.

  • Stiller spørgsmål, kommer med forslag og ”siger fra og til”
  • Har opnået god erfaring med at tage initiativ, være aktiv og ”sige fra og til”
  • Går selv i gang med arbejdsopgaver, der ikke forventes eller spørger på eget initiativ om der er yderligere han/hun kan gå i gang med.

5


Eksempel på borgervurdering (selvvurdering)
New Insight har følgende eksempel på borgervurdering af troen på at få nyt arbejde skala på en linje fra 1-10.

1: Svarer til ”Jeg tror slet ikke det er muligt”

10: Svarer til ”Jeg tror fuldt og fast på at det er muligt”
(Sæt kryds på linjen under et af tallene)

1          2          3          4          5          6          7          8          9          10

Eksempel på arbejdsgivervurdering

Arbejdsgiver vurderer borgerens evne til at tage initiativ på en skala fra 1-10

1: Svarer til passiv

10: Svarer til ”går uopfordret i gang med opgaver, initiativrig
(Sæt kryds på linjen under et af tallene)

1          2          3          4          5          6          7          8          9          10

 

Til toppen 

5. Hvor tit skal der måles og gøres status?

Det nødvendigt at måle, samme forhold flere gange gennem alle målinger, hvis det skal være muligt se en bevægelse. Derfor er det nødvendigt at fastsætte, hvor ofte der skal vurderes på de givne indikatorer. Intervallet kan godt variere fra en indikator til en anden. Det afhænger bl.a. af hvor hurtigt man forventer, at der sker en udvikling på den valgte indikator og på længden af forløbet.

Hvis man måler, mens borgeren er i et tilbud kan det være relevant med mere fintfølende målinger (f.eks. korte trin i skalaen), som kan foretages hyppigt, så man hurtigt kan se en evt. fremgang. Den flyvende Hollænder måler f.eks. hver dag, mens Væksthuset har min. 3 målinger en startmåling, en midtvejsmåling og en slutmåling i løbet af et forløb.

Jobcenteret vil typisk måle progression som et led i kontaktforløbet hver tredje måned og ofte foretage vurderingen i dialog med borgeren.

I Aarhus foretages resultatvurderingen af udsatte og handicappede børn og unge i samarbejde mellem familierådgiveren og tilbuddet. Ved indskrivningen er det familierådgiveren, som har hovedansvaret for at sætte mål og vurderer status. 

Resultatdokumentationen er opdelt i 2 trin. Først foretages en vurdering den aktuelle situation (status), dernæst opstilles der mål på hver indikator for borgeren udvikling frem mod næste status(konkret delmål). Efter et halvt år følges der op på de mål, man har sat. I Aarhus er det derfor muligt både at opgøre om der er sket en progression og om det fastlagte mål for progressionen er nået.  

Til toppen 

Tryk her for at komme tilbage til hovedsiden om startkit til progressionsmålinger

YDERLIGERE MATERIALE