Zoekveld

Monitoring en evaluatie

Voor de doorontwikkeling van het sociale wijkteam is het belangrijk om de doelen en resultaten regelmatig te evalueren en monitoren. Denk hierover daarom al na bij de visie- en planvorming. Bereikt het wijkteam de inwoners, en sluiten de doelen aan bij de vragen uit de wijk. Op basis van de uitkomsten van de monitor kan het wijkteam zichzelf doorontwikkelen en steeds beter aansluiten bij de wijk.

Voorwaarde voor een goede evaluatie en monitoring is dat de betrokken partijen, de gemeente en het wijkteam, een duidelijk beeld hebben van de opdracht van het wijkteam en van de beoogde resultaten en effecten. Deze uitgangspunten helpen hierbij:

Wie wil wat weten?

In de wijk leven verschillende perspectieven en actoren; de gemeente, management van instellingen, professional en cliënten/burgers. Het doet er toe wie welke informatie wil gebruiken:

  • Gemeenten willen effecten zien op het niveau van de samenleving.
  • Managers van instellingen willen zicht op de 'productie' van medewerkers.
  • Professionals willen dat de problemen van hun cliënten of bewoners worden opgelost door hun professioneel handelen of dat zij een betere kwaliteit van leven krijgen.
  • Cliënten en bewoners willen graag snel en goed geholpen worden en gerespecteerd worden in hun eigen regie, mogelijkheden en wensen.

Bij al die verschillende spelers horen verschillende vormen van monitoring en verschillende instrumenten waarmee die informatie kan worden verzameld. De eerste stap om deze kluwen te ontwarren is het besef dat deze verschillende perspectieven er zijn en dat ze allemaal hun eigen waarde en betekenis hebben. Ga hierover dan ook het gesprek met die verschillende partners aan.

Bepaal aan wie het sociaal wijkteam verantwoording aflegt

Aan wie legt het sociaal wijkteam verantwoording af? Is dat de gemeente als opdrachtgever? Zijn dat ook verschillende organisaties (wanneer de teamleden gedetacheerd zijn bijvoorbeeld) of is dat een stichtingsbestuur (bij oprichting van een nieuwe organisatie)? Denk hierbij ook aan partnerorganisaties, wijkorganisaties, bepaalde cliënt-, doel- en burgergroepen. En op welke manier?

Tellen en vertellen

Het sociaal wijkteam moet laten zien hoe zij haar opdracht in de wijk vervult en wat daarvan de resultaten zijn. Gemeenten willen steeds vaker dat hierover kwalitatieve verantwoording wordt afgelegd, onderbouwd met kwantitatieve gegevens. Toch is het ook belangrijk om bij monitoren en evalueren niet alleen te kijken naar kwantitatieve informatie (= tellen), maar ook echt tijd in te ruimen om elkaar te informeren over kwalitatieve informatie (= vertellen). Bovendien vragen cijfers altijd om toelichting. De combinatie van tellen en vertellen leidt vaak tot nieuwe inzichten en verbeterde aanpakken. Bij beide vormen van informatie is de betrouwbaarheid van de geleverde informatie belangrijk. Daarbij hoort dat inzichtelijk is hoe en wie de informatie heeft verzameld en hoe deze verwerkt is.

Registratie

Het sociaal wijkteam zal moeten bijhouden bij wie zij is geweest en wat er is gedaan, zowel in aantallen als in verhalen, waardoor ook kleine stapjes met grote persoonlijke effecten duidelijk worden. Het gaat hierbij niet alleen om cliëntgerichte registratie (contacten met individuele cliënten), maar ook 'evenementgerichte' registratie (bijvoorbeeld voorlichtingsbijeenkomsten). Het uitgangspunt is dat registratie past bij het doel waartoe het dient en dat de registratielast zo laag mogelijk blijft. Zoek daarom bij het registeren van gegevens naar een vorm waarbij de juiste balans gevonden wordt tussen informatiedichtheid en het beperken van arbeidsintensieve handelingen voor de werkers van het wijkteam.

Soorten evaluatie

Er zijn drie soorten evaluaties mogelijk, namelijk een planevalutie, een procesevaluatie en een effectevaluatie.

Planevaluatie

De planevaluatie richt zich op het plan van aanpak, en vindt plaats voordat de uitvoering start. Vragen die relevant zijn:

  • Is er een goede probleemanalyse gemaakt?
  • Zijn de doelstellingen concreet geformuleerd?
  • Zijn er bepaalde inzichten uit de praktijk of uit onderzoek die de gekozen aanpak onderbouwen?
  • Is de taakverdeling en tijdsinvestering van betrokkenen duidelijk?
  • Welke effecten worden verwacht van de aanpak?
  • De planevaluatie kan opgestart worden door de gemeente. Zij kan er voor kiezen daarbij van meet af aan samenwerkingspartners - cliënten/burgers, beroepskrachten, instellingen - te betrekken.

Procesevaluatie

Bij een procesevaluatie evalueer je het verloop en de uitvoering van een aanpak. Dit type evaluatie geeft feedback op het handelen van uitvoerders en inzicht in de verbetering daarvan. Deze vorm van evaluatie is niét geschikt om vast te stellen of bepaalde effecten of resultaten worden behaald, maar vormt wel een belangrijke aanvulling op een effectevaluatie. Relevante vragen zijn:

  • Wat is het bereik van de aanpak (waar, met en voor wie)?
  • Hoe is de samenwerking tussen de betrokken partijen in het sociale wijkteam en met derden?
  • Hoe waarderen en beoordelen de uitvoerders en cliënten/burgers betrokken bij het sociale wijkteam de aanpak qua investering in middelen, tijd en geld?
  • Welke succes- en verbeterpunten zijn er?

Effectevaluatie

Bij een effectevaluatie is de centrale vraag: wat levert de aanpak op? De uitkomsten - resultaten en effecten - staan centraal. Relevante vragen zijn:

  • Zijn de doelstellingen behaald? En is de problematiek bij cliënten afgenomen of gestabiliseerd?
  • Hoe zit het met cliënttevredenheid en -uitval?
  • Welke concrete resultaten (output) zijn gerealiseerd en welke verwachte en onverwachte effecten (outcome)?
  • Welke factoren hebben bijgedragen aan welk resultaat en effect?
  • Zijn er wijzigingen in het plan van aanpak nodig?

Een effectevaluatie vraagt een gedegen opzet en uitvoering, die bij voorkeur door derden wordt gerealiseerd.
Voor het nagaan van effecten zoals de afname van problematiek of toename van participatie of zelfredzaamheid zijn uiteenlopende instrumenten in te zetten. Zie hiervoor de publicatie 'Overzicht meetinstrumenten en monitoren sociaal domein' en de website 'Meetinstrumenten in de zorg'.

Je kunt deze evaluaties los toepassen maar ze staan niet los van elkaar; ze grijpen op elkaar in. Zo kan een effectevaluatie bijvoorbeeld inzichten opleveren voor het proces, wat weer kan leiden tot bijstelling van het vooraf opgestelde plan van aanpak.

Ontwikkel Indicatoren en meetinstrumenten

Afhankelijk van het doel en de beoogde effecten stel je met elkaar indicatoren vast, waarvan je veronderstelt dat ze kunnen weergeven in welke mate het doel wordt gerealiseerd. Een indicator is een meetbare eenheid die aangeeft in welke mate het doel gerealiseerd wordt of hoe dat gebeurt. Voorbeelden van indicatoren zijn de lengte van een wachtlijst, het gemiddelde tevredenheidscijfer van gebruikers, het percentage cliënten dat voortijdig uitvalt. Houd hier ook weer rekening met de verschillende perspectieven. Wat voor een gemeente een belangrijke indicator is, kan voor professional, cliënt of burger minder belangrijk zijn en andersom. Het ontwikkelen van indicatoren voor het meten van effecten van sociale wijkteams staat nog in de kinderschoenen en is ingewikkelde materie.

Om de denktrant te illustreren, hieronder een voorbeeld:
Een voorbeeld. Het globale doel luidt: bevorder de participatie van bewoners in de wijk, in het bijzonder mensen laag op de participatieladder. De doelstelling ofwel resultaatformulering kan zijn: leid dit kalenderjaar minimaal 50 mensen die op trede 1, 2 of 3 van de participatieladder staan, toe naar vrijwilligerswerk of scholing.

De indicator is dan een percentage, waarbij in de teller het aantal mensen die de stap heeft gemaakt is opgenomen, en in de noemer de streefwaarde van 50 mensen. De uitkomst kan dan bijvoorbeeld zijn 40/50 x 100% = 80%.

Zoek vervolgens een of meer geschikte meetinstrumenten die informatie opleveren voor de indicatoren. Er zullen gegevens nodig zijn op macroniveau (gemeente/wijk/buurt), op mesoniveau (wijkteam) en microniveau (cases).

Meer hierover lezen?

  • 'Overzicht meetinstrumenten en monitoren sociaal domein' en op de website 'Meetinstrumenten in de zorg'.
  • De website Wat Werkt Studio biedt een actueel overzicht van instrumenten die je als organisatie en professional kunt inzetten om de effectiviteit hiervan in kaart te brengen.
  • Movisie-publicatie 'Zicht op effect'.
  • Het onderzoeks- en adviesbureau Arcon ontwikkelde De Menselijke Maat als verbeterinstrument. Het levert inzicht in de invloed van dienstverlening op het leven van cliënten, in termen van autonomie, eigen kracht en verbondenheid. Ook biedt het inzicht in de werkwijze van je team en hoe die verbeterd kan worden. Het is al toegepast in de gemeenten Almelo en Borne.

Een kanttekening

Het dominante doel van de wijkteams wordt steeds meer het bieden van passende zorg en ondersteuning op maat, direct toegankelijk voor de individuele burgers, zo blijkt uit de landelijke peiling Sociale wijkteams opnieuw uitgelicht. Tegelijkertijd verwachten veel gemeenten dat de teams een forse bijdrage leveren aan het versterken van de samenredzaamheid, en het realiseren van meer algemene voorzieningen en minder individueel maatwerk. Of dit effect ook daadwerkelijk bereikt wordt is moeilijk te meten omdat hiervoor nog geen goed instrumentarium beschikbaar is.