Onderzoek door lokale rekenkamers: maatschappelijke effecten versus beleidstechniek

• Inleiding

  De oprichting van lokale rekenkamers – vanaf 2005, afgezien van een aantal voorlopers – betekende een flinke uitbreiding van de infrastructuur voor beleidsevaluatie. Sinds die periode zijn positieve en negatieve commentaren op het rekenkamerwerk vernomen. Evaluaties van rekenkamers zijn overwegend (gematigd) positief (vooral op basis van meningen van direct betrokkenen); tal van commentatoren – soms uit ‘eigen kring’ – zijn overwegend kritisch. Wat opvalt, is dat in weinig evaluaties van rekenkamers – een enkele uitzondering daargelaten – de producten van rekenkamers (rapporten) een belangrijk onderdeel in de beoordeling uitmaken. Dit artikel neemt rekenkamerrapporten als object van onderzoek en is gebaseerd op een analyse van 126 rekenkameronderzoeken, gepubliceerd in de jaren 2008 en 2009; een korte scan van latere publicaties (2010, 2011) liet zien dat de resultaten nog steeds actueel zijn. Deze 126 rapporten zijn alle publicaties uit 2008 en 2009 van 35 gemeentelijke rekenkamers; de lijst van 35 rekenkamers is het resultaat van een op gemeentegrootteklassen gestratificeerde steekproef van gemeentelijke rekenkamers. Alle 126 publicaties zijn op inhoud geanalyseerd. Daarnaast beschrijven we wat de recente BZK-evaluatie heeft opgeleverd.

  Het commentaar dat hieronder geleverd wordt op hetgeen rekenkamers produceren, is niet nieuw. Wel is in dit artikel – en in het achterliggende rapport – het commentaar beter empirisch onderbouwd dan in de meeste eerdere commentaren. En kennelijk is het nodig om opnieuw het rekenkamerwerk onder het vergrootglas te leggen: eerdere commentaren hebben niet geleid tot duidelijke reacties van de zijde van rekenkamers en de rekenkamers blijven zich in hoofdzaak over de gebaande paden voortbewegen.

• Functies

  Er bestaan uiteenlopende beelden over wat de functie van het rekenkamerwerk is of zou moeten zijn. Daarin is één constante factor waar te nemen, namelijk ondersteuning van de controlerende taak van de gemeenteraad. Maar verder nemen de rekenkamers uiteenlopende elementen op in hun eigen taakomschrijvingen, zoals:

• de functie van de rekenkamer voor de kaderstellende rol van de gemeenteraad;

• de betekenis van het rekenkamerwerk voor wettelijke en volksvertegenwoordigende taken van de gemeenteraad;

• de betekenis van het rekenkamerwerk voor de (gemeentelijke) verantwoording aan de inwoners van de gemeente;

• de positie die de rekenkamer inneemt op het continuüm afrekenen ... leren;

• de adviserende rol van de rekenkamer;

• de rol van de rekenkamer in het bereiken van transparant bestuur.

Het is voor de rekenkamersector niet goed dat er dergelijke grote verschillen bestaan in de interpretatie van de eigen functie. Het bezwaar hiervan is dat er bij gebruikers van de producten van rekenkamers geen helder beeld bestaat over wat van rekenkamers verwacht mag worden. Een onhelder beeld beperkt de invloed van rekenkamers. Er ligt dan ook een taak voor de vereniging van rekenkamers om tot een samenhangend beeld te komen over de functie van de rekenkamers, uiteraard zonder dat dat een keurslijf voor individuele rekenkamers hoeft te zijn.

• Onderzoeksthema’s

  Vanaf het midden van de jaren nul is er nogal wat kritiek geleverd op de overmatige aandacht in rekenkameronderzoek voor de gemeentelijke bedrijfsvoering. Populaire thema’s waren de programmabegroting, externe inhuur, verbonden partijen, en dergelijke. Uit een steekproef van ruim 120 onderzoeken uit 2008 en 2009 blijkt dat er enige verbreding van het blikveld heeft plaatsgevonden (zie tabel 1).

  1Onderzoeksthema’s in rekenkamerrapporten 2008 en 2009

  Onderzoeksthema’s	Aantal
  Sociaal beleid	32
  Bedrijfsvoering	30
  Financiën	24
  Fysiek	16
  Opvolging aanbevelingen RK	8
  Gemeente - burgers	6
  Mobiliteit	5
  Veiligheid	4
  Economie	1
  Totaal	126

  Onderwerpen op het gebied van sociaal beleid voeren nu de lijst aan. Nog wel op de voet gevolgd door onderwerpen op het gebied van bedrijfsvoering en financiën. We merken op dat onderwerpen als veiligheid en economie – onderwerpen die in het brandpunt van de maatschappelijke belangstelling en van het gemeentelijk beleid staan – onder aan de lijst staan.

  Verder moeten er kanttekeningen worden gezet bij de wijze waarop rekenkamers tot prioriteitstelling van onderzoeksonderwerpen komen. De meeste rekenkamers bieden alle ruimte aan raad en burgers om onderzoeksonderwerpen voor te dragen, maar daarna wordt het lastig volgbaar hoe men tot prioriteiten en tot een onderzoeksprogramma komt. Rekenkamers hanteren geen richtinggevende criteria voor prioriteitstelling, maar werken met een lijst randvoorwaarden waaraan onderzoeksonderwerpen moeten voldoen. Ter illustratie hiervan volgen de criteria zoals de NVVR deze nog maar drie jaar geleden aanreikte:

• passendheid binnen de taakopdracht die de rekenkamer en rekenkamerfunctie (rekenkamercommissie) in de wet mee hebben gekregen. Daarnaast moeten zij passen binnen de specifieke taakopdracht en bevoegdheden zoals die in de verordening zijn vastgelegd;

• een zo groot mogelijke bijdrage aan de missie/doelstellingen van de rekenkamer(functie), gerelateerd aan de inzet van schaarse onderzoekscapaciteit;

• substantieel belang in financieel, organisatorisch, bestuurlijk of maatschappelijk opzicht;

• twijfel over de effectiviteit van het beleid, de doelmatigheid van de uitvoering of de rechtmatigheid van het beleid;

• mate van risico voor de gemeente, waaronder financieel;

• toegevoegde waarde:

• het onderzoek levert informatie op die niet reeds uit andere bronnen bekend is;

• het onderzoek levert informatie op die niet reeds uit andere bronnen bekend is;

• het onderzoek levert informatie op die niet reeds uit andere bronnen bekend is;

• benutten van specifieke bevoegdheden;

• mogelijkheid van bruikbare aanbevelingen;

• spreiding (variatie in onderwerpen, in onderzochte diensten en eventueel politiek, in portefeuilles van wethouders);

• bruikbaarheid (inspelen op verzoeken) en verwachte leereffecten.

Ontleend aan NVVR (2008). Handreiking onderzoek lokale Rekenkamers & Rekenkamercommissies.

De operationele criteria die rekenkamers doorgaans hanteren, lijken sterk op wat hierboven staat. En zo kan het ook nu nog, eind 2011, gebeuren dat een rekenkamer tot de conclusie komt dat onderzoek naar de procedures voor externe inhuur het allerbelangrijkste te onderzoeken onderwerp is.

Kortom, er lijkt wel sprake te zijn van enige ontwikkeling naar politiek en maatschappelijk wat meer relevante onderzoeksonderwerpen. Maar het beeld van de rekenkamer die de raad ondersteunt op de belangrijke kwesties binnen hun gemeente, is nog behoorlijk ver weg.

• Invalshoeken

  Dan is vervolgens de vraag vanuit welke invalshoeken rekenkamers onderzoek doen. Hierover heerst een hoge mate van eenstemmigheid, in de wet en bij de rekenkamers: rekenkamers voeren onderzoek uit naar de doeltreffendheid, doelmatigheid en rechtmatigheid van beleid. Maar een analyse van 126 rekenkamerrapporten uit 2008 en 2009 laat zien dat zij dat niet doen.

  Doeltreffendheidsonderzoek is onderzoek naar de mate waarin beleidsdoelen bereikt zijn en naar de factoren die (al dan niet) bijgedragen hebben aan doelbereik, waaronder de factor ‘beleid’. De praktijk is vooral dat rekenkamers constateren dat gegevens over doelbereik ontbreken. Waarna men zich onmachtig verklaart om de vervolgvraag naar de verklarende factoren voor doelbereik te onderzoeken.

  Doelmatigheidsonderzoek gaat over de vraag of het geboekte resultaat met minder middelen bereikt had kunnen worden, dan wel of met de ingezette middelen meer bereikt had kunnen worden. Deze vraagstelling stuit op dezelfde barrière als het doeltreffendheidsonderzoek (geen gegevens over doelbereik).

  Rechtmatigheidsonderzoek gaat over de vraag of in het beleid volgens wet- en regelgeving is gehandeld. Deze vraag wordt in weinig gevallen gesteld, uitgezonderd in onderzoek naar crises en calamiteiten.

  Dus rekenkamers doen in meerderheid niet wat zij zelf zeggen te doen en wat de wet en wetsgeschiedenis daarover aangeeft.

  Analyse van de aard van onderzoekvragen in - als zodanig door rekenkamers aangeduide - doeltreffendheidsonderzoeken van rekenkamers wijst het volgende uit:

• In de onderzoeksvragen komt met regelmaat aan de orde of in de beleidsvoorbereiding een maatschappelijke probleemanalyse is uitgevoerd. Over de inhoudelijke robuustheid van die analyse en over de uitkomsten van die analyse worden nauwelijks vragen gesteld.

• In de onderzoeksvragen komt vaak aan de orde of de beleidsdoelen duidelijk zijn verwoord (smart). Vragen over de inhoudelijke onderbouwing en de maatschappelijke betekenis van de doelen komen weinig voor.

• In de onderzoeksvragen komt vaak aan de orde of beleidsdoelen zijn uitgewerkt in een strategie (instrumentatie; organisatie van de uitvoering). Vragen over de inhoudelijke kwaliteit van de strategie worden weinig gesteld.

• In de onderzoeksvragen komt vaak aan de orde of afspraken worden nagekomen en regels worden nageleefd. Vragen over waarom dit wel respectievelijk niet gebeurt, worden weinig gesteld.

• In de onderzoeksvragen komt vaak aan de orde of gerapporteerd wordt over output en outcome van het beleid. Vragen naar waarom output en outcome zijn zoals ze zijn, worden weinig gesteld; ook vragen naar beïnvloedende externe dynamieken worden weinig aangetroffen.

Voor normenkaders, een vast onderdeel in rekenkameronderzoeken, geldt hetzelfde. Dit betekent dat rekenkamers niet de vragen stellen die voor doeltreffendheidsonderzoek gelden. De doorlichting van 126 rapporten op onderzoeksvragen en normenkaders wijst uit dat de techniek van de beleidsvoering hét onderwerp is van rekenkameronderzoek. Zijn beleidsdoelen duidelijk geformuleerd, is de informatievoorziening aan de raad op orde, worden interne regels nagevolgd, et cetera. Dit type onderzoeksvragen komt voort uit de visie dat beleid goed en effectief beleid is als dat ontwikkeld is volgens de beleidscyclus. Het geloof in de beleidscyclus is bij rekenkamers diep geworteld. Een kenmerkend citaat:

‘Centraal in deze evaluatie staat het idee dat beleid een cyclisch proces is dat een aantal stappen doorloopt: een beleidsmaker identificeert een probleem, stelt een aanpak op voor oplossing van dat probleem (input), de aanpak wordt uitgevoerd (throughput), die uitvoering leidt tot resultaten (output)) en als het goed is leiden de resultaten op hun beurt tot het beoogde effect, namelijk oplossing van het probleem (outcome). De kennis over bereikte effecten is van belang omdat deze inzichtelijk maken of de input nog steeds de juiste aanpak voor het probleem behelst.

Beleidstheoretisch mag verwacht worden dat wanneer beleid volgens deze cyclus is opgezet het gewenste effect bereikt wordt. Uiteraard spelen in de praktijk contextfactoren een rol die het verloop van de cyclus kunnen beïnvloeden. Voor deze evaluatie is echter allereerst in kaart gebracht of het gemeentelijke schuldhulpverleningsbeleid volgens deze cyclus is opgezet en de nieuwe aanpak schuldhulpverlening daarin is ingepast.’ (cursivering DH)

Bron: L.S. de Ruig & K.B.M. de Vaan (2008). Ex ante evaluatie vernieuwde aanpak schuldhulpverlening. Rapport van bevindingen. Zoetermeer: Research voor Beleid.

De claim is dus dat als beleid volgens het cyclische model ontwikkeld is, effectiviteit dan als vanzelf het gevolg is. Deze claim mist echter iedere bewijsvoering. Dat een doordacht beleidsontwerp kan helpen voor het bereiken van effectiviteit, ligt voor de hand. Maar verdergaande ambities kunnen niet aan de beleidscyclus worden verbonden. Vanuit het oogpunt van doeltreffend beleid zijn bijvoorbeeld inhoudelijke vragen over bewezen effectiviteit van beleidsinstrumenten en over bewezen effectiviteit van vormen van uitvoeringsorganisatie van veel meer belang. Alleen het feit dat het beleid volgens een stappenmodel ontwikkeld wordt, zegt niets; het gaat om wat er in die stappen gebeurt.

Het rekenkameronderzoek leidt tot een grote stroom onderzoeksrapporten die sterk op elkaar lijken en waarvan de uitkomsten grotendeels voorspelbaar zijn. Op zichzelf is het niet verkeerd om een enkele maal onderzoek te doen naar de wijze waarop een gemeente of een provincie beleid ontwikkelt en uitvoert, maar een continue stroom van rapporten over dit onderwerp heeft geen toegevoegde waarde. Bovendien, uit het feit dat na meer dan vijf jaar rekenkameronderzoek nog steeds rapporten verschijnen met dezelfde strekking, mag langzamerhand wel worden geconcludeerd dat de doorwerking van dit soort onderzoek beperkt is.

• Evaluatie BZK

  In de loop van 2011 zijn in opdracht van het ministerie van BZK de wettelijke bepalingen over lokale en provinciale rekenkamers geëvalueerd. ¹xR. van der Mark et al. (2011). Evaluatie van provinciale en gemeentelijke rekenkamers. Den Haag: Ministerie van BZK. In deze evaluatie wordt het beeld geschetst van een hoge mate van instrumentele doorwerking van aanbevelingen uit rekenkameronderzoeken. De conclusie (p. 46) is dat dit betekent ‘.. dat de controlerende functie van de raad/ps versterkt is’. Voor de duidelijkheid: dit laatste is een afgeleide conclusie, geen conclusie op basis van waarneming van het functioneren van gemeenteraden. Overigens is het rapport op dit punt niet eensgezind, want op pagina 48 wordt gesteld: ‘Van het structureel verbeteren van de kaderstellende en controlerende rol van de raad/ps is weinig sprake.’ (cursivering DH). Verder wordt geconcludeerd dat van conceptuele doorwerking nauwelijks sprake is, dat wil zeggen dat rekenkamerrapporten alleen doorwerken op het dossier waarop een rapport betrekking heeft, en dat gemeenten en provincies geen lessen trekken voor andere dossiers of beleidsvelden. Kortom, in de BZK-evaluatie komt een nogal bleek en futloos beeld van het rekenkameronderzoek naar voren. Maar wat de conclusie ook is, de BZK-evaluatie is te oppervlakkig en gaat voorbij aan het fundamentele punt van de twijfelachtige visie die aan een groot deel van het rekenkameronderzoek ten grondslag ligt.

  Een van de wetsdoelen in relatie tot de rekenkamers is dat bij gemeenten en provincies de aandacht voor doeltreffendheid en doelmatigheid toeneemt. Uit de BZK-evaluatie blijkt dat de meningen verschillen over de mate waarin het werk van rekenkamers daartoe leidt. Er is de mening dat louter de aanwezigheid van een rekenkamer dat effect sorteert. Maar bestuurders en ambtenaren achten de rol van rekenkamers hierin bescheiden.

  Terecht wordt in de BZK-evaluatie geconcludeerd dat een wetswijziging niet nodig is. Wel wordt gepleit voor een aantal wijzigingen in de wijze waarop rekenkamers hun werk doen en de wijze waarop raden/staten en bestuurders de rapporten en aanbevelingen van rekenkamers gebruiken. Zo wordt rekenkamers aanbevolen om in samenspraak met raden en colleges te komen tot verbeteringen inzake onderwerpkeuze, procesgang en aanbevelingen uit onderzoek. Rekenkamers wordt geadviseerd om met het oog op de kaderstellende functie onderzoek breder in te bedden en niet ieder onderzoek op één inhoudelijk thema te richten. En rekenkamers wordt geadviseerd te experimenteren met ook ander onderzoek dan ex post evaluatie.

• Voorbeelden

  Zowel de BZK-evaluatie als onze eigen analyses leiden tot de conclusie dat de staat van het rekenkamerwerk niet tot optimisme stemt. Er is uiteraard enige tijd nodig voordat zo’n stelsel van rekenkamers goed functioneert en tot resultaten komt, maar inlossing van de aanvankelijke perspectieven is nog niet binnen handbereik, ook na ruim vijf jaar rekenkamerwerk. De fascinatie van rekenkamers voor de beleidscyclus en de hieraan ontleende beleidstechniek is hiervan een voorname oorzaak. Dat neemt niet weg dat er ook goede voorbeelden worden aangetroffen waarin werkelijke stappen gezet worden in de richting van echt doeltreffendheidsonderzoek waaruit gemeenten zinvol kunnen leren voor toekomstig beleid. We geven drie typen voorbeelden.

  Ten eerste: Er zijn voorbeelden waarin de rekenkamer de conclusie achter zich laat dat de gemeente geen effectgegevens kan leveren en waarbij de rekenkamer zelf op zoek gaat naar effectgegevens. Het onderstaande kader bevat drie voorbeelden.

  In het kader van een onderzoek naar de straatreiniging in acht stadsdelen heeft de Rekenkamer Stadsdelen Amsterdam²xRekenkamer Stadsdelen Amsterdam (2009). Schoonhouden van de openbare ruimte. Straatreiniging in 8 Amsterdamse stadsdelen vergeleken. een aantal schouwen laten uitvoeren naar de staat van onderhoud van de openbare ruimte en van het groen.

  In het kader van de afgifte van bouwvergunningen deed de Rekenkamer Coevorden³xRekenkamercommissie Coevorden (2008). Bouwen met vertrouwen. Klantgerichtheid en doeltreffendheid van de bouwplanprocedure in Coevorden. survey-onderzoek naar de waardering van aanvragers van vergunningen voor de aanvraagprocedure.

  De Rekenkamer Den Haag⁴xRekenkamer Den Haag (2009). Werk maken van inburgering. Onderzoek naar resultaten inburgeringsbeleid. voerde in het kader van onderzoek naar de effectiviteit van het inburgeringsbeleid interviews met personen die inburgeringstrajecten volgden, met onder meer vragen naar de betekenis hiervan voor maatschappelijke participatie.

  Ten tweede: Het recente onderzoek van de rekenkamers van Amsterdam, Den Haag, Rotterdam en Utrecht⁵xOnder andere: Rekenkamer Rotterdam (2011). Een slag in de lucht. Effecten van beleid luchtkwaliteit; plus losse bijlage. inzake luchtverontreiniging is niet alleen een goed voorbeeld van zinvolle samenwerking tussen rekenkamers, maar ook een goed voorbeeld van relatief diepgaand onderzoek naar de effecten (ofwel: doeltreffendheid) op instrumentniveau, waarmee bouwstenen geleverd worden voor verklaringen van het al dan niet bereiken van de beleidsdoelen op dit dossier.

  Ten derde: Er is een enkel voorbeeld van ex ante evaluatie door een rekenkamer waarmee deze kan bijdragen aan de kaderstelling door de raad.⁶xBijvoorbeeld: L.S. de Ruig & K.B.M. de Vaan (2008). Ex ante evaluatie vernieuwde aanpak schuldhulpverlening. Rapport van bevindingen. Zoetermeer: Research voor Beleid.

• Maatschappelijke effecten

  De balans over de maatschappelijke en beleidsmatige betekenis van rekenkamers is niet positief. Het is de vraag of de adviezen uit de BZK-evaluatie krachtige, positieve gevolgen zullen hebben voor die balans; de aanbevelingen zitten te veel in de sfeer van hetzelfde doen, maar dan iets beter.

  Wij stellen voor dat rekenkamers de koers radicaal verleggen, de fascinatie voor beleidscyclus en beleidstechniek achter zich laten en ook – wat betreft de themakeuze - de belangstelling voor de gemeentelijke bedrijfsvoering achter zich laten. En vervolgens alle aandacht richten op maatschappelijke effecten van beleid en op het verklaren van slagen en falen van beleid, opdat in het beleid lessen getrokken kunnen worden uit eerdere ervaringen ten behoeve van beter beleid. Met de keuze voor maatschappelijke effecten als centraal punt bevindt de rekenkamer zich in het hart van waar het in het beleid om gaat (of zou moeten gaan).

  In dit beeld sluit de rekenkamer aan op de vierjaarlijkse cyclus van collegeprogramma’s met als centrale kwesties of met dit programma maatschappelijke doelen worden gerealiseerd en of het programma goed tot uitvoering komt. Voor onderzoek naar maatschappelijke effecten van beleid is een samenhangende en meerjarige onderzoeksprogrammering nodig. Dit is wezenlijk anders dan de huidige praktijk, waarin de programmering kortlopend is en er geen sprake is van inhoudelijke samenhang in de programmering. Een onderzoeksprogramma over maatschappelijke effecten van het collegeprogramma omvat in principe vier onderdelen. In de eerste plaats is dat advisering over het collegeprogramma op het punt van maatschappelijke effecten en in de tweede plaats advisering over maatschappelijke effecten op het (lagere) niveau van beleidsprogramma’s. In de derde plaats is er een rol voor de rekenkamer op het punt van de beleidsmonitoring. En ten vierde vindt in de vorm van ex post evaluatie het feitelijke onderzoek naar maatschappelijke effecten plaats. Deze vier typen activiteiten zijn weergegeven in onderstaande figuur: de omvattende beleids- en evaluatiecyclus.

  

  1 Beleids- en evaluatiecyclus rekenkamers

• Advisering bestuursprogramma’s

  In deze stap wordt de basis gelegd om onderzoek naar maatschappelijke effecten mogelijk te maken. De rekenkamer adviseert naar aanleiding van het programma van het gemeentebestuur op punten als de duidelijkheid en onderzoekbaarheid van ambities en doelstellingen; en over de robuustheid van probleemanalyses voor zover in programma’s opgenomen. En daarin kunnen rekenkamers ook adviseren over de inrichting van de monitoring van de voortgang van het beleid, waar monitoring van doelbereik onderdeel van is. In de advisering door de rekenkamer gaat het uiteraard niet over de inhoud van het collegeprogramma, die immers is voorbehouden aan de politiek. Het doel van het rekenkameradvies is om te bereiken dat de maatschappelijke doelen in het bestuursprogramma’s onderzoekbaar zijn en in de tijd gevolgd worden middels monitoring.

• Advisering beleidsnota’s

  Het college stelt doorgaans op het niveau van beleidsdossiers nota’s op met het oog op nadere besluitvorming over voornemens uit het collegeprogramma. De rekenkamer kan deze voornemens ex ante onderzoeken op het te verwachten doelbereik op basis van de door het college voorgestelde uitvoeringsstrategie: instrumenten en organisatie van de uitvoering. Met een ex ante evaluatie kan de rekenkamer aan de raad overwegingen voorleggen op grond waarvan de raad de kaderstellende rol beter kan vervullen. Vragen in een ex ante evaluatie kunnen bijvoorbeeld zijn of de probleemanalyse deugt, of het voorgestelde instrumentarium past bij de doelstellingen (tezamen de toetsing van de beleidstheorie) en of de uitvoeringsstrategie zal gaan werken. Een ex ante evaluatie kan in zware en in lichte varianten worden uitgevoerd.

  Daarnaast kan de rekenkamer aandacht besteden aan de voornemens op het punt van de informatiehuishouding: de vraag of de beleidsinformatie zodanig is georganiseerd dat de raad goed geïnformeerd zal worden over beleidsuitvoering en over de mate waarin maatschappelijke effecten gerealiseerd worden.

• Monitoring

  Tijdens de uitvoeringsfase kan de rekenkamer de voortgang volgen, via monitoringinformatie, hoe de uitvoering verloopt en (na verloop van tijd) in hoeverre doelbereik in zicht komt. Waar nodig, bijvoorbeeld bij gebleken stagnatie, kan de rekenkamer de raad informeren over bevindingen, bijvoorbeeld in het kader van de begrotingsbehandeling. Soms kan dat aanleiding zijn om een procesevaluatie uit te voeren om inzicht te krijgen in oorzaken van stagnatie.

• Ex post evaluatie

  De rekenkamers kunnen waar nodig (bijvoorbeeld wanneer het college daar niet zelf voor zorgt) ex post evaluaties uitvoeren om (1) het doelbereik te meten (evaluatie doelbereik) en/of (2) om te verklaren waarom de resultaten zijn zoals ze zijn, dus inzicht geven in de verklaringen voor slagen of falen van beleid (evaluatie doeltreffendheid). Het voornaamste oogmerk hiervan is om te leren van goede en slechte ervaringen: inzicht in wat werkt en wat niet werkt, wat betreft instrumenten van beleid en wat betreft organisatie van de uitvoering. Gezien de beperkte capaciteit van rekenkamers zal daarbij selectief moeten worden gekozen. De rekenkamer kan kiezen voor onderzoek van beleidsdossiers waarin resultaten lijken achter te blijven, of juist voor onderzoek naar succesvol beleid om een kennelijk effectieve strategie te belichten. Doeltreffendheidsevaluatie moet voldoende diepgang hebben, dus met het centraal stellen van de beleidstheorie en met toetsing van alle onderdelen van deze theorie, met gebruikmaking van bij voorkeur uiteenlopende typen gegevensbronnen, waaronder verklarende inzichten die in ander (rekenkamer)onderzoek naar voren zijn gekomen.

  Rekenkamers doen er goed aan in dit soort doeltreffendheidsonderzoek samenwerking met andere rekenkamers tot stand te brengen. Problemen en beleid zijn vaak tussen gemeenten redelijk vergelijkbaar. Wanneer en voorzover het college van B&W zelf ex post evaluaties opstelt, is een voor de hand liggende rol voor de rekenkamer om deze te toetsen op kwaliteit. Mede door toedoen van rekenkamers kan er langs deze uitvoeringspraktijk van doeltreffendheidsevaluaties een breed inzicht ontstaan in hoe gemeentelijk beleid effectief kan zijn.

  Het spreekt voor zich dat het bovenstaande programma als geheel de spanwijdte van rekenkamers te buiten gaat. Er moeten dus prioriteiten worden gesteld. En met het college kunnen afspraken worden gemaakt over de wederzijdse programmering. Zo zal het vaak mogelijk zijn om afspraken te maken over de programmering van ex post evaluaties, waarbij bijvoorbeeld de rekenkamer niet zelf (alle) ex post evaluaties uitvoert, maar zich kan beperken tot een second opinion op door de gemeente uitgevoerde ex post evaluaties. Ook is het lang niet altijd nodig om de nu gangbare zeer zwaar aangezette procesgang van rekenkamerrapporten te volgen; vereenvoudiging hiervan maakt bij de rekenkamer veel tijd en energie vrij voor de primaire productie van onderzoeken en adviezen.

  Het is raadzaam dat rekenkamers (en de bureaus die in hun opdracht werken) zich inhoudelijk verdiepen in (moderne) vormen van evaluatieonderzoek zoals de wijze waarop de beleidstheorie onderzocht wordt. Ook is van belang dat rekenkamers nadrukkelijker zoeken naar samenwerkingsmogelijkheden met collega’s. Dit geldt in het bijzonder voor de ex post evaluatie waarin (regionaal) vergelijkend effectonderzoek mogelijkheden biedt die tot nog toe vrijwel niet zijn aangeboord.

  Tot slot: overweeg naamsverandering: van ‘rekenkamer’ naar ‘commissie beleidsevaluatie’.

Noten

• 1 R. van der Mark et al. (2011). Evaluatie van provinciale en gemeentelijke rekenkamers. Den Haag: Ministerie van BZK.

• 2 Rekenkamer Stadsdelen Amsterdam (2009). Schoonhouden van de openbare ruimte. Straatreiniging in 8 Amsterdamse stadsdelen vergeleken.

• 3 Rekenkamercommissie Coevorden (2008). Bouwen met vertrouwen. Klantgerichtheid en doeltreffendheid van de bouwplanprocedure in Coevorden.

• 4 Rekenkamer Den Haag (2009). Werk maken van inburgering. Onderzoek naar resultaten inburgeringsbeleid.

• 5 Onder andere: Rekenkamer Rotterdam (2011). Een slag in de lucht. Effecten van beleid luchtkwaliteit; plus losse bijlage.

• 6 Bijvoorbeeld: L.S. de Ruig & K.B.M. de Vaan (2008). Ex ante evaluatie vernieuwde aanpak schuldhulpverlening. Rapport van bevindingen. Zoetermeer: Research voor Beleid.