De wereld waarin de overheid moet functioneren, verandert snel en de opgaven waarmee overheden worden geconfronteerd, zijn ingewikkeld en weerbarstig. De coronacrisis is hier een heel pregnant actueel voorbeeld van: hier worstelen overheden van alle landen mee. Als we de blik op Nederland richten, zien we dat de overheid hier onder meer ook nog te maken heeft met de brede opgave op het gebied van milieuvervuiling, klimaatverandering en energietransitie, de slecht functionerende woningmarkt en maatschappelijke ongelijkheid. Evaluatoren kunnen beleidsmakers helpen bij het vormgeven en uitvoeren van beleid voor deze en andere maatschappelijke opgaven, door inzichten te delen, mee te denken en tegen te spreken.
In de bundel Changing bureaucracies: Adapting to uncertainty, and how evaluation can help (Abingdon/New York: Routledge 2021), onder eindredactie van Burt Perrin en Tony Tyrrell, delen zestien auteurs uit verschillende landen hun ervaringen over de wisselwerking tussen overheden en evaluatieonderzoek. Hierbij gaat het om concrete voorbeelden van hoe deze twee elkaar hebben kunnen versterken, maar ook over de valkuilen en beperkingen die de auteurs in de praktijk zijn tegengekomen. Het gaat hierbij om een schat aan ervaringen, aangezien de meeste auteurs zelf jarenlang een leidinggevende rol hebben vervuld op het gebied van evaluatieonderzoek binnen een departement of bij een intergouvernementele organisatie.
In de bundel komen een aantal zeer actuele vraagstukken voorbij: Op welke manieren leren organisaties en wat is hierbij de rol van feedback? Hoe kan evaluatie het beste functioneren in een complexe, snel veranderende omgeving? Hoe kan het gebruik van de uitkomsten van evaluaties worden vergroot? Hoe komt het dat de kwaliteit van evaluaties vaak nog tekortschiet? Dit zijn hoogst actuele vragen, ook in Nederland. Denk bijvoorbeeld aan de Operatie inzicht in kwaliteit, waarin het kabinet-Rutte III de afgelopen vier jaar heeft gezocht naar manieren om meer inzicht te krijgen in de resultaten van beleid, onder meer door een aantal experimenten te doen waarbij het leren uit evaluatieonderzoek centraal stond. De grootste opgave die er volgens betrokkenen nu nog bij de operatie ligt om meer inzicht te krijgen in de resultaten van beleid, is het versterken van de wisselwerking tussen beleidsmakers en evaluatoren. Dit maakt de inzichten uit dit boek heel relevant voor de discussie die nu wordt gevoerd over de vraag hoe het vervolg op de operatie eruit zou moeten zien.
De bundel bestaat, naast de inleiding en het concluderende hoofdstuk, uit tien inhoudelijke hoofdstukken. Deze zijn onderverdeeld in drie delen, waarin vanuit verschillende invalshoeken wordt gekeken naar de wisselwerking tussen evaluatieonderzoek en het gebruik ervan door de opdrachtgever: het departement of de ambtelijke organisatie. Onderwerpen worden aan de hand van concrete ervaringen op toegankelijke wijze behandeld.
In deel 1 wordt gekeken naar het uitvoeren van evaluatieonderzoek binnen een ambtelijke context. Hierbij gaat het om de manier waarop evaluatieonderzoek wordt gebruikt in verschillende ambtelijke culturen en om alternatieve manieren om evaluatieonderzoek te gebruiken (of in te richten) binnen deze specifieke ambtelijke structuren. Karol Olejniczak en Jakub Rok beschrijven onderzoek naar het gebruik van feedback binnen ministeries in Polen en de rol die evaluatieonderzoek hierbij speelt. Jacques Toulemonde en Samer Hachem bespreken de beperkingen van de traditionele manier van werken met evaluatieonderzoek in een complexe, onstabiele en onvoorspelbare omgeving. Andrew Koleros beschrijft een casestudie op het terrein van ontwikkelingssamenwerking waarbij een meer adaptieve manier van werken is toegepast dan traditioneel wordt gebruikt. In het laatste hoofdstuk van deel 1 behandelt Margaret Dalziel de omgang van overheden met radicale innovaties. Dit laatste hoofdstuk is echt een vreemde eend in de bijt, omdat dit het enige hoofdstuk is waar evaluatieonderzoek nauwelijks een rol speelt.
Deel 2 gaat over manieren waarop ambtelijke organisaties baat kunnen hebben bij evaluatieonderzoek. Veronica Gaffey beschrijft op basis van haar jarenlange ervaring hoe het gebruik van evaluaties door ambtelijke organisaties zich heeft ontwikkeld. Ook het gebruik van interne evaluaties bij de OECD heeft een jarenlange ontwikkeling doorgemaakt, zo beschrijft Kevin Williams in zijn hoofdstuk. Richard Boyle en Tony Tyrrell beschrijven eveneens de blik van binnenuit, maar nu op basis van interviews met een groep hoge ambtenaren, verantwoordelijk voor evaluatieonderzoek afkomstig uit verschillende landen.
In deel 3 ten slotte wordt stilgestaan bij uitdagingen en risico’s voor een betekenisvolle rol van evaluaties in een ambtelijke setting. Estelle Raimondo en Frans Leeuw beschrijven de risico’s van evaluatie-afdelingen die onderdeel zijn van de ministeries of andere ambtelijke organisaties die ze ook moeten onderzoeken. Kim Forss en Alison Pollard gaan in op de vraag waarom het verbeteren van de kwaliteit van evaluaties zo’n weerbarstig vraagstuk blijkt te zijn. Francesco Rinaldi bespreekt het risico dat er te weinig aandacht is voor evaluatieonderzoek in situaties waarbij monitoring een centrale rol speelt bij de financiële verantwoording. Dit doet hij op basis van ervaringen bij het cohesiebeleid van de Europese Unie.
De inzichten uit de bundel zijn ook voor de Nederlandse situatie relevant. Het hoofdstuk van Toulemonde en Hachem over kredietverlening door de Afrikaanse Ontwikkelingsbank biedt bijvoorbeeld inspiratie voor het streven om evaluatie in te zetten als ondersteuning richting een lerende overheid. Toulemonde en Hachem illustreren de worsteling van kredietverleners om aan de ene kant te voldoen aan de afspraken die met donoren zijn gemaakt over targets (vaak op het niveau van output) en aan de andere kant de behoefte om flexibel te kunnen reageren op de snel veranderende omstandigheden in de praktijk. Als de praktijk onvoorspelbaar is, ligt een lerende aanpak meer voor de hand, zo betogen de auteurs. Dit illustreren zij op duidelijke wijze met een fictief voorbeeld en zij contrasteren dit met hoe het echt is gegaan. In de praktijk werd gewerkt met doelstellingen die vooraf waren vastgelegd: onder meer het bereiken van kleine ondernemers en het realiseren van banen, uitgewerkt in specifieke targets. Hierbij werd er geen rekening gehouden met de context, zoals de ontwikkeling van de marktomstandigheden waarin de ondernemers moesten opereren en een onvoorspelbare overheid die plotseling een vergelijkbare regeling in het leven riep. Hierdoor lukte het de kredietverleners niet om te voldoen aan de doelstellingen die waren gesteld. In het fictieve voorbeeld experimenteren kredietverleners op gestructureerde wijze met verschillende aanpakken om te kijken wat het beste werkt onder welke omstandigheden. Hierbij kon ook flexibel worden ingespeeld op de onvoorziene ontwikkelingen die eerder zijn genoemd. De auteurs beargumenteren dat het ook mogelijk is om met deze aanpak verantwoording af te leggen aan donoren, maar de focus ligt dan meer op de vraag of er daadwerkelijk is geleerd en welke resultaten dit heeft opgeleverd. Ook in diverse andere hoofdstukken vertalen de auteurs concrete inzichten en ervaringen in meer generieke adviezen en tips die een bredere toepasbaarheid hebben.
De bundel behandelt ook een aantal valkuilen rondom evalueren en de positie van evaluatieonderzoek binnen het ambtelijk apparaat of een ambtelijke organisatie (de bundel gebruikt hier het meer generieke begrip ‘bureaucratie’). Ook dit onderwerp past goed bij de discussie die er in Nederland gaande is over de rol van evaluatieonderzoek bij departementen: moeten evaluatoren onderdeel zijn van het departement, omdat dit de kans op het gebruik van de inzichten vergroot, of is het beter om de onafhankelijkheid zo stevig mogelijk te borgen? Hoewel velen het belang van goed toegeruste evaluatie-afdelingen binnen een ambtelijke organisatie zullen onderschrijven, kleven er ook risico’s aan. Evaluatie-afdelingen kunnen ‘ingekapseld’ raken in de organisatie, zo beschrijven Raimondo en Leeuw in hun hoofdstuk. De auteurs definiëren dit als een situatie waarin de evaluatie-afdeling meer gebonden is aan de ambtelijke organisatie die ze moet onderzoeken dan aan ‘de burger’ die ze moet bedienen. Deze inkapseling kan er volgens Raimondo en Leeuw toe leiden dat de evaluatie-afdeling minder effectief wordt en in het ongunstigste geval kan de evaluatie-afdeling zelfs contraproductief worden. Dit kan niet alleen spelen bij evaluatie-afdelingen die hiërarchisch gezien in een afhankelijke positie zitten. Evaluatie-afdelingen die een sterke onafhankelijke positie hebben binnen een ambtelijke organisatie, kunnen vanuit een sociaal oogpunt mogelijk een prikkel hebben om zich minder hard uit te spreken over het beleid omdat medewerkers ook graag bij het grotere geheel willen horen. Ze zijn immers deel van dezelfde organisatie. De auteurs noemen dit de ‘onafhankelijkheidsparadox’. Aan de andere kant kan een sterke evaluatie-afdeling ook tot ongewenste effecten leiden bij beleidsmakers. Als het oordeel van evaluatie-afdelingen een belangrijke stem krijgt in de beleidskeuzes die worden gemaakt, dan kan dit volgens de auteurs bij beleidsmakers leiden tot strategisch gedrag waarbij beleid met relatief bescheiden doelen wordt geprefereerd boven beleid met meer ambitieuze doelen, terwijl dit laatste mogelijk meer kosteneffectief is. Het is goed dat beleidsmakers en onderzoekers zich bewust zijn van dit soort valkuilen. De auteurs noemen vijf richtingen om deze inkapseling van evaluatie-afdelingen tegen te gaan, maar deze zijn niet altijd even overtuigend. Zo stellen de auteurs dat het kan helpen om algemene regels over evalueren te verminderen en minder evaluaties te doen en in plaats daarvan evaluaties te doen die specifiek op de situatie zijn toegesneden. Mijn indruk is dat er aan deze aanpak ook nadelen schuilen, onder meer omdat op deze manier beleid veel makkelijker kan worden onttrokken aan het kritische oog van evaluatoren.
In het concluderende slothoofdstuk kantelt Perrin het perspectief, net als in de inleiding, weer naar de uitdagingen waarmee ambtelijke organisaties te maken te hebben. Op basis van inzichten uit de voorgaande hoofdstukken beschrijft hij een aantal manieren waarop evaluatieonderzoek ambtelijke organisaties kan helpen om te gaan met deze uitdagingen. Een centrale aanbeveling in dit hoofdstuk is dat ambtelijke organisaties niet alleen met de mond zouden moeten belijden dat ze zich richten op effecten, maar dat ook daadwerkelijk doen: in de praktijk zijn ambtelijke organisaties nog steeds voornamelijk bezig met processen en procedures. Dit kan onder meer door niet alleen te kijken naar de toegevoegde waarde van beleid, maar ook naar de toegevoegde waarde van de ambtelijke organisatie zelf. En dit kan door monitoren en evalueren te zien als verschillende, elkaar aanvullende activiteiten. Ten slotte kan dit door beleid niet zozeer te beoordelen op het bereiken van bepaalde indicatoren, maar op de vraag welke inspanningen beleidsmakers en beleidsuitvoerders hebben gedaan om de beoogde resultaten te bereiken. Dit soort noties kunnen zeer behulpzaam zijn, maar het is ook wel weer ontnuchterend dat de bundel maar weinig inspirerende voorbeelden kan geven van situaties waarin ambtelijke organisaties daadwerkelijk hebben geleerd en zich wel meer richten op het bereiken van effecten.
Deze bundel behandelt op toegankelijke wijze hoe evaluatieonderzoek het ambtelijk apparaat kan helpen om in te spelen op de snel veranderende omgeving waarin het moet opereren. Het helpt hierbij zeker dat de hoofdstukken relatief kort zijn. Dit soort bundels is snel een verzameling losse onderdelen zonder al te veel samenhang. Het is prijzenswaardig dat de eindredacteuren zich duidelijk hebben ingespannen om er een geheel van te maken, onder meer door te werken met veel verwijzingen tussen de hoofdstukken en door te werken met een overkoepelende inleiding en een concluderend slothoofdstuk. Een minpunt van het boek is het ontbreken van beelden (figuren, infographics e.d.). Deze zouden de boodschappen uit de bundel op een meer toegankelijke wijze voor het voetlicht hebben kunnen brengen. Desondanks is het een interessant boek voor iedereen die belangstelling heeft voor de verbinding tussen evaluatieonderzoek en beleid. Het levert een nuttige bijdrage aan de discussie over de rol die evaluatieonderzoek zou kunnen spelen bij het vergroten van de toegevoegde waarde van beleid.