Iedereen wil leren en maar weinig mensen vinden verantwoording afleggen leuk. ‘Lerende evaluaties’ kennen dan ook een groeiende populariteit. Tegelijkertijd worden ze vaak verguisd vanwege hun gebrek aan objectiviteit, kwaliteit en zelfs relevantie. Maar is dat wel terecht? Deze column gaat in op de vijf grootste misverstanden.

Beleidsonderzoek vindt plaats binnen een heersend beleidsparadigma. Daardoor is de kans groot dat relevante vragen niet gesteld worden. Vragen die tot inzichten kunnen leiden die niet goed passen binnen het heersende beleid. Waarom is dit zo? Geïnspireerd door een recent boek over arbeidsmarktbeleid geeft de auteur drie mogelijke verklaringen ter overweging.

Ingewikkeld beleidsonderzoek kan veel opleveren, maar simpel beleidsonderzoek kan ook de nodige bijdragen leveren aan de beleidsontwikkeling. Bovendien kan simpel beleidsonderzoek een opstap zijn naar ingewikkelder beleidsonderzoek.

Onlangs deed een groep prominenten, waaronder Elon Musk, een oproep voor een moratorium van zes maanden op de ontwikkeling van AI-systemen, zoals ChatGPT. Hoe moeten we deze oproep beoordelen? Wat zouden Marshall McLuhan en Karl Marx hiervan vinden? En wat gaat AI betekenen voor beleidsonderzoek? Daarover gaat deze column.

Mediaberichtgeving vergroot de kans dat mensen een onderzoeksrapport lezen, maar kent ook nadelen. Zo worden sommige bevindingen ‘opgeblazen’, terwijl de ruimte in krant of tv-uitzending voor context, nuancering en uitleg klein is. Hoe kun je als onderzoeker verantwoord omgaan met de dilemma’s bij media-aandacht voor je werk?

Interview met de prijswinnaars van de Goudvink (het beste rekenkamerrapport van 2022), Gert Jan de Vries en Naomi Meys (Rekenkamer Utrecht), voor het rapport Onbegonnen werk – Onderzoek naar de verduurzaming van gemeentelijk vastgoed in Utrecht .

Het wordt als belangrijk gezien dat beleidsonderzoek onafhankelijk is. Dit begrip wordt niet altijd geëxpliciteerd. Het is een kernwaarde, maar ook een fluïde begrip. In de praktijk wordt veel over onafhankelijkheid gesproken, maar er wordt lang niet altijd via (gedegen) empirisch onderzoek vastgesteld of en in hoeverre de onafhankelijkheid van onderzoek beïnvloed is.
Een tweede kernwaarde van beleidsonderzoek is de kwaliteit ervan. Ook dit begrip heeft meerdere dimensies, maar de belangrijkste is de methodologische kwaliteit.
Een derde kenmerk van beleidsonderzoek is dat het gepaard gaat met interacties tussen organisaties, opdrachtgevers, uitvoerders, stakeholders, ‘evaluands’, gebruikers, collega-onderzoekers, enzovoort. Die interactie gebeurt vanuit verschillende intenties en kan zichtbare, onzichtbare, bewuste en onbewuste, gewenste en ongewenste doorwerking hebben op het onderzoek(product). Moet interactie (altijd of vooral) worden vermeden vanwege het streven naar onafhankelijkheid terwijl die interactie van belang is voor het beleidsproces én voor het beleidsonderzoek? Dit is waar de kernbegrippen onafhankelijkheid en kwaliteit elkaar raken. En dit is ook waarom er inspanningen geleverd worden om beide te borgen. Dat gebeurt onder andere met protocollen, toezicht, (gedrags)codes, peer reviews en visitaties. Er is echter nog weinig bekend over hoe de borging van onafhankelijkheid doorwerkt op de kwaliteit van onderzoek en over welke effecten afzonderlijke borgingsinstrumenten in de praktijk hebben (op onderzoekers en hun eco-systeem).

In 2015 verscheen Kennis voor beleid: Beleidsonderzoek in Nederland (Van Hoesel et al., 2015). Hoofdstuk 9 van dit boek beschrijft de markt en organisatie van beleidsonderzoek (Dekker & Van Hoesel, 2015). Sinds 2015 is er een hoop gebeurd: de COVID-pandemie, toenemende mondiale spanningen, een groeiende rol van het CBS, maar ook de onafhankelijkheid van wetenschappelijk onderzoek staat met name op internet steeds meer ter discussie: ‘wetenschap is ook maar een mening’ (zie o.a. Van Oostendorp, 2018). Hoogste tijd om antwoord te geven op de vraag hoe het beleidsonderzoek zich in de periode 2013-2021 heeft ontwikkeld en er nu voor staat. In dit artikel schetst de auteur dit beeld aan de hand van data die de Vereniging voor Beleidsonderzoek jaarlijks bij haar leden opvraagt. Daarbij neemt hij de gegevens uit 2015 als vertrekpunt. Tevens blikt hij vooruit naar de toekomst van het beleidsonderzoek in Nederland.

Een waarschuwende evaluatie of early warning evaluation (EWA) brengt korte tijd na de inwerkingtreding van overheidsbeleid de eerste ervaringen in beeld. De vraag is wat maatregelen doen bij uitvoerders en doelgroepen en hoe het beleid werkt of naar verwachting gaat werken. Deze vroege analyse heeft wat weg van de invoeringstoets, die door het kabinet-Rutte IV in het kader van het streven naar een nieuwe, meer humane bestuurscultuur is ingevoerd. Maar een invoeringstoets is bescheidener en minder degelijk. De early warning evaluation verschilt door de beoogde toepassing van enkele methodieken. Een EWA-evaluator moet naast een knelpunteninventarisatie de proces- en/of stappenlogica doordenken die in het gehele beleid opgesloten zit. Daarna volgen de consequentie- en de consistentieanalyse. Was deze aanpak toegepast en was met urgentiebesef gekeken naar de uitkomsten, dan was ons land bijvoorbeeld de stikstofcrisis en andere affaires mogelijk bespaard gebleven.
Dit artikel geeft een overzicht van enkele aspecten van deze nieuwe, nog zelden toegepaste vorm van beleidsevaluatie. Het sluit af met een korte vergelijking met enkele ervaringen uit de toepassing van de invoeringstoets.

Maatschappelijke kosten-batenanalyses (MKBA’s) worden regelmatig uitgevoerd voordat er een besluit wordt genomen, maar ex-post-MKBA’s zijn er in Nederland nauwelijks. Dit beperkt de mogelijkheden om te leren, zowel over de effecten van beleid als over de veronderstellingen in MKBA’s. De schaarse (vooral buitenlandse) casestudies laten zien dat het ondanks methodologische uitdagingen goed mogelijk is om ex-post-MKBA’s uit te voeren. De uitkomsten van ex-post-MKBA’s en ex-ante-MKBA’s blijken doorgaans echter sterk te verschillen. Het vergroten van het aantal ex-post-MKBA’s maakt verbetering van de betrouwbaarheid van MKBA mogelijk. En dat draagt uiteindelijk bij aan de doelmatigheid en doeltreffendheid van beleid.

De beleidstheorie is een bekend begrip in de beleidswetenschap. Dat geldt minder voor de praktijk. Daar zijn niet altijd alle randvoorwaarden aanwezig voor een effectief gebruik van beleidstheorieën in bijvoorbeeld het ontwerpen of evalueren van beleid. Beleidsprocessen zijn dynamisch, terwijl beleidstheorieën veelal statisch zijn. Bovendien staat een beleidstheorie in de traditie van lineair-rationele beleidsvorming. Zij is vooral een uitdrukking van de veronderstellingen van een centrale actor. De beleidstheorie kan verschillende functies vervullen, bijvoorbeeld als sturings- of communicatiemiddel in overheidsbeleid. Aan de hand van literatuur en ervaringen van de auteur als beleidsonderzoeker behandelt dit artikel de rol en meerwaarde van beleidstheorie in beleid.

Een enkele keer is een herindeling omstreden. Dit was het geval bij de samenvoeging van de gemeente Haren met die van Groningen en Ten Boer. Het proces van deze herindeling was een politiek spel tussen de provincie Groningen enerzijds en burgers, de meerderheid van de raad en het college van Haren anderzijds. Bij dit politieke spel zijn meer dan twintig onderzoeken door externe bureaus en externe commissies uitgevoerd. Vijf van die onderzoeken werden door de provincie geïnterpreteerd als bewijs dat een zelfstandige toekomst voor de gemeente Haren niet haalbaar, of op zijn minst zeer onverstandig was. In dit artikel wordt onderzocht in hoeverre die vijf onderzoeken inderdaad daarvoor bewijs leveren. Hieruit blijkt dat de provincie vrij creatief is omgegaan bij het trekken van conclusies uit die rapporten. In zaaltjes in Haren, bij Statenvergaderingen en bij de behandeling in de Tweede Kamer zijn deze conclusies steeds ingebracht en konden of werden daar niet echt ter discussie gesteld. Zo verschaften de rapporten een rookgordijn, waarachter harde argumenten voor herindeling ontbraken.

Veel organisaties gebruiken pleitbezorging om te werken aan maatschappelijke doelen. In veel gevallen worden deze activiteiten geëvalueerd om de effectiviteit ervan vast te stellen en te leren. Maar monitoring en evaluatie van pleitbezorging staat bekend als moeilijk. Het vaststellen van effectiviteit is lastig omdat er vele factoren en actoren meespelen en bewijs vaak moeilijk te verkrijgen is. Om met deze uitdagingen om te gaan in monitoring en evaluatie van pleitbezorging, hebben Wageningen University en Hivos Narrative Assessment ontwikkeld. Deze nieuwe benadering is gericht op het creëren en gebruiken van verhalen over pleitbezorging voor monitoring en evaluatie, leren en interne en externe communicatie. Narrative Assessment draait om verhalen over pleitbezorgingsprocessen, successen en uitdagingen, verteld vanuit pleitbezorgers als centrale actoren met waardevolle kennis over wat er gebeurd is, en hoe dat al dan niet bijgedragen heeft tot het behalen van doelen. Om tegemoet te komen aan het bezwaar dat verhalen subjectief zijn, is het toetsen en ontwikkelen van plausibiliteit een kernelement van de methode. In dit artikel wordt de methode uiteengezet. Ook wordt besproken wat de toegevoegde waarde ervan kan zijn, en hoe de methode zich verhoudt tot verwante methoden.