De kwaliteit van beleidsdoorlichtingen

• 1 Inleiding

  Binnen het Rijk is er brede overeenstemming dat meer kennis over de impact van beleid gewenst is. Dit moet de maatschappelijke toegevoegde waarde van publiek geld verhogen (Financiën, 2018). Met behulp van monitors, benchmarks, rapporten van toezichthouders en beleidsevaluaties probeert het Rijk deze beleidseffecten in kaart te brengen. Periodiek wordt deze informatie gebundeld in een beleidsdoorlichting. De beleidsdoorlichting geeft een overkoepelend beeld van de doeltreffendheid (effectiviteit) en doelmatigheid (efficiency) van een beleidsterrein. Het ministerie van Financiën voert de operatie Inzicht in Kwaliteit uit om de kennis van beleidseffecten te versterken. SEO Economisch Onderzoek heeft in opdracht van het ministerie onderzocht hoe beleidsdoorlichtingen in de praktijk werken (Koopmans et al., 2018). Dit artikel vat de bevindingen samen, waarbij de nadruk ligt op een analyse van een steekproef van beleidsdoorlichtingen.

  Eerdere onderzoeken naar de werking van beleidsdoorlichtingen waren kritisch. De Algemene Rekenkamer (2012) concludeerde dat slechts in de helft van de beleidsdoorlichtingen die van 2006 t/m 2010 zijn uitgevoerd, de effectiviteit van het beleid is onderzocht. De Rekenkamer stelt: ‘De minister [van Financiën] heeft niet gereageerd op onze aanbeveling om vooraf te zorgen voor een dekkende evaluatieprogrammering. Wij signaleren hier een risico.’ Later onderzocht de Algemene Rekenkamer (2015) de kwaliteit van vijf beleidsdoorlichtingen. In drie van deze doorlichtingen zijn de conclusies volgens de Rekenkamer sterker geformuleerd dan op basis van de onderbouwing te verwachten was. Dit onderzoek leidde tot het inschakelen van onafhankelijke deskundigen bij beleidsdoorlichtingen. Ook een evaluatie van beleidsdoorlichtingen door de Commissie voor de Rijksuitgaven van de Tweede Kamer was kritisch: ‘Beleidsdoorlichtingen [bieden] in de meeste gevallen niet de informatie die ze zouden moeten bieden: het meten van de effectiviteit van beleid.’ De Vaste Commissie voor Financiën (2016) van de Tweede Kamer noemde de kwaliteit van beleidsdoorlichtingen ondermaats. Als oorzaken werden genoemd: ‘onvolledigheid van de doorlichting, vaag geformuleerde doelstellingen, methodologische problemen om een uitspraak te kunnen doen over doelmatigheid/doeltreffendheid van het beleid, onvoldoende onderliggend onderzoeksmateriaal’. Houppermans (2018) onderzocht de rol van de onafhankelijke deskundige en concludeerde: ‘In totaal 11 van de 47 beleidsdoorlichtingen in de periode 2015 tot en met 2017 zijn door een onafhankelijk deskundige beoordeeld op alle vier de RPE (…) kwaliteitscriteria. In 23 van de 47 beleidsdoorlichtingen is dat gebeurd op slechts een deel van die criteria.’

  Het onderzoek van SEO Economisch Onderzoek dat in dit artikel wordt beschreven, analyseert een groot aantal kenmerken van beleidsdoorlichtingen, kwantificeert deze systematisch, beschouwt ook de beleidsevaluaties die achter de doorlichtingen liggen en is gebaseerd op een grote steekproef van doorlichtingen (Koopmans et al., 2018). Het onderzoek biedt hierdoor aanvullend inzicht in de werking van het instrument beleidsdoorlichtingen.

  Paragraaf 2 van dit artikel beschrijft de wijze waarop de beleidsdoorlichtingen zijn onderzocht. De resultaten worden in paragraaf 3 gepresenteerd. Paragraaf 4 bevat conclusies en paragraaf 5 aanbevelingen.

• 2 Methodiek

  Om te achterhalen of het evaluatie-instrument werkt zoals beoogd, heeft SEO Economisch Onderzoek een analyse van 49 beleidsdoorlichtingen¹xDe rijksbegroting is ingedeeld in artikelen. Voor elk begrotingsartikel zijn beleidsdoorlichtingen verzameld op www.rijksbegroting.nl. Sinds 2011 zijn 132 beleidsdoorlichtingen uitgevoerd. Dit aantal was te groot om alle beleidsdoorlichtingen diepgaand te kunnen bestuderen in het tijdsbestek van het onderzoek. Er is daarom gekozen voor een steekproef van 49 beleidsdoorlichtingen uit de periode 2013 tot 2018 (voor deze beperking van de periode is gekozen omdat in 2013 de indeling van de rijksbegroting in begrotingsartikelen flink is aangepast). Voor ieder begrotingshoofdstuk (ministerie) zijn de twee beleidsartikelen met de hoogste uitgaven geselecteerd (39 onderzoeken). Deze zijn aangevuld met een aselecte steekproef getrokken uit de ministeries met meer dan vijf artikelen (10 stuks)., een elftal interviews²xInterviews zijn een essentiële aanvullende methode voor dit onderzoek. Ten eerste zijn interviews met betrokkenen van belang om beter inzicht te krijgen in het zichtbaar gebruik van beleidsdoorlichtingen en het achterhalen van mogelijke oorzaken van beperkt inzicht. Ten tweede zijn interviews gebruikt om de uitkomsten van de deskresearch te verrijken, bijvoorbeeld door in te gaan op ‘hoe’- en ‘waarom’-vragen. Voor de conclusies van de interviews verwijzen wij naar Koopmans et al. (2018). en literatuuronderzoek uitgevoerd. De nadruk ligt daarbij op de vraag of de beleidsdoorlichtingen inzicht geven in de doeltreffendheid en doelmatigheid van beleid. In de analyse is per beleidsdoorlichting systematisch een raster gevuld. Het raster betreft een invultabel bestaande uit 15 vragen. Deze vragen gaan over (1) in hoeverre de beleidsdoorlichting het begrotingsartikel en het gevoerd beleid afdekt, (2) welke inzichten de beleidsdoorlichting heeft opgeleverd, (3) wat de kwaliteit is van de inzichten, en (4) in hoeverre de inzichten van het syntheseonderzoek gebruikt zijn. Dit artikel bespreekt de eerste drie thema’s.

  De kwaliteit van de inzichten

  De beoordeling van de kwaliteit van het onderliggend evaluatiemateriaal vindt plaats aan de hand van de effectladder (zie tabel 1). De effectladder kent een kwalificatie toe aan de kwaliteit van de evaluatie op basis van de eigenschappen van de gebruikte onderzoeksmethode. De hoogste kwalificatie of trede betreft causaal onderzoek uitgevoerd met (pseudo-)experimentele methoden zoals aanbevolen door de commissie-Theeuwes (2012) in het rapport Durf te meten. De laagste trede wordt gehaald met beschrijvend onderzoek naar het doel en het bereik van de te evalueren regeling. Daarnaast biedt het oordeel van de onafhankelijk deskundige handvatten voor het inventariseren van de kwaliteit van de inzichten. Ten slotte is met behulp van expert-judgement bepaald of de maximale kwaliteit is behaald.

  Tabel 1 De effectladder laat zien hoe ‘hard’ de bewijskracht van evaluatieonderzoek is³xDe effectladder is oorspronkelijk ontwikkeld voor de jeugdzorg (Van Yperen & Veerman, 2008). SEO heeft de ladder verbreed naar andere beleidsterreinen, geactualiseerd met nieuwe inzichten en aangevuld op basis van praktijkervaring met beleidsonderzoek.

  Niveau	Naam	Soorten onderzoek
  5	Bewezen (in)effectief	Randomized Control Trials (RCTs) Natuurlijke experimenten State-of-the-art econometriea
  4	Zeer waarschijnlijk (in)effectief	Triangulatie: combinatie van beleidstheorie, empirisch onderzoek en alternatieve verklaringen
  3	Waarschijnlijk (in)effectief	Onderzoek van niveau 4 in soortgelijke situaties, bij voorkeur meta-analyses Tijdsreeksanalyse zonder paneldata Cross-sectie analyse Aantonen doelrealisatie, gedragsveranderingen of trends
  2	Potentieel (in)effectief	Expert judgementb Beleidstheorie opstellen Theoretische modellen Theoretische analyses Kwalitatieve uitspraken
  1	Mogelijk (in)effectief	Beschrijving doel, doelgroep en interventie

  ^a Het gaat hier om technieken die gebruikmaken van regression discontinuity, difference-in-difference, instrumentele variabelen en propensity score matching om een causaal verband in kaart te brengen tussen beleid en uitkomsten.
  ^b Als het oordeel van experts gebaseerd is op onderzoek, kunnen hogere niveaus van toepassing zijn.
  Bron: SEO Economisch Onderzoek (2018)

  Rationeel beleidsperspectief

  Het onderzoek gaat uit van een rationeel beleidsperspectief. Daarin staat wetenschappelijke bewijskracht centraal, zoals weergegeven in de effectladder. Bij dit perspectief worden regelmatig kritische kanttekeningen geplaatst. De afstand die in dit perspectief bestaat tussen (onafhankelijk) onderzoek en beleid, bemoeilijkt de aansluiting daartussen (Van Hoesel & Herold, 2018). Randomized Control Trials zijn moeilijk toepasbaar en richten zich slechts op één specifiek beleidsinstrument (Mevissen, 2018). Wij zien het rationele perspectief niettemin als een benadering die relevante informatie oplevert. Dit hoeft niet altijd via het hoogste niveau van de effectladder (niveau 5). Methoden zoals triangulatie (niveau 4) en meta-analyses (niveau 3) kunnen ook nuttige informatie opleveren over (waarschijnlijke) causaliteit. Andere benaderingen dan het rationele perspectief leveren weliswaar minder op wat betreft causaliteit, maar bieden andere informatie die ook relevant is en sluiten wellicht beter aan bij de beleving van beleidsmakers.

  Classificatie

  De eigenschappen van de beleidsdoorlichtingen zijn per vraag geclassificeerd op een vijfpuntsschaal, waarbij 1 staat voor ‘slecht’ en 5 voor ‘goed’. Een voorbeeld: een beleidsdoorlichting die alle uitgaven van het begrotingsartikel onderzoekt, scoort een 5 op het criterium ‘afdekking uitgaven’. Om te controleren voor eventuele verschillen tussen onderzoekers is vooraf een invulinstructie opgesteld. Daarnaast is het vier-ogenprincipe toegepast: waar nodig is de classificatie in onderling overleg gecorrigeerd door een ander lid van het onderzoeksteam. Ook zijn de gemiddelde cijfers van de verschillende invullers onderling vergeleken.

• 3 Analyse van beleidsdoorlichtingen

  De afdekking van begrotingsartikelen en beleid

  De meeste begrotingsartikelen zijn in de periode 2011-2018 afgedekt door een (eigen) beleidsdoorlichting (zie tabel 2).⁴xEr is gekozen voor de periode 2011-2018 omdat de Regeling Periodiek Evaluatieonderzoek het Rijk verplicht om minimaal eens per zeven jaar een begrotingsartikel te evalueren (Financiën, 2018). In theorie zou de afdekking van begrotingsartikelen zodoende volledig moeten zijn. 20 hoofd- en 38 subartikelen zijn geen onderdeel geweest van een beleidsdoorlichting. Er is een verplichting om van elk begrotingsartikel minimaal iedere zeven jaar een beleidsdoorlichting uit te (laten) voeren (Financiën, 2018). Dit verschil tussen regels en praktijk is gedeeltelijk te verklaren. Zo is er bij 14 van de 20 hoofdartikelen sprake van óf een nieuw begrotingsartikel óf van een verschuiving van een oud begrotingsartikel. Wijzigingen van begrotingsartikelen of andere beleidsdoelstellingen compliceren het evalueren van beleid.⁵xHet verschuiven van een begrotingsartikel leidt er in de praktijk vaak toe dat beleid niet wordt geëvalueerd. De sanering van het aantal begrotingsartikelen in de afgelopen periode was een belangrijke oorzaak van de niet volledige afdekking. Daarnaast zien we dat indien het beleid wel wordt geëvalueerd, er vaak sprake is van een beperking van het onderzoek. Zo wordt het eerder gevoerde beleid vaak niet geëvalueerd, of focust de beleidsdoorlichting zich op nieuw beleid. Hierdoor geven beleidsdoorlichtingen geen volledig beeld van de impact van beleid en de maatschappelijke toegevoegde waarde van publieke middelen.

  Tabel 2 79 van de 99 begrotingsartikelen zijn geheel of gedeeltelijk doorgelicht

  Afdekking beleidsdoorlichtingen	Hoofdartikelen	Subartikelen
  Totaal aantal artikelen begroting 2019	99	101
  Artikelen met minstens een eigen beleidsdoorlichting 2011-2018	61	63
  … Waarvan artikelen met meerdere eigen beleidsdoorlichtingen	18	6
  Artikelen zonder eigen beleidsdoorlichting 2011-2018	38	38
  … Waarvan artikelen die aan bod komen in een andere beleidsdoorlichting	4	0
  … Waarvan hoofdartikelen met subartikelen die wél zijn doorgelicht	14	-
  … Waarvan artikelen die noch direct noch indirect zijn doorgelicht	20	38

  Bron: SEO Economisch Onderzoek (2018)

  Figuur 1 laat zien dat 61 procent van de beleidsdoorlichtingen in de steekproef het gevoerde beleid volledig afdekken. Toch is er ook een aantal beleidsdoorlichtingen waarbij de afdekking van het beleid beperkter is.

  Figuur 1 De meeste beleidsdoorlichtingen dekken het gevoerde beleid grotendeels af
  Bron: SEO Economisch Onderzoek (2018)

  Inzichten uit de beleidsdoorlichtingen

  Conclusies over doeltreffendheid

  8 procent van de beleidsdoorlichtingen doet geen uitspraak over de doeltreffendheid van het gevoerd beleid, dus 92 procent doet dat wel (zie figuur 2, links). Slechts 2 procent van de beleidsdoorlichtingen stelt dat er een causaal verband is tussen de input en impact van beleid. In de andere gevallen gaat het om constateringen dat doelen zijn bereikt, uitspraken over indicatoren of het geven van enkele voorbeelden. Doeltreffendheid is in de beleidsdoorlichtingen meestal aangetoond door naar de gerealiseerde output te verwijzen. Op hogere niveaus (outcome en impact) worden slechts zelden uitspraken gedaan. Veelal komt dit omdat er ‘overkoepelende uitkomstmaten’ zijn gekozen die door meerdere exogene factoren worden beïnvloed.⁶xEen voorbeeld hiervan is de beleidsdoorlichting SZW begrotingsartikel 5: Werkloosheid. Een relatief gemakkelijk te meten outputindicator is het aantal mensen dat gebruikmaakt van de Werkloosheidswet, en de hoeveelheid geld die zij ontvangen. Moeilijker is het om te meten in hoeverre deze outputindicator bijdraagt aan het stabiliseren van de economie tijdens conjuncturele schokken (een genoemde outcome-indicator). Dit omdat er meerdere exogene factoren van invloed zijn op deze outcome-indicator. Het aantonen dat deze uitkomstmaten behaald zijn, is dan vaak niet mogelijk.

  Beleidsdoorlichtingen die geen enkele uitspraak over de doeltreffendheid van het beleid doen, geven vaak aan dat verbanden moeilijk vast te stellen zijn omdat de resultaten van beleid mede worden bepaald door exogene factoren. Daarnaast ontbreekt soms een eenduidige en meetbare doelstelling. Een belangrijke oorzaak is dat er vaak onvoldoende evaluaties van afzonderlijke beleidsmaatregelen beschikbaar zijn. Uit de interviews komt naar voren dat dit samenhangt met de beperkte leercultuur op departementen en de stand van de wetenschappelijke kennis. Enkele geïnterviewden geven aan dat ‘de politiek’ minder gevoelig is voor feitelijke uitkomsten, maar veel meer voor beelden en incidenten.

  Figuur 2 Beleidsdoorlichtingen bevatten vaker conclusies over doeltreffendheid dan over doelmatigheid
  Bron: SEO Economisch Onderzoek (2018)

  Conclusies over doelmatigheid

  31 procent van de beleidsdoorlichtingen stelt dat er geen enkele uitspraak over doelmatigheid mogelijk is (zie figuur 2, rechts). Daarnaast is in 35 procent van de gevallen doelmatigheid slechts met behulp van enkele voorbeelden toegelicht. Hierdoor blijft in twee derde van de beleidsdoorlichtingen doelmatigheid onderbelicht. Beleidsdoorlichtingen die beter scoren, monitoren regelmatig de uitgaven over tijd, maar deze studies beantwoorden de vraag of dezelfde impact met minder middelen kan worden bereikt, vaak niet.

  De besparingsvariant

  Sinds begin 2015 is het verplicht om in beleidsdoorlichtingen een beleidsvariant op te nemen waarin 20 procent wordt bespaard op de uitgaven van het onderzochte begrotingsartikel.⁷xDeze verplichting werd begin 2015 ingevoerd en was niet van toepassing op doorlichtingen die in 2015 al in uitvoering waren. Naast de besparingsvariant kunnen beleidsdoorlichtingen ook een intensiveringsvariant bevatten; dit is niet onderzocht. De helft van de beleidsdoorlichtingen die sinds 2015 zijn gepubliceerd, beschikt over een 20 procent besparingsvariant. In een kwart van de gevallen wordt een besparing van minder dan 20 procent opgenomen. Ook zijn er beleidsdoorlichtingen die, al dan niet gemotiveerd, geen besparingsvariant presenteren. In deze beleidsdoorlichtingen wordt soms aangegeven dat een besparing van 20 procent niet realistisch is qua uitvoering en/of qua politieke haalbaarheid.

  De kwaliteit van de inzichten

  Onderbouwing conclusies over doeltreffendheid en doelmatigheid

  De onderbouwing van conclusies over doeltreffendheid is vaak geclassificeerd als redelijk (zie tabel 3). In deze beleidsdoorlichtingen zijn er meestal diverse indicatoren vastgesteld en gemonitord over tijd. 20 procent van de onderzochte beleidsdoorlichtingen is geclassificeerd als goed. Deze doorlichtingen verwijzen naar onderliggend evaluatiemateriaal. De overige beleidsdoorlichtingen zijn geclassificeerd als matig. In deze gevallen is er vaak een beleidstheorie opgesteld; daarmee zijn de conclusies voornamelijk theoretisch van aard.

  Opvallend is dat in veel beleidsdoorlichtingen een schematische weergave van de beleidstheorie, die de theoretische relatie tussen input en impact weergeeft, ontbreekt. Dit terwijl de handreiking beleidsdoorlichting en de Algemene Rekenkamer (ARK) expliciet vermelden dat de beleidstheorie idealiter in een doelenboom of een resultatenketen wordt opgenomen.⁸xZie www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/handreiking-beleidsdoorlichtingen/de-beleidstheorie. Het ex ante opstellen van een schematische weergave van een beleidstheorie helpt de evaluator ex post om het beleid te toetsen.

  De onderbouwing van conclusies over doelmatigheid is meestal geclassificeerd als matig (zie tabel 3). Het merendeel van de beleidsdoorlichtingen geeft aan dat de kwaliteit van het beschikbaar evaluatie-materiaal beperkt is waardoor er geen duidelijke uitspraken over doelmatigheid kunnen worden gedaan. Beleidsdoorlichtingen bieden dan niet de informatie die ze zouden moeten bieden, met als gevolg dat de doelmatigheid onderbelicht blijft.

  Tabel 3 De onderbouwing van conclusies over doeltreffendheid is meestal beoordeeld als ‘redelijk’

  	% van de doorlichtingen met Onderbouwing
  	Geen	Matig	Redelijk	Goed	Zeer goed	Totaal (%)	Totaal (aantal)
  Uitspraken over doeltreffendheid in de beleidsdoorlichting	0%	24%	56%	20%	0%	100%	45a
  Uitspraken over doelmatigheid in de beleidsdoorlichting	3%	56%	38%	3%	0%	100%	34b

  Gebaseerd op een steekproef van beleidsdoorlichtingen
  ^a Exclusief beleidsdoorlichtingen die geen uitspraak over doeltreffendheid doen
  ^b Exclusief beleidsdoorlichtingen die geen uitspraak over doelmatigheid doen
  Bron: SEO Economisch Onderzoek (2018)

  Het oordeel van de onafhankelijk deskundige

  In 70 procent van de onderzochte beleidsdoorlichtingen is het vereiste oordeel van de onafhankelijk deskundige (overwegend) positief. 8 procent van de deskundigen is (overwegend) negatief. De onafhankelijk deskundige stelt veelal dat gegeven het beschikbare (vaak beperkte) evaluatiemateriaal de beleidsdoorlichting goed is uitgevoerd. In slechts enkele gevallen kiest de onafhankelijk deskundige (als methodologisch expert) ervoor om te toetsen of de kwaliteit van het beschikbare evaluatiemateriaal voldoende adequaat is en of het vatbaar is voor verbetering.

  De kwaliteit en beschikbaarheid van onderliggend evaluatiemateriaal

  In de helft van de onderzochte beleidsdoorlichtingen is het onderliggend evaluatiemateriaal niet of slechts beperkt beschikbaar. In de gevallen waarin het evaluatiemateriaal (gedeeltelijk) beschikbaar was, is met behulp van de effectladder steekproefsgewijs de kwaliteit vastgesteld. In de meeste gevallen (98 procent) zijn hierbij relatief lage niveaus behaald: niveau 2 (potentieel effectief) en 3 (waarschijnlijk effectief) op een schaal die oploopt van 1 tot 5.

  Is het maximaal haalbare niveau bereikt?

  Voor de meeste beleidsdoorlichtingen geldt dat het bereikte niveau van onderbouwing van doeltreffendheid lager ligt dan het maximaal haalbare niveau. Slechts in 20 procent (18 + 2) van de beleidsdoorlichtingen is de behaalde kwaliteit van hetzelfde niveau (zie figuur 3). SEO heeft ingeschat wat het maximaal haalbare niveau is. Daarbij is de volgende vraag beantwoord: ‘Indien men de beleidsdoorlichting als doorlopend proces benadert, in hoeverre is het dan (op termijn) mogelijk om de impact van het beleid (causaal) in kaart te brengen?’ Het maximaal haalbare niveau is in de meeste gevallen niveau 4 van de effectladder. Figuur 3 toont het verschil tussen het maximaal haalbare niveau en het behaalde niveau.

  Figuur 3 De onderbouwing van inzichten over doeltreffendheid in beleidsdoorlichtingen is meestal beoordeeld als matig of redelijk, rekening houdend met de mogelijkheden
  Exclusief beleidsdoorlichtingen die geen uitspraak over doeltreffendheid doen
  Bron: SEO Economisch Onderzoek (2018)

• 4 Conclusies

  Beleidsdoorlichtingen werken niet zoals oorspronkelijk beoogd. Het evaluatie-instrument brengt zowel de doeltreffendheid (effectiviteit) als de doelmatigheid (efficiency) van het gevoerd beleid niet goed in beeld. Dit komt onder meer omdat er te weinig evaluatieonderzoek van hoge kwaliteit wordt uitgevoerd om een kennissynthese samen te stellen en omdat beleidsdoelstellingen met enige regelmaat worden aangepast. Het gevolg hiervan is dat uitspraken over de doeltreffendheid van beleid meestal niet stevig onderbouwd zijn en de doelmatigheid van beleid onderbelicht blijft. Dit maakt het minder goed mogelijk om lessen uit het verleden te trekken.

  Uit een steekproef van 49 beleidsdoorlichtingen blijkt het volgende:

  Afdekking van begrotingsartikelen en beleid

  • Het grootste deel van de artikelen op de rijksbegroting is middels een beleidsdoorlichting afgedekt.

  • De meeste beleidsdoorlichtingen dekken het gevoerd beleid grotendeels of volledig af.

  Inzichten uit de beleidsdoorlichtingen

  • Beleidsdoorlichtingen doen meestal een uitspraak over de doeltreffendheid van het gevoerde beleid. Deze uitspraken zijn vaak gebaseerd op voorbeelden, het aantonen van doelbereik of mutaties in indicatoren.

  • Twee derde van de beleidsdoorlichtingen doet beperkt of geen uitspraken over de doelmatigheid.

  • De verplichte besparingsvariant is in de helft van de beleidsdoorlichtingen volledig aanwezig.

  De kwaliteit van de inzichten

  • Conclusies over doeltreffendheid kunnen beter worden onderbouwd.

  • Conclusies over doelmatigheid zijn meestal matig onderbouwd.

  • Het eindoordeel van de onafhankelijk deskundige is overwegend positief van aard.

  • De beschikbaarheid en kwaliteit van evaluaties van beleidsmaatregelen zijn beperkt.

  • Het maximaal haalbare niveau van onderbouwing wordt doorgaans niet behaald.

• 5 Aanbevelingen

  Beleidsdoorlichtingen kunnen beter, maar welke concrete stappen zijn gewenst?

  • Allereerst kan het lerend vermogen van ministeries intern worden versterkt. Dat kan door middel van het instellen van commissies zoals de Beleidskwaliteit en -Evaluatie Commissie (BEC) van het ministerie van Economische Zaken en Klimaat, of directies zoals de directie Internationaal Onderzoek en Beleidsevaluatie (IOB). Twee voordelen van interne evaluaties zijn dat er intern vaak specialistische kennis aanwezig en beschikbaar is en dat interne evaluaties vaak als minder bedreigend worden ervaren. Bij een interne evaluatie moeten de transparantie en onafhankelijkheid van de evaluatieprocedure wel goed worden gewaarborgd. Dit om te voorkomen dat de slager haar eigen vlees keurt.

  • Ten tweede kunnen departementen meer en betere beleidsevaluaties van maatregelen uitvoeren. Daartoe moet ex ante worden vastgesteld hoe de doeltreffendheid en doelmatigheid van beleidsmaatregelen ex post (causaal) geëvalueerd kunnen worden. In de beleidsdoorlichting hoeft dan alleen een totaalbeeld te worden geschetst. Daarbij moet kritisch worden bepaald of ‘overkoepelende uitkomstmaten’ een toegevoegde waarde hebben.⁹xEen voorbeeld: in een beleidsdoorlichting van het hoger onderwijs is de overkoepelende uitkomstmaat ‘kwaliteit’ opgenomen. Een exact begrip van een kwalitatief hoger onderwijsstelsel ontbreekt echter. Zodoende kan men nooit een uitspraak doen over de vraag of de ‘overkoepelende uitkomstmaat’ is behaald of niet. Indien dit het geval is, dan moeten de uitkomstmaten eenduidig zijn gedefinieerd, en moet het duidelijk zijn wanneer het beleid als doeltreffend en doelmatig kan worden beschouwd.

  • Ten derde zou de onafhankelijk deskundige (als methodologisch expert) tevens de beschikbaarheid en kwaliteit van evaluatiemateriaal kunnen beoordelen. Vaak is er specialistische kennis nodig om te achterhalen of de kwaliteit van het beschikbare evaluatiemateriaal voldoende is en of het vatbaar is voor verbetering.

  • Ten vierde kan de beleidsdoorlichting een doorlopend proces worden in plaats van een periodieke verplichting. Alle beleidsmaatregelen dienen daarbij afzonderlijk te worden geëvalueerd. Zo kan er sneller worden geleerd en kan een beleidsdoorlichting een compleet begrotingsartikel evalueren.

  • Ten slotte kan worden overwogen om beleidsdoorlichtingen strategisch te plannen aan het eind van een kabinetsperiode. Op deze manier kunnen lessen worden meegenomen in het volgende regeerakkoord. Daarnaast kan worden besloten om actuelere beleidsevaluaties zwaarder te wegen in de beleidsdoorlichting. Deze maatregelen leiden ertoe dat de toegevoegde waarde van de beleidsdoorlichting toeneemt, wat beter evalueren stimuleert.

Literatuur

• Algemene Rekenkamer. (2012). Effectiviteitsonderzoek bij de rijksoverheid.

• Algemene Rekenkamer. (2015). Rijksbrede resultaten en thema’s verantwoordingsonderzoek 2014.

• Commissie-Theeuwes. (2012). Durf te meten. Eindrapport Expertwerkgroep Effectmeting. Den Haag: Ministerie van Economische Zaken.

• Commissie voor de Rijksuitgaven. (2011). Evaluatie van het instrument beleidsdoorlichtingen. Bijlage 2 in: Verbetering verantwoording en begroting, Tweede Kamer, 31 865, nr. 27.

• Financiën. (2018). Regeling van de Minister van Financiën van 15 maart 2018, houdende regels voor periodiek evaluatieonderzoek (Regeling Periodiek Evaluatieonderzoek, RPE). Staatscourant 16632, 26 maart 2018.

• Houppermans, M.K. (2018). Verkennende analyse naar de onafhankelijk deskundige bij beleidsdoorlichtingen in de periode 2006- 2017. Samenvatting: http://www.beleidsonderzoekonline.nl/tijdschrift/bso/2018/6/BO_2213-3550_2018_000_005_001

• Koopmans, C.C., Hof, B., Koeman, N., Kroon, L., Rougoor, W., Ter Weel, B., & Witteman, J. (2018). Beleidsdoorlichtingen belicht. SEO-rapport. Amsterdam.

• Mevissen, J. (2018). Maryland 2.0: Evidence-based onderzoek en de Marylandschaal. Beleidsonderzoek Online, november.

• Van Hoesel, P., & Herold, M. (2018). Een positieve relatie tussen beleid en kennis. Beleidsonderzoek Online, juli.

• Van Yperen, T.V., & Veerman, J.W. (2008). Zicht op effectiviteit: Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Delft: Eburon.

• Vaste Commissie voor Financiën. (2016). Beleidsdoorlichtingen. Brief aan de minister van Financiën van de Vaste Commissie voor Financiën van de Tweede Kamer, 27 oktober.

Noten

• 1 De rijksbegroting is ingedeeld in artikelen. Voor elk begrotingsartikel zijn beleidsdoorlichtingen verzameld op www.rijksbegroting.nl. Sinds 2011 zijn 132 beleidsdoorlichtingen uitgevoerd. Dit aantal was te groot om alle beleidsdoorlichtingen diepgaand te kunnen bestuderen in het tijdsbestek van het onderzoek. Er is daarom gekozen voor een steekproef van 49 beleidsdoorlichtingen uit de periode 2013 tot 2018 (voor deze beperking van de periode is gekozen omdat in 2013 de indeling van de rijksbegroting in begrotingsartikelen flink is aangepast). Voor ieder begrotingshoofdstuk (ministerie) zijn de twee beleidsartikelen met de hoogste uitgaven geselecteerd (39 onderzoeken). Deze zijn aangevuld met een aselecte steekproef getrokken uit de ministeries met meer dan vijf artikelen (10 stuks).

• 2 Interviews zijn een essentiële aanvullende methode voor dit onderzoek. Ten eerste zijn interviews met betrokkenen van belang om beter inzicht te krijgen in het zichtbaar gebruik van beleidsdoorlichtingen en het achterhalen van mogelijke oorzaken van beperkt inzicht. Ten tweede zijn interviews gebruikt om de uitkomsten van de deskresearch te verrijken, bijvoorbeeld door in te gaan op ‘hoe’- en ‘waarom’-vragen. Voor de conclusies van de interviews verwijzen wij naar Koopmans et al. (2018).

• 3 De effectladder is oorspronkelijk ontwikkeld voor de jeugdzorg (Van Yperen & Veerman, 2008). SEO heeft de ladder verbreed naar andere beleidsterreinen, geactualiseerd met nieuwe inzichten en aangevuld op basis van praktijkervaring met beleidsonderzoek.

• 4 Er is gekozen voor de periode 2011-2018 omdat de Regeling Periodiek Evaluatieonderzoek het Rijk verplicht om minimaal eens per zeven jaar een begrotingsartikel te evalueren (Financiën, 2018). In theorie zou de afdekking van begrotingsartikelen zodoende volledig moeten zijn.

• 5 Het verschuiven van een begrotingsartikel leidt er in de praktijk vaak toe dat beleid niet wordt geëvalueerd. De sanering van het aantal begrotingsartikelen in de afgelopen periode was een belangrijke oorzaak van de niet volledige afdekking. Daarnaast zien we dat indien het beleid wel wordt geëvalueerd, er vaak sprake is van een beperking van het onderzoek. Zo wordt het eerder gevoerde beleid vaak niet geëvalueerd, of focust de beleidsdoorlichting zich op nieuw beleid. Hierdoor geven beleidsdoorlichtingen geen volledig beeld van de impact van beleid en de maatschappelijke toegevoegde waarde van publieke middelen.

• 6 Een voorbeeld hiervan is de beleidsdoorlichting SZW begrotingsartikel 5: Werkloosheid. Een relatief gemakkelijk te meten outputindicator is het aantal mensen dat gebruikmaakt van de Werkloosheidswet, en de hoeveelheid geld die zij ontvangen. Moeilijker is het om te meten in hoeverre deze outputindicator bijdraagt aan het stabiliseren van de economie tijdens conjuncturele schokken (een genoemde outcome-indicator). Dit omdat er meerdere exogene factoren van invloed zijn op deze outcome-indicator.

• 7 Deze verplichting werd begin 2015 ingevoerd en was niet van toepassing op doorlichtingen die in 2015 al in uitvoering waren. Naast de besparingsvariant kunnen beleidsdoorlichtingen ook een intensiveringsvariant bevatten; dit is niet onderzocht.

• 8 Zie www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/handreiking-beleidsdoorlichtingen/de-beleidstheorie.

• 9 Een voorbeeld: in een beleidsdoorlichting van het hoger onderwijs is de overkoepelende uitkomstmaat ‘kwaliteit’ opgenomen. Een exact begrip van een kwalitatief hoger onderwijsstelsel ontbreekt echter. Zodoende kan men nooit een uitspraak doen over de vraag of de ‘overkoepelende uitkomstmaat’ is behaald of niet.