Wat is de toegevoegde waarde van de onafhankelijk deskundige bij beleidsdoorlichtingen?

• 1 Inleiding

  Aanleiding

  De huidige Regeling Periodiek Evaluatieonderzoek¹xIn het onderzoeksrapport van de verkennende analyse waarop dit essay is gebaseerd, wordt vermeld ‘RPE (2015)’ omdat deze regeling in werking is getreden op 1 januari 2015. In de bronvermelding gaat het om de Regeling van 15 augustus 2014. Omwille van consistentie is dezelfde schrijfwijze aangehouden als in het onderzoeksrapport. (RPE, 2015) en voorafgaand daaraan de Regeling Periodiek Evaluatieonderzoek en Beleidsinformatie (RPE, 2006), schrijven voor dat beleid in de rijksbegroting periodiek moet worden geëvalueerd in een beleidsdoorlichting. Dit is een synthese-onderzoek naar de doeltreffendheid en doelmatigheid van het beleid. Om de kwaliteit daarvan te borgen en te voorkomen dat de slager zijn eigen vlees keurt, zo staat in de RPE (2015) vermeld, dient er een onafhankelijk deskundige bij betrokken te zijn. Zijn oordeel over de kwaliteit van de doorlichting wordt samen met het onderzoeksrapport aangeboden aan de Tweede Kamer ter verantwoording van het beleid.
  Beleidsdoorlichtingen hebben weinig betekenis, zo vermeldt de beleidsdoorlichting Begrotingsbeleid (2016) van het ministerie van Financiën aan de hand van het Verantwoordingsonderzoek 2014 van de Algemene Rekenkamer. Daaruit blijkt dat beleidsdoorlichtingen nauwelijks inzicht geven in de doelmatigheid en doeltreffendheid van het beleid en geen wezenlijke invloed hebben in het debat tussen de minister en de Tweede Kamer.
  Over de toegevoegde waarde van de onafhankelijk deskundige bij beleidsdoorlichtingen was tot op heden nog geen onderzoek voorhanden. Dit is voldoende aanleiding voor een verkennende analyse naar dit thema, vooral nu het huidige kabinet-Rutte III met de Operatie Inzicht in Kwaliteit effectiever overheidsbeleid beoogt door een verbetering van het evaluatiestelsel (Regeerakkoord, 2017).

  Leeswijzer

  Dit essay is gebaseerd op het onderzoeksrapport van de verkennende analyse naar de toegevoegde waarde van de onafhankelijk deskundige bij de afgeronde beleidsdoorlichtingen in de periode 2006 tot en met 2017 (Houppermans, 2018), aangeboden op 1 mei 2018 aan de minister van Financiën. In dit essay wordt eerst toegelicht wat onderzocht is en wat niet. Vervolgens worden de belangrijkste bevindingen beschreven. Het essay sluit af met de conclusies en aanbevelingen.
  Het onderzoeksrapport, en daarmee ook dit essay, is gebaseerd op een analyse van 164 beleidsdoorlichtingen. Omwille van de leesbaarheid van dit essay zijn niet alle 164 beleidsdoorlichtingen opgenomen in het overzicht van geraadpleegde bronnen, noch worden in de tekst volledige opsommingen gegeven van alle beleidsdoorlichtingen die het in bepaalde passages betreft (bijvoorbeeld wanneer er staat: in 10 van de 164 gevallen). Waar het de tekst ondersteunt, zijn voorbeelden ingevoegd, die ook zijn opgenomen bij de geraadpleegde bronnen. Het volledige overzicht van alle 164 beleidsdoorlichtingen en de onderliggende analyses zijn op aanvraag digitaal beschikbaar bij de auteur.

• 2 Wat is onderzocht en wat niet?

  In 2015 is de huidige RPE in werking getreden. De belangrijkste wijziging ten opzichte van de oude RPE uit 2006 is de invoering van vier methodologische kwaliteitscriteria waaraan een beleidsdoorlichting moet voldoen en de onafhankelijke beoordeling door een deskundige daarop.²xDe vier methodologische kwaliteitscriteria zijn: ‘1) Het onderzoek maakt duidelijk welk beleid wordt onderzocht en wat de doelstellingen van dat beleid zijn; 2) het onderzoek beoogt de vraag te beantwoorden in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend of doelmatig is; 3) de conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen; 4) de in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar, het rapport geeft inzicht in de gebruikte evaluatiemethode en in de mogelijkheden en onmogelijkheden om de doeltreffendheid en/of de doelmatigheid van het betreffende beleid vast te stellen.’ (RPE, 2015: 1) Dit dient om de kwaliteit van een beleidsdoorlichting te borgen en bij te dragen aan het inzicht in de doelmatigheid en doeltreffendheid van het beleid (figuur 1).

  Figuur 1 Conceptueel model
  

  Om inzicht te krijgen in de toegevoegde waarde van de onafhankelijk deskundige is de volgende tweeledige hoofdvraag geformuleerd:
  

  1. In hoeverre en op welke wijze wordt conform de RPE (2006, 2015) invulling gegeven aan de rol van de onafhankelijk deskundige bij de afgeronde beleidsdoorlichtingen in de periode 2006 tot en met 2017, en

  2. Wat kan op basis hiervan worden gezegd over de toegevoegde waarde van de kwaliteitsborging door de onafhankelijk deskundige voor het inzicht dat beleidsdoorlichtingen moeten opleveren?

  In totaal zijn 164 afgeronde beleidsdoorlichtingen in de periode 2006 tot en met 2017 onderzocht, inclusief de bijbehorende aanbiedingsbrieven, bijlagen en onafhankelijke oordelen die in de periode medio februari tot en met medio april 2018 gepubliceerd waren in het overzicht van ‘Evaluaties en beleidsdoorlichtingen’ op de website rijksbegroting.nl.³xZie http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief; http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015; http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016; http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2017 (geraadpleegd medio februari tot medio april 2018). Er is onderscheid gemaakt tussen enerzijds de 117 beleidsdoorlichtingen die zijn afgerond in de periode 2006 tot en met 2014 en die vallen onder het regiem van de oude RPE (2006). En anderzijds de 47 beleidsdoorlichtingen die zijn afgerond in de periode 2015 tot en met 2017 en die vallen onder het regiem van de huidige RPE 2015 (tabel 1). Het belangrijkste verschil tussen beide RPE’s is dat de huidige RPE (2015) vier methodologische kwaliteitscriteria voorschrijft en de oude RPE (2006) niet.

  Tabel 1 Aantal onderzochte beleidsdoorlichtingen

  	Periode 2006 t/m 2014 (RPE 2006)	Periode 2015 t/m 2017 (RPE 2015)	Gehele onderzoeksperiode 2006 t/m 2017
  Aantal onderzochte beleidsdoorlichtingen	117	47	164

  Wat is aanvullend onderzocht?

  Hoewel het niet primair onderwerp van de verkennende analyse is, is tevens een beeld gegenereerd van de mate waarin de 164 onderzochte beleidsdoorlichtingen inzicht geven in de doelmatigheid en doeltreffendheid van het beleid en de verklaringen van de onderzoekers en onafhankelijk deskundigen hierover. Dit vanwege de contextuele relevantie: de onafhankelijk deskundige is immers geïntroduceerd ter verbetering van de verantwoording over de doelmatigheid en doeltreffendheid van het beleid.
  Ook is een beeld gegenereerd van de kritiek die de onafhankelijk deskundigen in hun kwaliteitsoordeel hebben geleverd op de beleidsdoorlichting waarbij zij betrokken waren, alsook op de RPE (2006, 2015) als instrument om beleid door te lichten. Dit biedt immers aanknopingspunten voor aanbevelingen en verbeteringen die kunnen leiden tot betere beleidsdoorlichtingen.

  Wat is niet onderzocht?

  De verkennende analyse is uitsluitend gebaseerd op de documenten die in de periode medio februari tot en met medio april 2018 gepubliceerd stonden in het overzicht van ‘Evaluaties en beleidsdoorlichtingen’ op de website rijksbegroting.nl.⁴xIdem. Er is niet gezocht naar mogelijk aanvullende documenten in andere bronnen. Dit kenmerkt het verkennende karakter van de analyse. Alleen de beleidsdoorlichtingen die in dit overzicht gepubliceerd waren als ‘afgerond’, zijn bestudeerd. In hoeverre dit overzicht volledig is, is niet nader onderzocht. Niet uitgesloten kan worden dat een beleidsdoorlichting stond vermeld als ‘in uitvoering’ en om die reden niet geanalyseerd is, doch in werkelijkheid afgerond was. De verwachting is dat dit slechts een gering aantal beleidsdoorlichtingen betreft en dit weinig afbreuk doet aan het beeld dat is verkregen aan de hand van de ruime hoeveelheid wél onderzochte beleidsdoorlichtingen.
  Tevens is niet onderzocht in hoeverre de betrokkenheid van de onafhankelijk deskundige daadwerkelijk heeft geresulteerd in kwalitatief betere beleidsdoorlichtingen. De verkennende analyse gaat niet over de kwaliteit van de beleidsdoorlichtingen zelf, maar over wie als onafhankelijk deskundige betrokken is geweest en in welke mate is voldaan aan de voorschriften van de RPE (2006, 2015).

• 3 In hoeverre en op welke wijze wordt conform de RPE (2006, 2015) invulling gegeven aan de rol van de onafhankelijk deskundige bij afgeronde beleidsdoorlichtingen in de periode 2006 tot en met 2017?

  Ter beantwoording van het eerste deel van de tweedelige hoofdvraag worden hierna vier deelvragen beantwoord.

  Deelvraag 1: Wie is de onafhankelijk deskundige en wat is zijn rol?

  In de 164 onderzochte beleidsdoorlichtingen is de onafhankelijk deskundige meestal een inhoudelijke deskundige, bijvoorbeeld de nationaal rapporteur Mensenhandel bij de beleidsdoorlichting Mensenhandel, mensensmokkel (2013). Uit geen van de onderzochte beleidsdoorlichtingen kan worden afgeleid waarom een opdrachtgever heeft gekozen voor specifiek die onafhankelijk deskundige, wanneer dit niet direct voor de hand ligt zoals in dit voorbeeld. Daarvan wordt geen nadere motivatie gegeven, anders dan dat de betreffende onafhankelijk deskundige voldoende inhoudelijk deskundig wordt geacht. In enkele gevallen valt de keuze niet op inhoudelijke maar op methodologische deskundigheid, zoals een hoogleraar beleidsevaluaties bij de beleidsdoorlichting Dienstverlening Belastingdienst (2015). Daarin is sinds de invoering van de vier methodologische kwaliteitseisen in de RPE (2015) geen zichtbare verandering opgetreden.
  Het is niet ongebruikelijk om vaker dezelfde onafhankelijk deskundige te betrekken, zoals het Centraal Planbureau bij beleidsdoorlichtingen van het ministerie van Financiën en het Kennisinstituut Mobiliteit bij beleidsdoorlichtingen van het (toenmalige) ministerie van Infrastructuur en Milieu. Ook een aantal commerciële organisaties heeft ervaring opgedaan als onafhankelijk deskundige en tevens uitvoerder van beleidsdoorlichtingen bij diverse departementen, zoals Research voor Beleid/Panteia, Berenschot, Ecorys en Twynstra Gudde.
  De rol die het meest wordt gekozen (in 38 van de 164 beleidsdoorlichtingen), is die waarbij de beleidsdoorlichting wordt uitgevoerd door een externe commerciële partij onder begeleiding van en/of toetsing door een klankbordgroep of begeleidingscommissie met brede vertegenwoordiging van extern deskundigen, vertegenwoordigers van veldpartijen en interne medewerkers van departementen. In 29 van de 164 beleidsdoorlichtingen is sprake van een vergelijkbare rolverdeling, doch met een door de RPE (2015) als interne onafhankelijk deskundige aangemerkte partij als uitvoerder van het onderzoek, zoals een departementale onderzoeksinstelling. In 26 van de 164 beleidsdoorlichtingen is de onafhankelijk deskundige één extern deskundige, meestal een hoogleraar, die een oordeel geeft over de kwaliteit van de beleidsdoorlichting.

  Onafhankelijkheid valt soms te betwisten

  In een aantal beleidsdoorlichtingen valt de onafhankelijkheid te betwisten. Zoals wanneer de beleidsdoorlichting steunt op onderzoek dat is uitgevoerd door of in opdracht van de onafhankelijk deskundige, wat het geval is bij de beleidsdoorlichtingen Interbestuurlijke verhoudingen (2014) en Slachtofferzorg (2014). Of wanneer een beleidsdoorlichting wordt uitgevoerd door een extern bureau en wordt getoetst door een onafhankelijk deskundige, terwijl beide partijen evaluaties hebben uitgevoerd die onderdeel uitmaken van het syntheseonderzoek van de beleidsdoorlichting, zoals bij de beleidsdoorlichting Scheepvaart en havens (2016). Ook vermenging van rollen kan de onafhankelijkheid ter discussie stellen. Zoals bij de beleidsdoorlichting Agentschap (2007), waarin meerdere onafhankelijken zowel een kwaliteitsoordeel geven over de beleidsdoorlichting alsook zitting hebben in de werkgroep alsmede in de klankbordgroep; of wanneer de leden van de klankbordgroep die is ingesteld ter borging van de onafhankelijkheid, ook belanghebbenden van het beleid zijn en aan wie tevens om aanbevelingen wordt gevraagd over het beleid en de rol van de overheid, zoals te zien is bij de beleidsdoorlichting Letselpreventie (2013).

  Deelvraag 2: In hoeverre wordt de betrokkenheid van de onafhankelijk deskundige verantwoord conform de RPE?

  In 40 van de 164 beleidsdoorlichtingen wordt gerefereerd aan een concrete afspraak tussen de opdrachtgever en de onafhankelijk deskundige over zijn taak bij de beleidsdoorlichting, waarvan 26 in de periode tot en met 2014 en 14 in de periode van 2015 tot en met 2017 (tabel 2). Een voorbeeld van een concrete taakopdracht in de beleidsdoorlichting Wet werk en Bijstand (2007) is het toezien op een inhoudelijk en onderzoekstechnisch adequate uitvoering van het onderzoek; het onderzoeksbureau adviseren en gewenste inlichtingen beschikbaar stellen; de opdrachtgever adviseren over opgedragen onderzoekswerkzaamheden en een kwaliteitsoordeel over het rapport geven.
  In 105 van de 164 beleidsdoorlichtingen wordt een globale verantwoording gegeven van de betrokkenheid van de onafhankelijk deskundige, waarvan 73 in de periode tot en met 2014 en 32 in de periode 2015 tot en met 2017. In deze beleidsdoorlichtingen wordt bijvoorbeeld beschreven op hoeveel momenten commentaar is geleverd; dat conceptstukken zijn beoordeeld; en dat de onafhankelijk deskundige de klankbordgroep heeft voorgezeten zoals in de beleidsdoorlichting Sport en bewegen (2017). In 19 van de 164 beleidsdoorlichtingen wordt geen verantwoording gegeven van de betrokkenheid, rol of inbreng van de onafhankelijk deskundige, waarvan 18 in de periode tot en met 2014 en 1 in de periode erna (tabel 2). Dit betreft de beleidsdoorlichting Begrotingsbeleid (2016), een exoot in het rijtje van 164 omdat voor dit beleid de verplichting van een beleidsdoorlichting is vervallen maar desalniettemin toch een beleidsdoorlichting is uitgevoerd, hoewel niet op alle aspecten van de RPE.

  Tabel 2 Verantwoording van betrokkenheid

  	Periode 2006 t/m 2014 (RPE 2006)	Periode 2015 t/m 2017 (RPE 2015)	Gehele onderzoeksperiode 2006 t/m 2017
  Concrete taakopdracht	26 van 117	14 van 47	40 van 164
  Globale verantwoording van betrokkenheid	73 van 117	32 van 47	105 van 164
  Geen verantwoording van betrokkenheid	18 van 117	1 van 47	19 van 164

  Inhoudelijke inbreng is niet bekend

  In géén van de 164 beleidsdoorlichtingen blijkt duidelijk wat de exacte inhoudelijke inbreng is van de onafhankelijk deskundige tijdens het totstandkomingsproces van de beleidsdoorlichting.

  Onafhankelijk deskundige is niet altijd vroegtijdig betrokken

  De RPE (2015) stelt dat het wenselijk is om de onafhankelijk deskundige vroegtijdig te betrekken bij de beleidsdoorlichting. Dit is het geval in 9 van de 47 beleidsdoorlichtingen, voornamelijk bij het plan van aanpak, zoals in de beleidsdoorlichting Civiel militaire samenwerking (2017). In de overige gevallen is de onafhankelijk deskundige betrokken bij concept- of eindversies van het onderzoeksrapport. In 2 van de 164 beleidsdoorlichtingen, namelijk Wet werk en bijstand (2007) en Rechtsbijstand (2015) wordt gerapporteerd dat de onafhankelijke te laat betrokken was en dit afbreuk doet aan de kwaliteit van de beleidsdoorlichting.

  Deelvraag 3: In hoeverre beoordeelt de onafhankelijk deskundige de kwaliteit van de beleidsdoorlichting?

  De oude RPE (2006) schrijft, net als de huidige RPE (2015), voor dat een onafhankelijk deskundige betrokken dient te zijn bij een beleidsdoorlichting, die geen verantwoordelijkheid draagt voor het te onderzoeken beleid en van wie een onafhankelijk oordeel mag worden verwacht. Een nadere toelichting van zijn rol, of waarop dit oordeel zich dient te richten, is niet omschreven in de oude RPE (2006). Ondanks het feit dat de oude RPE (2006) geen kwaliteitscriteria voorschrijft, wordt in 53 van de 117 beleidsdoorlichtingen toch een oordeel gegeven over de beleidsdoorlichting aan de hand van methodologische criteria, zoals over de toepassing van bron- en methodetriangulatie in de beleidsdoorlichting Kwaliteit Rijksdienst (2014); over de consistentie van de analyses in de beleidsdoorlichting ANW (2013); en over de onderkenning van methodologische uitdagingen in de beleidsdoorlichting Re-integratie (2008). In de overige 64 gevallen in de periode tot en met 2014 wordt veelal uitsluitend een beschrijving gegeven van de samenstelling van de klankbordgroep of begeleidingscommissie, indien er al een onafhankelijk deskundige bij betrokken is (tabel 3).
  Niet ongebruikelijk geeft de onafhankelijk deskundige een beleidsinhoudelijke reactie, bijvoorbeeld op basis van eigen werk zoals in de beleidsdoorlichtingen Duurzaam ondernemen (2010) en Jeugdstelsel (2010). Ook doen onafhankelijk deskundigen aanbevelingen voor de toekomst zoals in de beleidsdoorlichting Programma Bevolkingsdaling (2014). In slechts 2 van de 117 beleidsdoorlichtingen in de periode tot en met 2014, namelijk Re-integratie (2008) en Cultuur (2011), wordt expliciet vermeld dat de onafhankelijk deskundige uitsluitend een methodologische en geen inhoudelijke reactie geeft en dat dit ook niet verwacht mag worden.
  De RPE (2015) schrijft vier kwaliteitscriteria voor waaraan beleidsdoorlichtingen moeten voldoen. In 11 van de 47 beleidsdoorlichtingen is door de onafhankelijk deskundige hierop beoordeeld. In 23 van de 47 gevallen is sprake van een beperkt kwaliteitsoordeel, waarbij de beleidsdoorlichting is beoordeeld op een aantal maar niet alle vier de criteria. Wanneer in het kwaliteitsoordeel aandacht wordt besteed aan methodologische criteria, is dit vaak zodanig impliciet omschreven en verweven in de tekst, dat het lastig is om te achterhalen wat het precieze oordeel is van de onafhankelijk deskundige, zoals het geval is in de beleidsdoorlichting Werkloosheid (2016). In 13 van de 47 beleidsdoorlichtingen gaat het kwaliteitsoordeel helemaal niet over de vier criteria, of is überhaupt geen kwaliteitsoordeel aanwezig (tabel 3).

  Tabel 3 Kwaliteitsoordeel

  	Periode 2006 t/m 2014 (RPE 2006)	Periode 2015 t/m 2017 (RPE 2015)	Gehele onderzoeksperiode 2006 t/m 2017
  Kwaliteitsoordeel	53/117 (op criteria naar eigen inzicht)	11/47 (op voorgeschreven criteria)	64/164
  Beperkt kwaliteitsoordeel	Niet van toepassinga	23 van 47	Niet van toepassing
  Geen kwaliteitsoordeel	64/117	13/47	77/164

  ^a Omdat de RPE (2006) geen kwaliteitscriteria voorschrijft, kan voor de beleidsdoorlichtingen die vallen onder dat regiem, uitsluitend sprake zijn van ofwel een kwaliteitsoordeel, ofwel geen kwaliteitsoordeel. Een beperkt kwaliteitsoordeel geldt alleen voor de beleidsdoorlichtingen die vallen onder het regiem van de RPE (2015).

  Kritiek van de onafhankelijk deskundigen op de RPE

  In de 164 onderzochte beleidsdoorlichtingen plaatsen de onafhankelijk deskundigen niet alleen opmerkingen bij de beleidsdoorlichting die zij beoordelen, maar in ruim 10 gevallen uiten zij ook kritiek op de voorschriften van de RPE (2006, 2015). Van dit laatste is vooral in 2015 sprake. De kritiek op de beleidsdoorlichting zelf gaat bijvoorbeeld over het weinig actueel zijn van de geraadpleegde bronnen of het te weinig consulteren van niet- overheidspartijen, zoals in de beleidsdoorlichting Kwaliteit leefomgeving hoofdwegen en spoorwegen (2012).
  Over de voorschriften van de RPE (2006, 2015) stellen de onafhankelijk deskundigen, bijvoorbeeld in de beleidsdoorlichting Mainport Rotterdam en andere havens (2012), dat voor een goede beleidsdoorlichting gedegen evaluatieonderzoek en gekwantificeerde indicatoren, doelen en effecten nodig zijn. Ook noemen zij dat een beleidsdoorlichting meer moet zijn dan syntheseonderzoek en is meer aandacht nodig voor de maatschappelijke context en maatschappelijke waarde alsmede voor de mate waarin het beleid voldoende toekomstbestendig is, onder andere genoemd in de beleidsdoorlichtingen Belastinguitgaven (2010), Exportkredietgarantie (2014) en Waterkwaliteit (2015). Volgens hen is de RPE geen werkbaar instrument en blijft het inzicht in de werking van het beleid nu te beperkt. De RPE (2015) dient meer ruimte te bieden voor het evalueren van de doelstellingen van het beleid zelf, waardoor inzicht kan worden verkregen in de maatschappelijke waarde van die doelstellingen.

  Deelvraag 4: In hoeverre geeft de beleidsdoorlichting inzicht in de doeltreffendheid en doelmatigheid?

  In totaal 13 van de 164 onderzochte beleidsdoorlichtingen geven inzicht in de doelmatigheid en doeltreffendheid van het beleid. In de periode tot en met 2014 gebeurt dat in 10 beleidsdoorlichtingen en in de periode 2015 tot en met 2017 in 3 beleidsdoorlichtingen, namelijk Versterking positie cliënt (2015), Goed functionerende markten (2015) en BTW compensatiefonds (2016). In 109 van de 164 beleidsdoorlichtingen wordt beperkt inzicht gegeven in de doelmatigheid en doeltreffendheid van het beleid, waarvan 72 in de periode tot en met 2014 en 37 in de periode 2015 tot en met 2017. In 42 van de in totaal 164 beleidsdoorlichtingen wordt vermeld dat geen inzicht kan worden gegeven in de doelmatigheid en doeltreffendheid van het beleid, waarvan 35 in de periode tot en met 2014 en 7 in de periode 2015 tot en met 2017 (tabel 4).

  Tabel 4 Inzicht in doelmatigheid en doeltreffendheid

  	Periode 2006 t/m 2014 (RPE 2006)	Periode 2015 t/m 2017 (RPE 2015)	Gehele onderzoeksperiode 2006 t/m 2017
  Inzicht in doelmatigheid en doeltreffendheid	10 van 117	3 van 47	13 van 164
  Beperkt inzicht in doelmatigheid en doeltreffendheid	72 van 117	37 van 47	109 van 164
  Geen inzicht in doelmatigheid en doeltreffendheid	35 van 117	7 van 47	42 van 164

  Verklaringen voor het beperkte inzicht

  In de beleidsdoorlichtingen worden diverse verklaringen gegeven voor het beperkte inzicht in de doelmatigheid en doeltreffendheid van het beleid, samen te vatten tot de onderstaande twee verklaringen:

  1. Gebrek aan betrouwbare onderliggende informatie

  Zo wordt gerapporteerd dat het ontbreekt aan kwantitatieve gegevens over resultaten en effecten; dat de doelmatigheid van het beleid structureel onderbelicht is in bestaande evaluatieonderzoeken; en dat effectonderzoek ontbreekt omdat het om politieke redenen nooit tot een serieuze evaluatie van de wet is gekomen, zoals in de beleidsdoorlichting Integratie en maatschappelijke samenhang (2016). Ook wordt vermeld dat gegevens onbetrouwbaar zijn; dat het ontbreekt aan een monitoring van het beleid; dat metingen uit voorgaande jaren niet onderling vergelijkbaar zijn omdat ze volgens verschillende methodiek zijn uitgevoerd; en dat onderzoeksrapporten elkaar tegenspreken, zoals in de beleidsdoorlichting Burgerparticipatie (2012).

  2. De complexiteit van het meten van doelmatigheid en doeltreffendheid

  Hierover wordt onder andere gerapporteerd dat het beleid te complex is om te meten, zoals in de beleidsdoorlichting Integriteitsbeleid (2014); dat veel aspecten van het beleid niet meetbaar zijn; en dat causale relaties moeilijk aantoonbaar zijn door het ontbreken van experimentele settings, zoals in de beleidsdoorlichting Prestaties van leerlingen en studenten omhoog (2015). Ook wordt genoemd dat doelen niet zijn gekwantificeerd; en dat indicatoren onvoldoende de effecten van de ingezette instrumenten op de geformuleerde doelstellingen weerspiegelen, genoemd bij de beleidsdoorlichting Externe veiligheid inrichtingen (2013).
  Daarnaast blijkt het, onder andere in de beleidsdoorlichting Publiekdiplomatie (2015), moeilijk vast te stellen of de inspanningen voor het behalen van zogenoemde zachte resultaten zoals beeldvorming, vertrouwen en acceptatie succesvol waren, mede omdat deze effecten pas op langere termijn optreden; of ontbreekt het aan een duidelijke koppeling tussen de inzet van het departement en het bereiken van de doelen. Ook blijken de omstandigheden de oordeelsvorming te bemoeilijken. Zo wordt onder andere in de beleidsdoorlichtingen Financieringsactiviteiten PPS (2016) en Financiële markten (2017) gerapporteerd dat vele andere factoren het beleid beïnvloeden en dit het meten van effecten bemoeilijkt; en dat het beleid een te omvangrijk en complex beleidsterrein beslaat dat voortdurend in beweging is.

  De beleidsdoorlichting komt te vroeg

  In 16 van de 164 beleidsdoorlichtingen wordt gerapporteerd dat de beleidsdoorlichting te vroeg komt om uitspraken over de doelmatigheid en doeltreffendheid te kunnen doen. In de periode 2006 tot en met 2014 is hiervan sprake in 10 gevallen, en in de periode 2015 tot en met 2017 in 6 gevallen, waaronder de beleidsdoorlichting Wegen en verkeersveiligheid (2017).

  Doelmatigheid kent diverse interpretaties

  In de 164 onderzochte beleidsdoorlichtingen wordt de doelmatigheidsvraag niet of summier beantwoord bij gebrek aan onderliggende informatie. In de beleidsdoorlichtingen wordt bovendien een veelheid aan interpretaties van doelmatigheid gegeven. Zoals vanuit de invalshoek van bedrijfsvoerings- en overige administratieve lasten; uitvoeringskosten; bestuurlijke drukte; of de mate waarin meer of minder met subsidies wordt gewerkt, zoals in de beleidsdoorlichting Cultuur (2015).

  Kwantitatieve informatie prevaleert boven kwalitatieve

  In de onderzochte beleidsdoorlichtingen prevaleert kwantitatieve informatie boven kwalitatieve. Kwantitatieve informatie wordt gezien als noodzakelijk om conclusies te kunnen trekken over het beleid en de beoogde effecten, zoals in de beleidsdoorlichting Woningmarkt (2015). Kwantitatieve gegevens zijn harde gegevens waarmee met zekerheid uitspraken kunnen worden gedaan. Kwalitatieve informatie biedt die zekerheid niet, zo wordt gerapporteerd in de beleidsdoorlichting Zorgbreed beleid: Opleidingen, beroepenstructuur en arbeidsmarkt (2016). Ook wordt het als noodzakelijk gezien dat er gekwantificeerd doelen en effecten zijn alvorens uitspraken over het beleid te kunnen doen, zoals het geval is in de beleidsdoorlichting Bevorderen autonomie Koninkrijkspartners (2016). Een onafhankelijk deskundige stelt dat voor het uitvoeren van een gedegen beleidsdoorlichting volgens de RPE (2015) op zijn minst duidelijke en kwantitatieve doelstellingen moeten zijn geformuleerd die toetsbaar zijn. Wanneer kwantitatieve informatie niet voorhanden is of vanwege de aard van het beleidsterrein informatie uitsluitend van kwalitatieve aard is, wordt gerapporteerd dat de onderzoekers noodzakelijkerwijs kwalitatieve conclusies hebben moeten trekken; dat dit beperkt in de mogelijkheden om nauwkeurig uitspraken te doen zoals genoemd in de beleidsdoorlichting Ruimtelijke ontwikkeling (2014); en het ‘meten’ van effectiviteit complex is.

  Beleidsdoorlichtingen zijn soms meer dan syntheseonderzoek

  Er zijn beleidsdoorlichtingen, zoals Investeringsbudget en Stedelijke vernieuwing (2007) en Zorgbreed beleid: Opleidingen, beroepenstructuur en arbeidsmarkt (2016), waarin uitsluitend gebruik wordt gemaakt van bestaand evaluatiemateriaal, ondanks dat dit resulteert in een gebrekkig inzicht in de effectiviteit van het beleid. Er zijn ook beleidsdoorlichtingen waarbij het gebrekkige inzicht juist aanleiding is voor aanvullend onderzoek, bijvoorbeeld omdat de beschikbare evaluaties onvoldoende de effecten van de ingezette instrumenten lieten zien, zoals in de beleidsdoorlichting Nederlandse inzet voor private sector ontwikkeling (2014). Aanvullend onderzoek zijn meestal interviews met bij het beleid betrokken partijen, ter aanvulling op het beschikbare onderzoeksmateriaal. Volgens een aantal onafhankelijk deskundigen, zoals bij de beleidsdoorlichting Goed functionerende markten (2015), is per definitie aanvullend onderzoek nodig en moet nieuw beleid niet louter worden gebaseerd op syntheseonderzoek.

• 4 Wat kan op basis hiervan worden gezegd over de toegevoegde waarde van de kwaliteitsborging door de onafhankelijk deskundige voor het inzicht dat beleidsdoorlichtingen moeten opleveren?

  Op basis van voorgaande bevindingen over het eerste deel van de tweeledige hoofdvraag naar de invulling van de rol van de onafhankelijk deskundige, kunnen drie dingen worden gezegd voor het tweede deel van de hoofdvraag:

  1. De invoering van de vier kwaliteitscriteria en de onafhankelijke beoordeling is niet gepaard gegaan met meer inzicht in doelmatigheid en doeltreffendheid

  De invoering van de vier kwaliteitscriteria en de onafhankelijke beoordeling in de RPE (2015) is niet gepaard gegaan met wezenlijk meer inzicht in de doelmatigheid en doeltreffendheid van het beleid in de beleidsdoorlichtingen. Daar is meer voor nodig, zoals betere evaluatieonderzoeken lopende het beleid en een manier om het meten van de doelmatigheid en doeltreffendheid makkelijker te maken. Ook de RPE (2015) zélf is debet aan het gebrekkige inzicht, zoals hierna wordt toegelicht.

  2. De huidige RPE (2015) is geen werkbaar instrument om complex beleid goed door te lichten

  Zoals een aantal onafhankelijk deskundigen al constateerden, biedt de huidige RPE (2015) onvoldoende mogelijkheden om complex beleid goed door te lichten. De RPE (2015) is te veel gebaseerd op ‘oud denken’ dat niet meer past bij de karakteristieken van complexe maatschappelijke vraagstukken. ‘Oud denken’ is het idee dat complex beleid inzichtelijk te maken is met gekwantificeerde indicatoren, doelen en effecten; dat kwantitatieve informatie prevaleert boven kwalitatieve; en dat een reconstructie van de beleidstheorie en het in kaart brengen van causaliteiten met een (quasi-)experimentele opzet, inzicht gaan geven in de effecten van het beleid (Houppermans, 2011). Ook in de praktijk leeft dat ‘oude denken’, getuige de vele opmerkingen in de 164 onderzochte beleidsdoorlichtingen over het ontbreken van kwantitatieve aspecten als de oorzaak voor gebrekkig inzicht dat de beleidsdoorlichting opleverde; over kwantificeren als noodzakelijkheid om beleid te evalueren; en over dat kwalitatieve informatie louter een subjectieve aanvulling op objectieve informatie is.
  Maatschappelijke vraagstukken zijn bijzonder complex en zo ook het beleid. Beleid is vaak langlopend, ondergaat vele wijzigingen, is verweven met andere beleidsterreinen, wordt beïnvloed door externe factoren, is vaak niet ontstaan vanuit een vooraf geconstrueerde beleidstheorie, et cetera. Beleid, met name van complexe sociaal-maatschappelijke vraagstukken, is niet makkelijk te vangen in gekwantificeerde indicatoren, doelen en effecten en in causaliteiten. Ook ontbreekt het vaak aan kwantitatieve informatie over de werking van het beleid. Een reconstructie van een initiële beleidstheorie is meestal niet eens mogelijk omdat er vooraf geen duidelijk plan lag. Bovendien is dat vrij zinloos wanneer het beleid vele wijzigingen heeft ondergaan en het al lang niet meer gaat over waar het ooit mee begon.
  Dit ‘oude denken’ past niet meer bij de complexiteit van het huidige beleid. De RPE (2015) dwingt om vragen te beantwoorden over het beleid. Dat is niet alleen een onmogelijke opgave bij gebrek aan onderliggend evaluatiemateriaal, maar resulteert bovendien in antwoorden die weinig inzicht geven in hoe het werkelijk zit met het beleid. Of het beleid volgens alle betrokkenen daadwerkelijk de gewenste effecten sorteert in de praktijk, wat de maatschappelijke waarde is van het beleid en de doelstellingen, en of het beleid voldoende robuust is om in te spelen op veranderende omstandigheden, zijn essentiële vragen die nu buiten schot blijven. Zo constateren ook onafhankelijk deskundigen bij de beleidsdoorlichtingen.
  Het in kaart brengen van causaliteiten van het beleid via een (quasi-)experimentele opzet prevaleert. Want alleen wanneer dat niet mogelijk is, kan eventueel met behulp van andere methoden het beleid aannemelijk worden gemaakt, zo staat in de huidige RPE (2015: 4). Die andere methoden zijn nu nog second best, terwijl ze gezien de complexiteit van beleid een gedeelde first best zouden moeten zijn. De RPE (2015) en het instrument beleidsdoorlichting bieden wellicht een prima kader voor de doorlichting van eenvoudig beleid, maar voor het merendeel van de beleidsterreinen is het geen werkbaar instrument.

  3. Methodologische kwaliteit is voorwaardenscheppend voor betere beleidsdoorlichtingen

  De verkennende analyse van de 164 beleidsdoorlichtingen levert geen harde bewijzen dat de invoering van de vier kwaliteitscriteria en de onafhankelijke beoordeling daarop hebben geresulteerd in betere beleidsdoorlichtingen en dat dit heeft bijgedragen aan meer inzicht in de doelmatigheid en doeltreffendheid van het beleid. Dit komt omdat de methodologische kwaliteit van de beleidsdoorlichtingen zelf niet is onderzocht, maar uitsluitend in hoeverre de onafhankelijk deskundige invulling heeft gekregen conform de RPE (2006, 2015). Ook was niet bekend wat de methodologische kwaliteit voorafgaand aan die invoering van de RPE (2015) was.
  Wel blijkt uit de 164 onderzochte beleidsdoorlichtingen dat de onafhankelijk deskundigen niet onverdeeld enthousiast waren over de kwaliteit van de beleidsdoorlichtingen die zijn afgerond in de periode 2015 tot en met 2017, getuige de kritiek die zij hebben geuit. Dat gematigd enthousiasme geldt ook voor de beleidsdoorlichtingen die zijn uitgevoerd in de periode 2006 tot en met 2014. Hoewel voor de beleidsdoorlichtingen tot en met 2014 de vier kwaliteitscriteria niet golden, maakten methodologische criteria wel vaak onderdeel uit van de beoordeling door de onafhankelijk deskundige. Hieruit zou kunnen worden afgeleid dat de kwaliteit van de beleidsdoorlichtingen zowel voorafgaand aan als na de invoering van de vier kwaliteitscriteria in 2015 in elk geval niet altijd uitmuntend was en daarin ook geen duidelijk merkbare verbetering is opgetreden.
  Bovendien is de aanwezigheid van een kwaliteitsoordeel geen garantie voor succes, maar de afwezigheid ervan ook zeker geen recipe for misery. Dat blijkt bijvoorbeeld uit de beleidsdoorlichtingen van het ministerie van Buitenlandse Zaken. Kenmerkend daaraan is dat deze een zeer gedegen toelichting bevatten op de werkwijze van de intern onafhankelijk deskundige (IOB) die de beleidsdoorlichting uitvoert en dat voor elke evaluatie een referentiegroep wordt samengesteld ter borging van de kwaliteit. De beleidsdoorlichtingen worden voorzien van terms of reference met een grondige methodologische verantwoording van de beleidsdoorlichting. Echter, het ontbreekt aan een onafhankelijk kwaliteitsoordeel op de vier criteria conform de richtlijnen van de RPE (2015).
  De verkennende analyse van de 164 beleidsdoorlichtingen maakt duidelijk dat de methodologische kwaliteit van een beleidsdoorlichting en de onafhankelijke beoordeling daarop voorwaardenscheppend zijn voor het inzicht in de doelmatigheid en doeltreffendheid van het beleid. Het is mogelijk, maar zeker niet gegarandeerd dat wanneer de kwaliteit van een beleidsdoorlichting optimaal is, inzicht in de werking van het beleid te verwachten is.
  Bovendien maakt het voorschrijven van de vier kwaliteitscriteria een uniforme en transparante beoordeling van de beleidsdoorlichtingen op methodologische aspecten mogelijk. Wanneer aan die beoordeling is voldaan, is de kwaliteit van de beleidsdoorlichting geborgd en zal een gebrekkig inzicht in de doelmatigheid en doeltreffendheid in elk geval niet daaraan liggen. Bovendien maakt een uniform beoordelingskader het mogelijk om de uitgevoerde beleidsdoorlichtingen onderling met elkaar te vergelijken en over een aantal jaren gefundeerd in kaart te brengen of de kwaliteit van de beleidsdoorlichtingen daadwerkelijk is verbeterd. Van belang is daarom dat élke beleidsdoorlichting door een onafhankelijk deskundige wordt beoordeeld op alle vier de kwaliteitscriteria en dat daarbij een verantwoording of toelichting van die beoordeling wordt gegeven. Tot nu toe is dat het geval in 11 van de 47 afgeronde beleidsdoorlichtingen in de periode 2015 tot en met 2017. De huidige RPE (2015) biedt nu nog ruimte om hierop niet of ten dele te beoordelen. De formulering dat de onafhankelijk deskundige ‘doorgaans zal letten op’ de genoemde kwaliteitscriteria klinkt niet als een harde eis (RPE, 2015: 5). Vanzelfsprekend dient de onafhankelijk deskundige zodanig methodologisch onderlegd te zijn, dat hij in staat is om de kwaliteitsbeoordeling uit te voeren. Tot nu toe is de onafhankelijk deskundige vaak een inhoudelijk deskundige maar niet per definitie ook een methodologisch expert.

• 5 Conclusies en aanbevelingen

  Conclusies

  In deze conclusies wordt het antwoord gegeven op de tweeledige hoofdvraag:

  1. In hoeverre en op welke wijze wordt conform de RPE (2006, 2015) invulling gegeven aan de rol van de onafhankelijk deskundige bij beleidsdoorlichtingen in de periode 2006 tot en met 2017?

  Niet alle beleidsdoorlichtingen voldoen aan de voorschriften van de RPE (2006, 2015). De verantwoording over de betrokkenheid van de onafhankelijk deskundige is niet altijd aanwezig of niet duidelijk. Niet elke onafhankelijk deskundige is vroegtijdig betrokken of maakt concrete afspraken met de opdrachtgever. Er is ten opzichte van de situatie onder het regiem van de oude RPE (2006) nauwelijks een verandering opgetreden in die vroegtijdige betrokkenheid. Wel wordt vaker gerapporteerd dat concrete afspraken zijn gemaakt. Uit geen van de 164 beleidsdoorlichtingen blijkt wat de inhoudelijke inbreng van de onafhankelijk deskundige is.
  Een kwart van de afgeronde beleidsdoorlichtingen tussen 2015 en 2017 is door de onafhankelijk deskundige beoordeeld op alle vier de kwaliteitscriteria. Ook onder het regiem van de oude RPE (2006) werden beleidsdoorlichtingen beoordeeld op methodologische criteria. De onafhankelijk deskundige is meestal een inhoudelijk expert. De invoering van de methodologische kwaliteitscriteria in de RPE (2015) heeft niet geleid tot een wezenlijke toename van methodologisch experts.
  De rol van onafhankelijk deskundige wordt op verschillende manieren ingevuld, door diverse partijen in diverse samenstellingen. Het vaakst wordt de beleidsdoorlichting uitbesteed aan een externe commerciële organisatie onder begeleiding van en toetsing door een klankbordgroep of begeleidingscommissie met een brede vertegenwoordiging van extern deskundigen, vertegenwoordigers van veldpartijen en interne medewerkers. Waarom een opdrachtgever kiest voor specifiek die onafhankelijk deskundige, is niet bekend.

  2. Wat kan op basis hiervan worden gezegd over de toegevoegde waarde van de kwaliteitsborging door de onafhankelijk deskundige voor het inzicht dat beleidsdoorlichtingen moeten opleveren?

  De invoering van de vier kwaliteitscriteria en de onafhankelijke beoordeling is niet gepaard gegaan met meer inzicht in de doelmatigheid en doeltreffendheid van het beleid in de beleidsdoorlichtingen. Dat inzicht blijft zeer beperkt. Oorzaken zijn gelegen in gebrekkige onderliggende informatie uit onder andere evaluatieonderzoeken alsook de complexiteit van het meten. Ook de RPE (2015) zelf is hieraan debet: het is geen werkbaar instrument om complex beleid goed door te lichten.
  Er zijn geen harde bewijzen dat de methodologische kwaliteit van de beleidsdoorlichtingen wezenlijk is verbeterd met de invoering van de huidige RPE (2015). Onafhankelijk deskundigen zijn zowel voor als na 2015 niet onverdeeld enthousiast over die kwaliteit. De methodologische kwaliteit van een beleidsdoorlichting en de onafhankelijke beoordeling zijn voorwaardenscheppend voor inzicht in de doelmatigheid en doeltreffendheid van het beleid. Het is mogelijk, maar zeker niet gegarandeerd dat wanneer de kwaliteit van een beleidsdoorlichting optimaal is, inzicht in de werking van het beleid te verwachten is. Voorwaarde is wel dat de onafhankelijk deskundige een methodologisch expert is en elke beleidsdoorlichting op alle vier de kwaliteitscriteria wordt beoordeeld.

  Aanbevelingen

  Allereerst drie praktische aanbevelingen:
  

  1. Zorg voor een goede evaluatieprogrammering om te vroeg uitgevoerde beleidsdoorlichtingen te voorkomen.

  2. Introduceer een format voor de onafhankelijk deskundige, zodat elke beleidsdoorlichting dezelfde kwaliteitsbeoordeling krijgt en later de kwaliteit van alle beleidsdoorlichtingen in kaart kan worden gebracht.

  3. Introduceer een databank van methodologisch experts en inhoudelijke deskundigen, zodat de meest geschikte onafhankelijk deskundige kan worden gevonden en niet altijd voor dezelfde partij wordt gekozen. Dan wordt de keuze voor een onafhankelijk deskundige transparanter en kunnen onafhankelijk deskundigen elkaar vinden voor het uitwisselen van kennis en ervaring.

  Dan twee meer fundamentele aanbevelingen:

  1. Verruim de RPE zodat het een instrument wordt dat stimuleert om via diverse wegen en diverse soorten informatie te komen tot een gefundeerde onderbouwing van de effecten van het beleid. Richtinggevend in plaats van dwingend.

  Een beleidsdoorlichting dient te gaan over het inzichtelijk maken van de werking en effecten van het beleid op basis van een veelheid aan bronnen en informatie van diverse aard en afkomst. Waarbij bepaalde bronnen niet al bij voorbaat prevaleren; kwalitatieve informatie van even groot belang wordt geacht als kwantitatieve informatie; en diverse evaluatie- en onderzoeksmethodieken gecombineerd worden toegepast. Elke beleidsdoorlichting dient te starten met een vooronderzoek om te zien waar aanvullend onderzoek nodig is. Louter syntheseonderzoek dient dus niet het uitgangspunt te zijn.
  Ofwel: vertel het verhaal van het beleid en onderbouw dat goed. Dat levert meer inzicht op dan het afwerken van een vragenlijst die resulteert in weinigzeggende antwoorden. De complexiteit van beleid vraagt om een ‘modernere’ manier van doorlichten met als uitgangspunten aannemelijkheid en plausibiliteit, intersubjectieve objectiviteit, en bron- en methodetriangulatie. ‘Meten’ van beleid krijgt dan een andere betekenis.

  2. Benut de onafhankelijk deskundige eerder en beter

  Wanneer het doorlichten plaatsvindt onder begeleiding van een brede vertegenwoordiging van betrokken partijen, zoals nu vaak al gebeurt, met toetsing door de onafhankelijk deskundige, is de kwaliteit ervan geborgd. Dit draagt ertoe bij dat kennis en ervaring uit vele geledingen van de samenleving worden betrokken bij het beleid en zodoende een tunnelvisie kan worden voorkomen.
  Essentieel is dat de onafhankelijk deskundige een methodologisch expert is, met name wanneer een grote diversiteit aan bronnen, informatie en methodieken wordt toegepast. De inhoudelijke deskundigheid is al geborgd in de begeleidingsgroep. Die methodologische expertise is noodzakelijk omdat het niet de bedoeling is dat te makkelijk, te snel, of wanneer het doorlichten een te moeilijke exercitie blijkt, op basis van vage signalen wordt volstaan met de opmerking dat de werking van het beleid aannemelijk is of dat het meten van doeltreffendheid en doelmatigheid niet mogelijk is. Ook aannemelijkheid kan en dient stevig gefundeerd te worden onderbouwd. Dat vraagt om creatieve onderzoeksvaardigheden.
  De methodologisch expert dient zo vroeg mogelijk betrokken te zijn bij de beleidsdoorlichting om de kwaliteit al bij aanvang te borgen en tijdig te kunnen bijsturen. De eventuele spagaat tussen onafhankelijke beoordeling achteraf en betrokkenheid vooraf kan eenvoudig worden getackeld door de onafhankelijk deskundige op drie vaste momenten in het doorlichtingsproces een oordeel te laten uitbrengen: over het plan van aanpak, het eerste concept en het eindrapport. In deze drie oordelen wordt ingegaan op de vier kwaliteitscriteria en ze bevatten een toelichting op de betrokkenheid en inbreng van de onafhankelijk deskundige, zoals nu al is voorgeschreven in de RPE (2015). Bovendien wordt zo beter inzichtelijk in hoeverre de onderzoekers hebben geleerd van de tussentijdse beoordeling.

Literatuur

• Algemene Rekenkamer. (2015). Verantwoordingsonderzoek 2014. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Houppermans, M.K. (2011). Twee kanten van de medaille: Een onderzoek naar de kwaliteit van de beleidsvoorbereiding. Delft: Eburon.

• Houppermans, M.K. (1 mei 2018). Verkennende analyse naar de onafhankelijk deskundige bij beleidsdoorlichtingen in de periode 2006-2017. Op 1 mei 2018 aangeboden aan de Minister van Financiën en de directeur-generaal Rijksbegroting; de Vaste Kamercommissie voor Financiën; de Algemene Rekenkamer; het SG-Beraad; de Studiegroep Begrotingsruimte en de voorzitter van Vide. De samenvatting is gepubliceerd op: www.meykenhouppermans.nl. Het volledige rapport is op aanvraag digitaal beschikbaar bij de auteur.

• Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. (2012). Beleidsdoorlichting burgerparticipatie 2007-2011. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. (2014). Beleidsdoorlichting Integriteit(sbeleid). In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. (2014). Beleidsdoorlichting Interbestuurlijke verhoudingen. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. (2014). Beleidsdoorlichting Programma Bevolkingsdaling. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2016). Beleidsdoorlichting Bevorderen autonomie Koninkrijkspartners. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Buitenlandse Zaken (2014). Beleidsdoorlichting Nederlandse inzet voor private sector ontwikkeling 2005-2012. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Buitenlandse Zaken. (2015). Beleidsdoorlichting Publiekdiplomatie. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Defensie. (2013). Beleidsdoorlichting Mensenhandel, mensensmokkel. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Economische Zaken. (2015). Beleidsdoorlichting Goed functionerende economie en markten. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Financiën. (2007). Beleidsdoorlichting Agentschap. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Financiën (2010). Beleidsdoorlichting Belastinguitgaven. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Financiën. (2014). Beleidsdoorlichting Exportkredietgarantie. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Financiën. (2015). Beleidsdoorlichting Dienstverlening Belastingdienst. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Financiën (1 juli 2016). Beleidsdoorlichting Begrotingsbeleid (bijlage 15e rapport Studiegroep Begrotingsruimte). In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Financiën. (2016). Beleidsdoorlichting BTW compensatiefonds. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Financiën. (2016). Beleidsdoorlichting Financieringsactiviteiten publiek- private sector [PPS]: publiek private investeringen. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Financiën. (2017). Beleidsdoorlichting Financiële markten. In maart 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2017.

• Ministerie van Infrastructuur en Milieu. (2012). Beleidsdoorlichting Kwaliteit leefomgeving hoofdwegen en spoorwegen. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Infrastructuur en Milieu. (2012). Beleidsdoorlichting Artikel 35.02. Mainport Rotterdam en andere havens. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Infrastructuur en Milieu (2013). Beleidsdoorlichting Externe veiligheid inrichtingen. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Infrastructuur en Milieu. (2014). Beleidsdoorlichting Ruimtelijke ontwikkeling artikel 13. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Infrastructuur en Milieu. (2016). Beleidsdoorlichting Scheepvaart en havens. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Infrastructuur en Milieu. (2017). Beleidsdoorlichting Wegen en verkeersveiligheid. In maart 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2017.

• Ministerie van Landbouw, Natuur en Voedselkwaliteit. (2010). Beleidsdoorlichting Duurzaam ondernemen. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Onderwijs, Cultuur en Wetenschap. (2011). Beleidsdoorlichting Cultuur. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Onderwijs, Cultuur en Wetenschap. (2015). Beleidsdoorlichting Cultuur. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Onderwijs, Cultuur en Wetenschap. (2015). Beleidsdoorlichting Prestaties van leerlingen en studenten omhoog. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Sociale Zaken en Werkgelegenheid. (2007). Beleidsdoorlichting Wet werk en bijstand. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Sociale Zaken en Werkgelegenheid. (2008). Beleidsdoorlichting Re-integratie. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Sociale Zaken en Werkgelegenheid. (2013). Beleidsdoorlichting ANW. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Sociale Zaken en Werkgelegenheid (2016). Beleidsdoorlichting Integratie en maatschappelijke samenhang. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Sociale Zaken en Werkgelegenheid. (2016). Beleidsdoorlichting Werkloosheid. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Veiligheid en Justitie. (2014). Beleidsdoorlichting Slachtofferzorg. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Veiligheid en Justitie. (2015). Beleidsdoorlichting Adequate toegang tot het rechtsbestel (Rechtsbijstand). In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Verkeer en Waterstaat. (2015). Beleidsdoorlichting Waterkwaliteit. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Volksgezondheid, Welzijn en Sport. (2010). Beleidsdoorlichting Jeugdstelsel. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Volksgezondheid, Welzijn en Sport. (2013). Beleidsdoorlichting Letselpreventie. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Ministerie van Volksgezondheid, Welzijn en Sport. (2015). Beleidsdoorlichting Versterking van de positie van de cliënt. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Ministerie van Volksgezondheid, Welzijn en Sport. (2016). Beleidsdoorlichting Zorgbreed beleid: Opleidingen, beroepenstructuur en arbeidsmarkt. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016.

• Ministerie van Volksgezondheid, Welzijn en Sport. (2017). Beleidsdoorlichting Sport en bewegen. In maart 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2017.

• Ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieu. (2007). Beleidsdoorlichting Investeringsbudget en Stedelijke vernieuwing. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Minister voor Wonen en Rijksdienst (2014). Beleidsdoorlichting Kwaliteit Rijksdienst. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

• Minister van Wonen en Rijksdienst. (2015). Beleidsdoorlichting Woningmarkt. In februari 2018 ontleend aan: http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015.

• Regeerakkoord Vertrouwen in de toekomst. Regeerakkoord 2017-2021. VVD, CDA, D66 en Christenunie (10 oktober 2017).

• Regeling van de Minister van Financiën van 18 april 2006 inzake het periodieke evaluatieonderzoek en de beleidsinformatie van de rijksoverheid (Regeling periodiek evaluatieonderzoek en beleidsinformatie 2006). Staatscourant 28 april 2006, nr. 83.

• Regeling van de Minister van Financiën van 15 augustus 2014 houdende regels voor periodiek evaluatieonderzoek (Regeling Periodiek Evaluatieonderzoek). Staatscourant 25 september 2014, nr. 27142.

Noten

• 1 In het onderzoeksrapport van de verkennende analyse waarop dit essay is gebaseerd, wordt vermeld ‘RPE (2015)’ omdat deze regeling in werking is getreden op 1 januari 2015. In de bronvermelding gaat het om de Regeling van 15 augustus 2014. Omwille van consistentie is dezelfde schrijfwijze aangehouden als in het onderzoeksrapport.

• 2 De vier methodologische kwaliteitscriteria zijn: ‘1) Het onderzoek maakt duidelijk welk beleid wordt onderzocht en wat de doelstellingen van dat beleid zijn; 2) het onderzoek beoogt de vraag te beantwoorden in hoeverre het beleid, alsmede de daarmee samenhangende uitgaven, doeltreffend of doelmatig is; 3) de conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen; 4) de in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar, het rapport geeft inzicht in de gebruikte evaluatiemethode en in de mogelijkheden en onmogelijkheden om de doeltreffendheid en/of de doelmatigheid van het betreffende beleid vast te stellen.’ (RPE, 2015: 1)

• 3 Zie http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief; http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2015; http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2016; http://www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/2017 (geraadpleegd medio februari tot medio april 2018).

• 4 Idem.