Ex ante onderzoek in beeld: over aard, aantal en gebruik van ex ante onderzoek bij beleidsvoorbereiding

• Inleiding

  Veel evaluatieonderzoek is ex post, gericht op de effectiviteit van uiteenlopende beleidsvormen en -onderwerpen. Ook publicaties over sociaalwetenschappelijk beleidsonderzoek hebben veelal betrekking op ex-post evaluaties: er zijn inmiddels vele meta-analyses en syntheses van de toenemende aantallen ex post evaluaties verschenen. Bijvoorbeeld de meta-analyses van uiteenlopende (quasi-)experimentele studies onder de koepel van de Campbell Collaboration ( www.campbellcollaboration.org) met een digitale bibliotheek van meta-publicaties over de effectiviteit van interventies op het vlak van onderwijs, criminaliteit en justitie, internationaal ontwikkelingsbeleid en sociale voorzieningen. Recente Nederlandse metapublicaties van ex post onderzoek zijn bijvoorbeeld die van Wartna et al. (2013) over effecten van strafrechtelijke interventies op recidive, en de inventarisatie door de Algemene Rekenkamer (2013) van effectiviteitsstudies.
  De laatste jaren wordt echter ook gepubliceerd over mogelijkheden en verschijningsvormen van exante onderzoek. Dit onderzoek vindt in principe voorafgaand aan de invoering van beleid plaats en kan gaan over bijvoorbeeld de potentiële effectiviteit, neveneffecten of de uitvoerbaarheid van beleidsvoornemens. Voorbeelden van beschouwingen hierover zijn de bundel van Verschuuren (2009), het artikel van Van der Knaap et al. (2011) en het boek van Hanemaayer (2012). Ook is intussen een klein aantal metastudies van ex ante onderzoek bekend, zoals van maatschappelijke kosten-batenanalyses (MKBA’s) in het infrastructurele en ruimtelijke domein (o.a. Beukers et al., 2012; Rienstra, 2008; Visser & Korteweg, 2008; CPB, 2008) en in de zorg (Hamberg-Van Reenen et al., 2009). Schrijvershof et al. (2013) inventariseerden ex ante uitvoeringsanalyses (2010-2012) in de justitiële keten. ¹x Eerder, in 2004, werd door IOFEZ een kleine meta-evaluatie van ex ante studies verricht in het kader van de evaluatie van de operatie Van Beleidsbegroting tot Beleidsverantwoording (VBTB), waarin de conclusie luidde dat ex ante onderzoek (een stuk) vaker en tevens beter – o.a. meer gericht op effectiviteit – zou kunnen gebeuren.
  In beleidskringen bestaat eveneens aandacht voor ex ante evaluatie, getuige bijvoorbeeld het kabinetsbesluit om het Integraal Afwegingskader voor beleid en regelgeving (IAK) structureel toe te passen bij de voorbereiding en verantwoording van beleid en regelgeving (Tweede Kamer, vergaderjaar 2010-2011, 29515, nr. 330). Het IAK is de Nederlandse variant van de uitgebreidere Regulatory Impact Assessment (RIA), vereist voor Europese Commissievoorstellen. ²x Het IAK verplicht tot beantwoording van zeven vragen, waaronder die naar de doelmatigheid van de overwogen interventie(s) en de gevolgen ervan voor burgers, bedrijven, overheid en milieu. In het IAK zijn voorts vele bestaande verplichte toetsen, zoals de bedrijfs- en milieu-effectentoets en de toets op administratieve lasten samen- en in aantal teruggebracht. Het besef is kennelijk doorgedrongen dat beleidsonderzoek niet alleen van belang is bij beoordeling achteraf, maar dat het ook een rol kan spelen bij de totstandkoming van beleid en wetgeving. Door het van tevoren afwegen van beleidsalternatieven kunnen bijvoorbeeld vragen beantwoord worden over te verwachten doelbereiking en daarmee gepaard gaande kosten. Antwoorden op dergelijke vragen kunnen de kans doen toenemen dat gestelde doelen behaald worden (Klein Haarhuis, 2010).
  In hoeverre is deze toegenomen aandacht voor ex ante studies terug te zien in de praktijk van het beleidsonderzoek? Hoe vaak zetten de verschillende departementen ex ante onderzoeken in ter ondersteuning van hun beleid en wetgeving in wording? En zo ja, hoe worden de onderzoeksresultaten daarbij werkelijk gebruikt?
  Om zicht te krijgen op aard, frequentie en gebruik van voor (rijks)beleid uitgevoerd ex ante onderzoek, verrichtte het WODC een metastudie over dit onderzoek in de periode 2005-2011 (Klein Haarhuis, 2014). ³x Dit gebeurde op verzoek van de Directie Wetgeving en Juridische Zaken bij het ministerie van Veiligheid en Justitie. Het onderzoeksrapport bevat ook informatie over de voorspellingskracht van ex ante analyses (vgl. Klein Haarhuis & Smit, in druk). In deze bijdrage presenteren we de belangrijkste resultaten.

• Begripsafbakening, onderzoeksvragen en aanpak van het onderzoek

  Onder ex ante analyses verstaan we toekomstgericht onderzoek dat door ministeries, of op aanvraag van ministeries door rijks- of departementale onderzoeksinstituten ⁴x Zoals het CPB, SCP, WODC of Kennisinstituut voor Mobiliteitsbeleid (KiM). is uitgevoerd ten behoeve van nationaal beleid en wet- en regelgeving, waarin één of meerdere beleidsopties worden onderzocht op mogelijke consequenties. De volgende twee vragen staan in deze bijdrage centraal:

  • Hoeveel ex ante studies zijn er te vinden, en hoe vallen deze te typeren in termen van achtergrond, opdrachtgever en aanpak?

  • Wat valt er te zeggen over het gebruik van ex ante studies – in relatie tot het voorgenomen beleid?

  Om de eerste vraag te beantwoorden zijn zo veel mogelijk openbare ex ante analyses verzameld over de periode 2005 tot en met 2011. Dit gebeurde door met zo’n twintig zoektermen (bijv. verkenning, prognose, impact assessment, ex ante) en combinaties daarvan breed te zoeken in rijksbegrotingen en jaarverslagen, op websites van ministeries, in Google en op websites van (semi-)publieke en particuliere onderzoeksinstellingen. Het resulteerde in een bestand van 306 studies. ⁵x Dit aantal ligt onder het feitelijke aantal ex ante analyses dat voldoet aan onze definitie. Een honderdtal ex ante studies kon niet in ons gegevensbestand worden betrokken. Hieronder vallen secundaire verwijzingen in de gevonden ex ante rapporten naar verwante (deel)rapportages die vanwege capaciteitsrestricties buiten beschouwing zijn gelaten en een vijftigtal studies naar (maatschappelijke) kosten en baten of milieuconsequenties van infrastructurele projecten – meestal in opdracht van regiodirecties van Rijkswaterstaat. Deze ex ante studies zijn niet minder relevant in het licht van de beleids- of projectvoorbereiding. De resultaten zijn voor aanvullingen en opmerkingen voorgelegd aan informanten op het vlak van onderzoek en evaluatie binnen de beleidsdepartementen. Bij de ministeries van SZW en OCenW zou volgens de contactpersonen een relatief groot deel van de ex ante analyses niet worden gepubliceerd, in tegenstelling tot de situatie bij IenM, waar de meeste studies wel openbaar worden. Onze metastudie is dus waarschijnlijk niet vrij van publication bias omdat meer uitgewerkte of ‘bevestigende’ studies mogelijk vaker worden gepubliceerd dan andere (zie o.a. Florax, 2001). Binnen de onderzochte periode zijn studies uit 2005 en 2006 ondervertegenwoordigd, van studies uit 2011 zijn er juist veel.
  Voor de beantwoording van de tweede onderzoeksvraag is verklarend casusonderzoek verricht rond vijf ex ante studies over mogelijke wetgeving. We beschrijven het gebruik van de resultaten uit de ex ante studies in elk van de vijf casus. Dan volgt een analyse waarin we nagaan in hoeverre het gevonden gebruik verklaard kan worden, met inbreng van inzichten uit literatuur over gebruik van (evaluatie)onderzoek.

• Ex ante onderzoek naar aard en aantal

  Achtergrondkenmerken

  Het doen of uitbesteden van ex ante onderzoek door ministeries vindt in de praktijk tegen verschillende achtergronden plaats. De ruim driehonderd studies blijken te verschillen in termen van hun aanleiding, het type beleid dat wordt onderzocht, de opdrachtgever, de uitvoerder en voorts in termen van timing en aanpak.
  Afgaand op de rapportteksten lopen de belangrijkste aanleidingen tot het doen van ex ante onderzoek uiteen van onderzoek ten behoeve van beleidsontwikkeling en besluitvorming (51%), beantwoording van een Kamervraag, -toezegging of -motie (12%) tot het willen ‘doorrekenen’ van potentiële effecten (15%) en het ondersteunen van de implementatie of uitvoering (9%). In 7% was sprake van een andere aanleiding, bijvoorbeeld een wettelijke verplichting; in de resterende 6% van een combinatie van genoemde aanleidingen. Deze aanleidingen hoeven elkaar niet uit te sluiten, onze indeling weerspiegelt wat in de rapporten staat vermeld.
  Een belangrijk deel (44%) van de ex ante analyses gaat over een beleidsprogramma. Een voorbeeld is het programma Anders Betalen voor Mobiliteit (‘kilometerprijs’), dat ten minste vijftien keer onderwerp is geweest van analyse op uiteenlopende onderdelen of aspecten. Ook talrijk zijn studies waarin een concreet instrument of programmaonderdeel centraal staat (29%), zoals convenanten in het energiebeleid. De overige studies betreffen onder andere concrete wetten of wetswijzigingen, organisaties of processen, projecten (bijv. in het infrastructurele domein) en stelselwijzigingen.

  De meeste binnen onze definitie passende ex ante analyses zijn verricht in opdracht van het voormalig ministerie van VenW, gevolgd door VWS en studies in interdepartementale opdracht. Van de departementen levert Financiën de kleinste bijdrage; niettemin is dit departement herhaaldelijk mede-opdrachtgever van interdepartementaal onderzoek geweest.
  43% van de ex ante analyses is uitgevoerd door particuliere onderzoeks- of adviesorganisaties. Wetenschappers – universitaire instituten, planbureaus en andere wetenschappelijke overheidsinstituten – zijn samen verantwoordelijk voor 26% van het ex ante onderzoek. In 14% van de gevallen is sprake van een combinatie van uitvoerders – meestal een tijdelijk samenwerkingsverband van een particulier adviesbureau met een universitair instituut of met een planbureau.

  Timing en bestudeerde alternatieven

  Een terugkerende kritiek in de literatuur is dat ex ante onderzoek vaak laat in het beleidsvormingsproces wordt ingezet, te laat om nog verschil te kunnen maken in het proces van besluitvorming (o.a. Hertin et al., 2007, 2009 met betrekking tot EU-regelgeving, en Beukers et al., 2011 met betrekking tot Nederlandse kosten-batenanalyses). Mede door die late inzet zou bovendien geen afweging gemaakt worden tussen meerdere beleidsalternatieven.
  Veruit de meeste studies die we onderzochten (bijna 85%), zijn verricht op het moment dat er nog sprake was van één of meerdere voornemens. Van dit grote aandeel rapporten lijkt de helft – louter afgaand op de teksten – ergens ‘halverwege’ plaats te hebben gehad: er is sprake van enige planvorming, maar de ontwikkelingsfase is nog niet ten einde; de andere helft is ongeveer gelijk verdeeld over een relatief vroege dan wel relatief late ontwikkelingsfase. De resterende 15% van de studies is verricht ná het nemen van een besluit, bijvoorbeeld het accorderen van een beleidsprogramma of wet(swijziging). Het rapport dient dan vaak de uitontwikkeling daarvan, of het beleid wordt nog eens doorgerekend op bepaalde gevolgen. Maar er is ook een beperkt aantal gevallen bekend waarin een ex ante studie (bijv. een MKBA) van beleidsalternatieven pas na de besluitvorming plaatsvond of werd opgeleverd.
  In de ontwikkelingsfase zijn gemiddeld 3,7 opties bestudeerd, tegen 1,8 opties na besluitvorming. In 15 van de 46 ex ante analyses die na de besluitvormingsfase zijn opgeleverd, is toch nog meer dan één optie bestudeerd. Het betreft dan vaak uitvoeringsmodaliteiten, opties voor implementatie van een al aangenomen EU-richtlijn of een nuloptie waarmee het beleidsalternatief alsnog wordt vergeleken. Er lijkt een verband te bestaan tussen de fase en het aantal opties: in de relatief vroege ontwikkelingsfase zijn ruim twee keer zoveel opties (4,3) bestudeerd dan kort voor de besluitvorming (2,0). ⁶x Tussen het begin en halverwege het ontwikkelingstraject vonden we geen verschillen (beide 4,3 opties).

  Typen ex ante onderzoek

  In onderstaand overzicht vatten we onze bevindingen samen wat betreft de aanpak van de ruim driehonderd studies. We onderscheiden zeven hoofdtypen van ex ante onderzoek.

  Tabel 1. Ex ante studies naar aard en aandeelVoor achtergronden en voorbeelden verwijzen we naar Klein Haarhuis (2014), hoofdstuk 3.

  Type studie	Omschrijving	Aan-deel
  (Maatschappelijke) Kosten-batenanalyses of (M)KBA	In een KBA worden één of meerdere project- of beleidsalternatieven met een nuloptie vergeleken op uiteenlopende, zoveel mogelijk in geld uitgedrukte kosten en baten (beoogde en onbeoogde). De conclusie is een positief dan wel negatief saldo, meestal binnen een bepaalde bandbreedte (onzekerheidsmarge). Deze bandbreedte is afhankelijk van verschillende toekomstscenario’s die in de analyse worden gehanteerd. In de maatschappelijke kosten-batenanalyse (MKBA), die binnen de KBA’s het vaakst voorkomt, zijn economische én maatschappelijke posten opgenomen. De meeste (M)KBA’s maken gebruik van ervaringsgegevens of kentallen. Het toepassingsbereik van de (M)KBA heeft zich verbreed naar het sociale domein en het aandeel MKBA’s nam in de loop van de onderzochte periode toe ten koste van reguliere KBA’s. Het verdisconteren van maatschappelijke kosten en baten is dus meer gemeengoed geworden. Voor meer informatie over MKBA’s zie Klein Haarhuis (2014) en Hanemaayer (2012) en de nieuwe algemene leidraad MKBA (Romijn & Renes, 2013).	16%
  Verkenningen	Studies naar beleidsopties met een voorlopig of quickscan-karakter – vaak omdat de planvorming zelf nog in een vroeg stadium is. Om die reden zijn ze onderscheiden van de andere studietypen. Vaak gaat het onderzoek over de ‘mogelijke meerwaarde’ van één of meer opties ten opzichte van de huidige situatie, of over condities die falen of slagen (kunnen) bepalen. Onzekerheidsmarges zijn groot. Literatuuronderzoek is het meest gebruikte middel; vaak is sprake van een landenvergelijkend onderzoek van ervaringen/ best practices.	16%
  Analyses van specifieke gevolgen	Op specifieke typen gevolgen gericht, zoals milieugevolgen, juridische gevolgen of consequenties voor de administratieve lasten van bedrijven of overheden. Het betreft geen effectiviteitsstudies. Voor dit type studie is veel gebruikgemaakt van secundair materiaal (literatuur, kentallen) en al dan niet voor het studiedoel aangepaste kwantitatieve modellen.In rond de helft van de studies staan meerdere (meestal twee) soorten gevolgen centraal.	14%
  Ex ante effectiviteitsevaluaties	De potentiële effectiviteit – het kunnen bereiken van gestelde doelen staat centraal. Een voorbeeld betreft de analyse met als vraag of met de omslag van natuurbeleid door LNV de beoogde ecologische effecten kunnen worden bereikt (De Koeijer et al., 2007). De designs van deze ex ante evaluaties laten aanzienlijk meer variatie zien dan die van KBA’s. De helft bevat kwantitatieve analyses aan de hand van ervaringscijfers. In de andere helft zijn kwalitatieve analyses verricht op basis van mixed methods, meestal desk study en interviews maar ook observatie en praktijkproeven komen voor.	13%
  Uitvoeringsanalyses	De gevolgen voor de uitvoering of de uitvoerbaarheid zijn het onderwerp, bijvoorbeeld in organisatorisch, financieel of informatietechnologisch opzicht. Meestal verrichten de verantwoordelijke uitvoeringsorganisaties zelf de analyse. Aanpak – waaronder omvang en diepgang – en resultaten verschillen sterk tussen de opstellers: zo is stakeholder- of ketenpartneronderzoek bij ‘zorgmarktmeester’ NZA en bij de IND een terugkerend onderdeel.	11%
  Overig:	In een planevaluatie wordt de logica of het waarom achter een beleidsplan blootgelegd en getoetst, bijvoorbeeld aan de wetenschappelijke literatuur. Dit type studie is relatief vaak afkomstig van VenJ en komt soms afzonderlijk voor en soms als onderdeel van bijvoorbeeld een MKBA of van een evaluatie van de potentiële effectiviteit. Risicoanalyses komen vooral als onderdeel van uitvoeringsanalyses voor: welke zijn voor de uitvoering de meest waarschijnlijke dan wel meest ingrijpende gevolgen? In een kosteneffectiviteitsanalyse of KEA staat de relatieve vergelijking van alternatieven op kosten en de beoogde effecten centraal. De vraag is dan: wat is het meest efficiënte alternatief? In dit type onderzoek blijft anders dan in een (M)KBA de nuloptie achterwege en worden verwachte effecten niet in geld uitgedrukt.	4%
  Planevaluaties
  Risico-/knelpuntenanalyses
  Kosten-effectiviteitsanalyses (KEA)
  Combinatie	Een combinatie van (meestal) twee van voornoemde typen.	26%
  	In volgorde van vóórkomen:
  	Verkenning & onderzoek naar specifieke gevolgen
  	Uitvoeringsanalyse & onderzoek naar specifieke gevolgen Uitvoeringsanalyse & risicoanalyse
  	(M)KBA & verkenning

  Noot: In de volgende paragraaf over gebruik passeren vijf voorbeelden van bovenstaande ex ante studies de revue.

  De verdeling over de studietypen verschilt tussen beleidsdepartementen. Veruit de meeste (maatschappelijke) kosten-batenanalyses zijn verricht voor of door IenM (inclusief voorgangers VenW en VROM). Het vroegere LNV kent relatief veel ex ante effectiviteitsevaluaties. VWS heeft relatief veel uitvoeringsanalyses laten verrichten ⁷x Zo zijn 9 van de 39 uitvoeringsanalyses afkomstig van de Nederlandse Zorgautoriteit (NZA). en VenJ neemt de meeste planevaluaties voor zijn rekening. ⁸x Een aantal VenJ-planevaluaties is buiten beschouwing gebleven omdat deze in combinatie met een pilot (buiten definitie) zijn verricht.
  De studietypen verschillen ook afhankelijk van de aanleiding. Zo hebben de op effectiviteit gerichte ‘ex ante evaluaties’ vaker een politieke aanleiding – zoals een Kamervraag of motie – of meerdere aanleidingen, terwijl studies naar bijvoorbeeld juridische of milieuconsequenties en uitvoeringsanalyses relatief vaak het resultaat zijn van een verplichting. Kosten-batenanalyses worden vaak door particuliere bureaus uitgevoerd, en uitvoeringsanalyses – niet onverklaarbaar – juist vaker door uitvoeringsorganisaties zelf. Ten slotte komen uitvoerings- en risicoanalyses, ex ante evaluaties op einddoelen en planevaluaties vaker voor in geval van (voorgenomen) wetgeving en beleidsprogramma’s dan bij andere verschijningsvormen van beleid.
  Verder zijn de meeste opties bestudeerd in de KEA’s (7,3), (M)KBA’s en in de specifieke studies (resp. 4,7 en 4,0). In verkenningen zijn gemiddeld 3,5 opties onderzocht en in de ex ante effectiviteitsevaluaties 2,8. In de uitvoeringsanalyses komen gemiddeld 1,7 opties aan bod en in planevaluaties altijd maar één plan of voorstel. ⁹x Over de aanpak van ex ante studies geven we – gelet op het inventariserende karakter van ons onderzoek – geen kwaliteitsoordeel (voor een wat oudere checklist van kwaliteitscriteria, zie Kraan-Jetten et al., 1998).

• Gebruik van (ex ante) onderzoek

  Dat ex ante onderzoek wordt verricht, betekent nog niet dat de uitkomsten worden gebruikt door beleidsmakers of anderen. Er zijn verschillende typen gebruik van onderzoeksresultaten: direct of specifiek, indirect of conceptueel en strategisch of legitimerend. Met direct gebruik bedoelen we de rechtstreekse toepassing van onderzoeksresultaten in de beleids- of besluitvorming (Swanborn, 2007; Winter et al., 1990). Wij zien direct gebruik als een procesmatig begrip, waarin drie opeenvolgende aspecten kunnen worden onderscheiden: kennisname door degenen die deelnemen aan de besluitvorming; standpuntbeïnvloeding, ofwel het betrekken van bevindingen in de afweging door deze actoren – al dan niet in overeenstemming met de resultaten – en ten slotte doorwerking van de resultaten van ex ante onderzoek in een besluit over voorgenomen beleid.
  Omdat het gebruik van evaluatieonderzoek voor beleid niet per definitie een logisch, lineair en mechanisch proces is (o.a. Hertin et al., 2009; Rossi & Freeman, 1992; Vedung, 2008) ¹⁰x Voor mogelijke individuele en interpersoonlijke factoren die van invloed zijn op het gebruik van evaluatieonderzoek (ook buiten de publieke arena), zie Henry & Mark (2003). hebben we in deze meervoudige gevalsstudie ook oog voor conceptueel gebruik ten behoeve van het denkproces op langere termijn – eventueel ook met betrekking tot andere beleidsonderwerpen (o.a. Vedung, 2008) en strategisch gebruik: refereren aan onderzoek ter onderbouwing van al bestaande standpunten of om uitstel van beslissingen te bewerkstelligen (o.a. Swanborn, 2007; Vedung, 2008).
  In de evaluatieliteratuur worden onder meer de volgende vijf factoren van invloed geacht op het gebruik van onderzoek: de (politiek-bestuurlijke) besluitvormingscontext, de kwaliteit van het rapport, de timing van het onderzoek, de betrokkenheid van de aanvragers en andere belanghebbenden, en de toegankelijkheid en verspreiding van de resultaten. We lopen ze langs.

  (Politiek-bestuurlijke) besluitvormingscontext

  Het nemen van een besluit over beleid vereist een zekere mate van consensus tussen betrokken actoren (zoals Kamerleden, bewindslieden, ambtenaren en belangengroepen). Het belang dat relevante actoren aan het onderzochte issue hechten, bepaalt in combinatie met hun onderlinge machtsverhouding wat er gebeurt met de kennis die een onderzoek oplevert (Nash et al., 2006). Zo kunnen burgers en belangengroepen over het algemeen vooral invloed hebben in de fase van standpuntbeïnvloeding en niet in de doorwerking, waarin actoren met formele beslismacht bepalender zijn. In de literatuur wordt de besluitvormingscontext vaak van groot belang beschouwd voor gebruik. In een democratie worden onderzoeksbevindingen altijd onderworpen aan politieke beoordelingen (vgl. EPEC, 2005; Hertin et al., 2007). ¹¹x Hertin et al. hebben in kaart gebracht in hoeverre (verplichte) procedures voor ex ante analyse ( Regulatory Impact Analysis, RIA) in drie EU-lidstaten (Duitsland, Zweden en het Verenigd Koninkrijk) en op het niveau van de EU zijn gebruikt en hebben doorgewerkt in 38 concrete wetgevingsdossiers. Zij concluderen dat de procedures niet richtinggevend zijn geweest in het complexe proces van beleidsvorming.‘Generally, we found that while these assessments inform policy designs at the margins, it was the political context that dominated the structure and outcome of decision processes.’ Dit is zeker zo in het formele proces van de totstandkoming van wetgeving, waarbij de Eerste en Tweede Kamer en de Raad van State per definitie zijn betrokken (vgl. Veerman & Mulder, 2010). Een matig gebruik van onderzoeksresultaten in het wetgevingsproces (o.a. EPEC, 2005; Veerman, 2007) wordt dan ook vaak toegeschreven aan factoren in de besluitvormingscontext (Veerman, 2002; Winter et al., 1990).

  Kwaliteit van het onderzoek

  In de (internationale) evaluatieliteratuur wordt ook de kwaliteit van evaluatieonderzoek relevant geacht voor gebruik (o.a. Chelimsky, 1995; Rossi & Freeman, 1992; EPEC, 2005; Swanborn, 2007). Maar empirische bevindingen op dit punt zijn niet eenduidig. Johnson et al. (2009) kwamen niet tot een duidelijke conclusie wat betreft de invloed van evaluatiekwaliteit op gebruik in hun metastudie; de rol van andere aspecten lijkt in elk geval groter, zoals communicatie van bevindingen en aanbevelingen. Onderzoek van Winter (1996) wijst op enige ontvankelijkheid van het Nederlandse wetgevingsproces voor (ex post) evaluatiekwaliteit in termen van betrouwbaarheid en validiteit, maar die invloed is wederom niet eenduidig. Waar eerder Winter et al. (1990) in drie van de vijf casus een positieve invloed vonden van onderzoekskwaliteit op standpuntbeïnvloeding, stelden anderen (o.a. Veerman, 2007) dat kwaliteit geen belangrijke rol speelt vanwege de impact van de besluitvormingscontext.

  Timing

  Wil een evaluatie kunnen doorwerken in beleids- en besluitvorming, dan dient de timing van de oplevering aan te sluiten op de beleidscyclus (Swanborn, 2007; Johnson et al., 2009). Doordat de beleidscyclus over het algemeen sneller ‘draait’ dan de onderzoekscyclus, zijn de onderzochte topics soms alweer van de politieke (of beleids)agenda verdwenen tegen de tijd dat het onderzoek is afgerond (Swanborn, 2007; Veerman, 2007; Van Gestel & Vranken, 2009).
  Veel ex ante wetsevaluaties worden volgens Hoppe (2009) laat in het wetgevingsproces uitgevoerd, soms te laat om nog verschil te kunnen maken. Het KiM kwam tot dezelfde conclusie ten aanzien van de invloed van kosten-batenanalyses op de vormgeving en besluitvorming van infrastructurele projecten (Rienstra, 2008).

  Betrokkenheid van aanvragers en andere belanghebbenden

  Het betrekken van aanvragers en andere ‘stakeholders’ bij een lopend evaluatieonderzoek vergroot volgens de literatuur de kansen op gebruik (o.a. Johnson et al., 2009; Swanborn, 2007; Veerman, 2007; Winter et al.,1990; Weiss & Bucuvalas, 1980). Potentiële gebruikers zijn dan beter ingevoerd in de aanpak en bevindingen en nemen minder gemakkelijk afstand van het rapport. Soms vindt de betrokkenheid van de opdrachtgever en andere mogelijke belanghebbenden plaats in de vorm van een begeleidingscommissie die de wetenschappelijke kwaliteit van het onderzoek bewaakt en fungeert als early warning-systeem in de afstemming tussen behoefte en product (Leeuw et al., 2007; Swanborn, 2007). Ambtenaren in begeleidingscommissies zijn volgens EPEC (2005) vaak de belangrijkste gebruikers van onderzoek in opdracht van de Europese Commissie. ¹²x Vgl. de oudere studie van Winter et al. (1990) over de kortere communicatielijnen als gevolg van het lidmaatschap van ambtenaren in de begeleidingscommissie.

  Toegankelijkheid en verspreiding

  Meerdere auteurs geven aan dat leesbaar geschreven rapporten en voor potentiële gebruikers begrijpelijke bevindingen meer kans hebben om te worden gebruikt. Worden er parallel aan het rapport ook andere kanalen gebruikt om de resultaten kenbaar te maken, dan bevordert dit de kennisname door relevante actoren verder, en zo ook eventuele standpuntbeïnvloeding en doorwerking (o.a. EPEC, 2005; Feinstein, 2002; Swanborn, 2007; Vedung, 2008; Rossi & Freeman, 1992; Winter et al., 1990). Johnson et al. (2009) vonden een positief verband tussen de helderheid en intensiteit waarmee resultaten werden gecommuniceerd en het gebruik ervan. Verdere verspreiding kan op tal van manieren zoals het uitbrengen van persberichten, presentaties aan belanghebbenden of op congressen, via wetenschappelijke artikelen en artikelen in dag- of weekbladen, deelname aan (online) discussiefora en via nieuwe media (bijv. wiki’s, blogs, crowdsourcing, Twitter; o.a. Van Gils et al., 2010). Ook deelname van onderzoekers aan expertmeetings of (inter)departementale werkgroepen is een mogelijkheid.

• Vijf casus bezien op gebruik

  Selectie en aanpak

  Vijf ex ante analyses die in het kader van voorgenomen of mogelijke formele wetgeving (of wetswijzigingen) hebben plaatsgevonden, zijn nader geanalyseerd op hun gebruik. De casus zijn ontleend aan het basismateriaal dat is verzameld voor de scriptie van Keulemans (2013). Voor elke casus zijn openbare stukken bestudeerd, zoals Kamerstukken (bijv. verslagen van AO’s), conceptwetteksten, (eventuele) Memories van Toelichting, mediaberichtgeving en websites van belangenorganisaties. ¹³x Ex post evaluaties waren in de hier besproken casus (nog) niet beschikbaar als bron. Daarnaast zijn – in juni en juli 2012 – semigestructureerde interviews gehouden met – per casus – een betrokken beleidsambtenaar (beleidsrespondent) en met een onderzoeker. Waar mogelijk zijn bevindingen uit de verschillende bronnen aan elkaar gestaafd (triangulatie). Dit vergroot de betrouwbaarheid van de bevindingen (Chelimsky, 1995; vgl. De Groot, 1994). Conceptversies van de casus zijn aan de betrokken beleidsrespondenten voorgelegd voor eventuele correcties en opmerkingen. Box 1 laat in het kort zien waar de vijf bestudeerde casus over gaan.

  Box 1. De vijf ex ante studies in het kort

  1. Kosten-batenanalyse verlenging van het zwangerschaps- en bevallingsverlof (Van den Berg et al., 2010).
  In Nederland is het zwangerschaps- en bevallingsverlof vastgelegd in de Wet arbeid en zorg (Wazo); artikel 3:1 van deze wet bepaalt dat een vrouw recht heeft op ten minste zestien weken zwangerschapsverlof. Tijdens dit verlof wordt het loon volledig doorbetaald. Op Europees niveau is het zwangerschaps- en bevallingsverlof vastgelegd in Richtlijn 92/85/EEG (1992). Zowel het Europees Parlement als de Europese Commissie drong in 2008 aan op verbetering van bestaande wetgeving en op maatregelen om het combineren van werk, privéleven en gezin te vergemakkelijken. Op 20 oktober 2010 maakte het Europees Parlement haar voorstel tot het verlengen van het zwangerschaps- en bevallingsverlof tot ten minste 20 aaneengesloten weken openbaar (P7_TA(2010)0373). Voor Kamerlid Van Hijum (CDA) waren de ontwikkelingen op Europees niveau reden om op 10 december 2009 een motie in te dienen en de regering te verzoeken te onderzoeken welke gezondheidsvoordelen en maatschappelijke kosten en baten verbonden zijn aan een mogelijke uitbreiding van het zwangerschaps- en bevallingsverlof (Kamerstukken II, 2009/10, 32123 XV, nr. 20). Op basis van een MKBA met betrekking tot de Nederlandse samenleving concludeerde SEO dat het saldo van verlofverlenging negatief is. Een uitbreiding met twee weken zou de maatschappij € 117 miljoen kosten. Bij een verlofuitbreiding met vier weken zou dit bedrag oplopen tot € 322 miljoen (Van den Berg et al., 2010: 21).

  2. Maatschappelijke kosten-batenanalyse (Wetsvoorstel) Basisregistratie Grootschalige Topografie (BGT) (De Boer & Larsen, 2011).
  De BGT is de beoogde ruimtelijke equivalent van bijvoorbeeld de Gemeentelijke Basisadministratie (GBA). De BGT wordt een zeer gedetailleerde digitale kaart van Nederland, waarin alle objecten zoals gebouwen, wegen, water, spoorlijnen en groen op een eenduidige manier worden vastgelegd. Daartoe zal landelijke standaardisatie plaatsvinden naar gelijke inhoud, kwaliteit en vervaardigingsprocedures. De BGT zal gemaakt worden door zogenoemde bronhouders: gemeenten, provincies, waterschappen, ProRail en de ministeries van IenM, ELenI en Defensie. Het voorstel bevindt zich in een later stadium dan de voorgaande casus over het zwangerschapsverlof. De opdrachtgever (IenM) en andere betrokkenen waren tijdens het ontwikkeltraject en voor aanvang van het onderzoek al overtuigd geraakt van nut en noodzaak van de BGT. Om de BGT te kunnen realiseren is echter wetgeving nodig en dus een politieke meerderheid. Om (a) de conceptwetgeving te onderbouwen en (b) de interne besluitvorming bij de betrokken partijen te ondersteunen, is in de loop van 2011 een MKBA opgesteld (De Boer & Larsen, 2011; onderzoeksrespondent 2 juli 2012). Daaruit blijkt dat de BGT een positief maatschappelijk saldo oplevert van € 24 miljoen in een behoudend scenario, en € 100 miljoen in een ‘potentiescenario’ – bijvoorbeeld bij veel samenwerking tussen betrokkenen in het veld (De Boer & Larsen, 2011: 17-18). De belangrijkste baten van de BGT komen volgens de onderzoekers voort uit het eenmalig inwinnen en het meervoudige gebruik van objectgegevens en daarnaast uit de gestandaardiseerde inhoud – vergeleken met voortzetting van de al bestaande systemen van regionale en lokale grootschalige basiskaarten.

  3. Impact assessment richtlijn gelijke behandeling buiten de arbeid (Van den Berg et al., 2009)
  Door de Europese Unie wordt – ter aanvulling op het bestaande wettelijke kader – de ‘Richtlijn betreffende de toepassing van het beginsel van gelijke behandeling van personen ongeacht godsdienst of overtuiging, handicap, leeftijd of seksuele geaardheid’ voorbereid. Het gaat om gelijke behandeling buiten de (sfeer van) arbeid in zowel de overheids- als de particuliere sector. De Nederlandse regering gaf aan in beginsel positief te staan tegenover een Europees kader voor het verbod van discriminatie op genoemde gronden (Van den Berg et al., 2009: 4, 16), maar de proportionaliteit in termen van de implementatie van de richtlijn en financiële gevolgen en administratieve lasten viel niet te beoordelen vanwege abstracte formuleringen in de conceptrichtlijn (beleids- en onderzoeksrespondent 26 juni 2012). Een hypothetisch voorbeeld dat de regering terughoudend maakte, was dat driekwart van alle huurwoningen zou moeten worden aangepast om toegankelijkheid voor eventuele gehandicapte bewoners mogelijk te maken; terwijl dit nu alleen ‘in gewezen gevallen’ moet. De impact assessment moest dan ook inzicht bieden in (onder andere): de kosten en baten die aan de Nederlandse uitvoering van de Richtlijn verbonden zijn en het maatschappelijk draagvlak ervoor. De auteurs maakten een afbakening naar de kosten en baten van toegankelijkheidsverplichtingen jegens personen met een handicap in zeven verschillende varianten. Het type aanpassingen waarmee is gerekend, betreffen het rolstoeltoegankelijk maken van gebouwen, het openbaar vervoer, het aanbrengen van een invalidentoilet, maar ook voorzieningen voor auditief gehandicapten zoals ringleidingen en spraakvoorzieningen voor websites. De kosten van implementatie variëren volgens de onderzoekers in de verschillende varianten van 9 tot 54 miljard. De variant met de laagste kosten per begunstigde is de 30%-aanpassingen aan objecten en gebouwen voor de korte termijn. Wat draagvlak betreft, is er een spanningsveld: patiënten- en cliëntenorganisaties zijn voorstander van wetgeving voortvloeiend uit de Richtlijn. De organisaties die maatregelen moeten treffen – met name het bedrijfsleven – zijn echter minder tot helemaal niet enthousiast (Van den Berg et al., 2009: 67).

  4. Scenario’s open(er) bestel in het hoger onderwijs (Tieben, 2008)
  Met een open(er) bestel wordt hier gedoeld op het opheffen van het onderscheid tussen publiek en niet-publiek bekostigde instellingen in het hoger onderwijsveld. Dit impliceert dat private instellingen kunnen toetreden tot het met publieke middelen gefinancierde segment. De dreiging van nieuwe toetreders zou hogescholen en universiteiten ertoe aanzetten hun onderwijskwaliteit op te schroeven (beleidsrespondent 20 juni 2012). De directe aanleiding voor het hier te bespreken SEO-onderzoek (Tieben, 2008) was de kritische OESO-review Thematic review of tertiary education uit 2008 , waarin de aanbeveling werd gedaan om een voorstel te ontwikkelen over marktwerking en open bestel in het hoger onderwijs. In de beleidsreactie hierop kondigde de toenmalige minister van OCenW het ex ante onderzoek aan. De bevindingen zijn het resultaat van een vergelijking van vijf uitgewerkte beleidsvarianten: (1) een nul-variant met verbeteringen binnen het huidige bestel, (2) een gedeeltelijk opener bestel met extra budget voor een deel van de opleidingen, (3) een opener bestel voor de masteropleidingen, (4) een opener bestel voor een tweede leerweg in het masteronderwijs (‘leven lang leren’), en ten slotte (5) een 100%-variant, een opener bestel voor alle opleidingen in het hoger onderwijs. De laatste variant zou betekenen dat het onderscheid tussen bekostigde en aangewezen instellingen uit de WHW wordt geschrapt. De haalbaarheid van dit 100%-scenario wordt in het ex ante onderzoek gering geacht. De meest rendabele variant is volgens SEO ‘leven lang leren’, een publiekprivaat gefinancierde tweede leerweg voor werkenden en werkzoekenden.

  5. Literatuuronderzoek naar privatiseringsvormen in het gevangeniswezen (Wilms et al., 2011)
  In het regeerakkoord 2010 van het kabinet Rutte-I stond het voornemen de implementatie voor te bereiden van de privatisering van voor het gevangeniswezen relevante taken met het oog op versobering en kosteneffectiviteit (o.a. Wilms et al., 2011: 21). Het ministerie van VenJ heeft, via het WODC, in mei 2011 aan onderzoeksbureau APE de opdracht gegund tot een literatuuronderzoek hiernaar. De centrale vraagstelling luidt: ‘Wat leren (internationale) studies naar de ervaringen met privatisering van voor het gevangeniswezen relevante taken [ons] over de gevolgen voor de kosten, kwaliteit, versobering en kosteneffectiviteit van detentie?’ In het rapport gaat het om uitbesteding in de vorm van publiek-private samenwerking (PPS), een gedeelde verantwoordelijkheid tussen de contractanten: overheid en bedrijfsleven. Verzelfstandiging en afstoting, de andere onderscheiden vormen van privatisering, blijven buiten beschouwing. Er zijn vier vormen van PPS te onderscheiden: (a) uitbesteding van één of meerdere vastgoed- en/of detentietaken (zoals gezondheidzorg, onderwijs of catering); (b) uitbesteding van alle vastgoedtaken (ontwerp, bouw, inrichting en onderhoud) en enkele detentietaken (bijv. catering); (c) uitbesteding van alle detentietaken (outputmanagement), en (d) uitbesteding van alle vastgoed- en detentietaken. Op basis van de internationale literatuur concluderen de auteurs dat privatisering geen significant effect heeft op de operationele kosten. Over de kosteneffectiviteit voor het gevangeniswezen is geen eenduidige uitspraak mogelijk, gelet op de beperkingen in het gegevensmateriaal. Dat geldt ook voor het effect van privatisering op versobering. Factoren die volgens de auteurs van invloed zijn op de effecten van privatisering, zijn onder andere: de wijze waarop operationele kosten worden vergoed, de strengheid van prestatiemonitoring, de wettelijke mogelijkheden om te variëren in arbeidsvoorwaarden en bezetting, de duur van het contract en de mate van uitbesteding van detentietaken.

• Gebruik van de vijf ex ante analyses

  In de casus over eventuele verlenging van het zwangerschaps- en bevallingsverlof was een politieke meerderheid uiteindelijk tegen de in EU-verband voorgestelde verlenging. Van Hijum (CDA), verantwoordelijk voor de motie tot het onderzoek, stelde in verwijzing naar het negatieve saldo in de MKBA dat uitbreiding naar twintig weken (toch) niet realistisch was. Voor de VVD was het negatieve maatschappelijke saldo in de MKBA in lijn met hun eerdere afwijzing van een verlofverlenging. Nederland nam – net als veel andere lidstaten – in de EU een afwijzende houding aan. Ook de werkgeversorganisaties haalden het rapport aan in hun afwijzing van het voorstel. Dat zij het rapport aanhaalden en voorstanders van verlenging niet, kan wijzen op een zekere mate van strategisch gebruik. De resultaten van de MKBA keren ten slotte terug in een latere ex ante doorrekening van een voorstel voor apart zwangerschaps- en bevallingsverlof bij meerlingen (Kamerstukken II, 2011/12, 32855, nr. 8), een vorm van conceptueel gebruik.

  Het maatschappelijk saldo van de MKBA van de BGT bleek positief. IenM was al overtuigd van de noodzaak van een BGT, dus deze MKBA diende geen go/no-go-beslissing, maar vooral de verdere onderbouwing van het wetsvoorstel en – volgens de beleidsrespondent van IenM – ook het op één lijn brengen van de stakeholders, in dit geval de bronhouders (zie box 1). De MKBA schiep volgens de betrokkenen helderheid in de verwachte baten en maakte onzekerheden hieromtrent expliciet. In de uitwerking en implementatie van het BGT-beleid door de Stuurgroep van bronhouders (eind 2011) is de benutting het duidelijkst: die Stuurgroep stelde naar aanleiding van het rapport een lijst met nog door te hakken knopen op. Deze lijst werd rechtstreeks ontleend aan aanbevelingen in het rapport. Kamerleden hebben mogelijk vooral indirect kennisgenomen van het rapport, dat niet aan de Kamer werd gezonden maar wel uitgebreid is aangehaald in de MvT die met het wetsvoorstel begin 2013 in de Kamer is besproken. Daarin wordt aangegeven dat enkele inhoudelijke aanpassingen aan de conceptwet BGT zijn gebaseerd op de MKBA. Politiek bleek de BGT niet omstreden en de leden van de vaste Kamercommissie voor IenM stemden ermee in. Of de positieve uitkomst van het rapport eventuele controverse temperde, is onduidelijk.
  Ons beeld van de benutting van de impact assessment van de ontwerp-EU-richtlijn gelijke behandeling buiten de arbeid is niet volledig. Er waren meerdere departementen betrokken en benutting is alleen op basis van dossiers en twee interviews onderzocht. Bovendien is – ruim drie jaar na oplevering van het rapport – de besluitvormingsfase op EU-niveau nog niet bereikt. Het rapport, waarvan de resultaten het aanvankelijke kabinetsstandpunt bevestigden, is kort na oplevering uitgebreid verwerkt in het Kabinetsstandpunt dat vervolgens is ingezet in de Europese onderhandelingen over het voorstel. In Europees verband zouden ook andere lidstaten aan de Nederlandse bevindingen hebben gerefereerd.
  De benutting van het onderzoek naar een open(er) bestel in het hoger onderwijs is beperkt als het gaat om standpuntbeïnvloeding en doorwerking. Het rapport heeft volgens beide respondenten – en de minister – bijgedragen aan de bestaande inzichten en aan de lopende discussie in het (verdeelde) veld. Er is dus sprake geweest van enige kennisname en standpuntbeïnvloeding. De politieke discussie werd echter vooral gevoerd in 2004 en 2005, ruim vóór de totstandkoming van het rapport, en was aanleiding tot experimenten met het open bestel in de periode 2006-2014 (o.a. Tieben, 2008). Het rapport was bedoeld als aanvulling op deze experimenten en vormde de respons op een kritische OESO-evaluatie over de onderwijskwaliteit in Nederland (OESO, 2008). ¹⁴x Zie http://www.oecd.org/edu/skills-beyond-school/38469224.pdf.
  De toenmalige minister Plasterk voerde in zijn beleidsreactie de in het rapport benadrukte onzekerheid over de te verwachten effecten op onder andere kwaliteit en efficiency aan als reden om (nog) geen systeemaanpassingen voor het hoger onderwijs door te voeren. Hij zou eerst de uitkomsten van de lopende experimenten afwachten. Dit besluit van de minister kan worden gezien als: (1) doorwerking van de gebleken onzekerheid over effecten van een open bestel in een afwijzend besluit; of (2) als strategisch gebruik om geen directe consequenties aan het onderzoek te hoeven verbinden.
  Het onderzoek naar privatisering van het gevangeniswezen vloeide voort uit een toezegging in het Regeerakkoord 2010. Het rapport werd in oktober 2011 opgeleverd, maar toen in april 2012 het kabinet Rutte-I viel, lag er nog geen kabinetsstandpunt. Omdat privatisering in het gevangeniswezen een nieuwe beleidsrichting inhoudt, is uiteindelijk geen (demissionair) kabinetsstandpunt verschenen. Van (direct gebruik in) besluitvorming is in deze casus dus geen sprake en in hoeverre de standpunten van betrokkenen door het rapport zijn beïnvloed, is lastig met zekerheid te bepalen. Wel is het rapport, dat geen eenduidige overkoepelende resultaten opleverde, medio 2012 uitgebreid aan de orde geweest in een AO in de Tweede Kamer (Kamerstukken II, 2011/12, 24587, nr. 473). Kamerleden zetten de verschillende ervaringen in het buitenland in om heel verschillende standpunten – voor en tegen privatisering – te helpen onderbouwen.

  Gebruikin overkoepelende zin

  In alle vijf casus zijn standpunten of voorlopige ‘beleidsrichtingen’ te vinden van vóór de ex ante analyse. In geen van de vijf bestudeerde rapporten spreken de bevindingen deze direct tegen: drie rapporten zijn op hoofdlijnen bevestigend en twee rapporten zijn op dit punt weinig concludent (hoger onderwijs en gevangeniswezen), waardoor ze ruimte hebben gelaten voor interpretatie door gebruikers.
  Elke casus bevat aanwijzingen voor kennisname van het rapport door bewindspersonen, Kamerleden of -commissies en betrokken ambtenaren. Alleen in de hogeronderwijscasus ontbreken signalen van kennisname vanuit de Kamer(s). In alle casus zijn er aanwijzingen dat belangengroepen in het veld direct of indirect kennis hebben genomen van het rapport.
  Standpuntbeïnvloeding wordt waarschijnlijker in geval van kennisname. De casus verschillen wat betreft aanwijzingen voor gebruik van het rapport in de afweging door belangrijke actoren. Kamerleden hebben de ex ante studies naar mogelijke uitbreiding van het zwangerschaps- en bevallingsverlof en naar de privatisering van het gevangeniswezen in hun standpunten betrokken. In deze casus zijn er aanwijzingen voor enige mate van standpuntbeïnvloeding. Naar aanleiding van de MKBA-BGT die in de MvT bij het latere wetsvoorstel genoemd wordt, hebben Kamerleden enkele inhoudelijke vragen gesteld. In twee resterende casus (richtlijnvoorstel gelijke behandeling en hoger onderwijsbestel) zijn ná oplevering van het rapport geen overleggen meer getraceerd. Wel hebben bewindspersonen in alle vijf casus op het rapport gereageerd, in respons op Kamervragen of blijkend uit de MvT (BGT). In de hoger-onderwijs-casus heeft de directe opdrachtgever, een Commissie van wijzen, het rapport met behulp van de auteur verwerkt in een advies aan de onderwijsminister. Ten slotte hebben maatschappelijke organisaties in vier van de vijf casus een duidelijk standpunt ingenomen (mede) in reactie op het rapport.
  Van doorwerking in de besluitvorming – in lijn met de hoofdbevindingen van de rapporten – is in drie van de vijf onderzochte gevallen sprake: in (voorlopig) afwijzende regeringsstandpunten ter terugkoppeling naar Europa (de richtlijnvoorstellen over zwangerschapsverlof en inzake gelijke behandeling) en in conceptwetgeving en de begeleidende MvT (BGT). De positieve MKBA die gevolgd werd door een positief besluit (in de BGT-casus), heeft bovendien doorgewerkt in de verdere processen van in- en uitvoering. De gemotiveerd-afwijzende reactie van de minister in de casus over het hoger onderwijs is geduid als niet-doorwerking. Eventuele doorwerking in de besluitvorming is in de casus over privatisering in het gevangeniswezen belemmerd door de demissionaire status van het kabinet. Door de grote onzekerheidsmarges in de conclusies valt moeilijk te bepalen of het in de laatste twee casus gaat om doorwerking of om strategisch gebruik.
  We stuitten op één evident geval van conceptueel gebruik, maar in werkelijkheid is daar waarschijnlijk vaker sprake van geweest. ¹⁵x We hebben conceptueel gebruik zoals op andere topics, terreinen en via vele mogelijke andere kanalen en zijsporen hier niet verder systematisch in kaart gebracht.

• Verklaring van het gebruik van ex ante onderzoek in de praktijk

  Op basis van de literatuur brachten we vijf factoren in kaart die een verklaring kunnen vormen voor de gevonden mate van gebruik. In hoeverre speelden die factoren een rol in het wel/niet gebruik van de vijf bestudeerde ex ante analyses?

  Besluitvormingscontext

  In de eerste plaats is de besluitvormingscontext bepalend gebleken voor gebruik. Zo is het ene topic duidelijk meer omstreden dan het andere. In de casus over de Basisregistratie Grootschalige Topografie (BGT), waarvan de MKBA de reeds door IenM ingeslagen weg bevestigde, blijkt de ex ante analyse het meest geïntegreerd in de planontwikkeling. Het verdere politieke en besluitvormingstraject is zonder ‘slag of stoot’ doorlopen: de studie is gebruikt in de besluitvorming in de Ministerraad, in de MvT bij het wetsvoorstel, in het Kamerdebat en in het veld. De ex ante analyses in de casus over het hogeronderwijsbestel en het gevangeniswezen betreffen een politiek veel meer beladen onderwerp, wat zijn weerslag had op de wijze en intensiteit van gebruik van die analyses. In deze meer omstreden contexten werden de niet-eenduidige resultaten soms ingezet ter ondersteuning van eerder ingenomen politieke standpunten. De omstreden dossiers resulteerden niet in doorwerking.

  Timing

  Ook de timing van de rapporten ten opzichte van de beleidscyclus is een factor van belang gebleken. Vier van de vijf rapporten waren op tijd in relatie tot de geplande besluitvorming. Het ex ante rapport over het hoger onderwijs is het minst goed getimed: ruim daarvoor waren al langlopende experimenten met een opener bestel opgestart en daarnaast vond na de start van het onderzoek een kabinetswisseling plaats. In deze casus is bovendien het politieke debat ruim voor de studie al gevoerd, zodat die daarin logischerwijs dus geen rol kon spelen.

  Kwaliteit, betrokkenheid en verspreiding

  De drie andere in eerder onderzoek van enig belang geachte ‘gebruiksfactoren’, te weten onderzoekskwaliteit, verspreiding van het onderzoek en de betrokkenheid tussen aanvrager en opdrachtnemer ‘scoren’ in alle vijf de casus ‘hoog’. Over de betrokkenheid van stakeholders, met name de aanvragers is door de geïnterviewde betrokkenen steeds positief geoordeeld. Die betrokkenheid heeft gestalte gekregen in begeleidingscommissies waarin op zijn minst de aanvragers zitting hadden, in twee gevallen naast vertegenwoordigers uit het veld (BGT en gevangeniswezen). In de casus gevangeniswezen werd deze begeleidingscommissie formeel ingesteld met ook onafhankelijke wetenschappers. In de hoger-onderwijs-casus fungeerde een commissie van wetenschappers namens OCenW als opdrachtgever. De vertegenwoordigers van de kant van de aanvragers zijn over de kwaliteit van alle vijf rapporten goed te spreken.
  Ook in objectieve termen (validiteit en betrouwbaarheid) zijn er geen negatieve uitschieters te constateren. Ten slotte heeft over de hele linie actief verspreiding van de rapporten plaatsgevonden. Alle ex ante studies zijn gepubliceerd via de websites van de auteurs. Vier van de vijf rapporten zijn naar de Tweede Kamer gestuurd. Over twee studies (zwangerschapsverlof en opener bestel hoger onderwijs) zijn korte artikelen verschenen in vakblad en krant.

• Concluderend

  In dit artikel stonden twee vragen centraal: hoe vallen ex ante studies te typeren in termen van aantal en (daarbinnen) aanleiding, opdrachtgever en aanpak; en in hoeverre zijn ze in de beleidspraktijk ook daadwerkelijk gebruikt (en waarom)?

  Ex ante studies naar aantal en aard

  • Een uitgebreide zoektocht leverde ruim driehonderd gepubliceerde ex ante analyses op van één of meerdere beleidsopties. Dit is meer dan op grond van het eerder aangehaalde onderzoek (o.a. Hanemaayer, 2012) kon worden verwacht. Omdat we de hoeveelheid ex ante studies niet in verband hebben gebracht met indicatoren van de totale omvang van het beleid en mutaties daarin, kunnen we niet concluderen of dit objectief gezien veel of toch nog steeds weinig is. Daar komt nog bij dat we de mogelijk vele ongepubliceerde ex ante onderzoekingen niet in kaart hebben gebracht.

  • De publicaties zijn niet evenredig verdeeld over departementen; ex ante analyses komen het vaakst voor bij IenM (inclusief voormalig VenW en VROM), op afstand gevolgd door VWS, een combinatie van departementen en ElenI (inclusief EZ en LNV). Daarna volgen VenJ, OCenW, BZK en SZW. Ongeveer de helft van de ex ante studies richt zich op het kunnen behalen van (eind)doelstellingen – kosten-batenanalyses meegerekend. De andere helft richt zich op onder meer de uitvoering of specifieke consequenties zoals voor milieu, administratieve lasten of juridische gevolgen, of is nog te zeer verkennend om een ex ante effectiviteitsonderzoek te heten. Niettemin is veel van dit overige onderzoek relevant in het licht van effectiviteit. Zo kan een in potentie werkzame interventie zeer gebaat zijn bij een uitvoeringstoets, en kan een verkenning van de literatuur noodzakelijk zijn om tot een oordeel over de meest kansrijke beleidsalternatieven te komen.

  • De aanleidingen voor ex ante analyses zijn divers en hebben geresulteerd in een negental studietypen, met daarbinnen verschillende designs en methoden. De kwantitatieve (M)KBA is een veelvoorkomend type studie met een vastomlijnd design. Maar ook andere typen ex ante onderzoek zijn voor een belangrijk deel kwantitatieve studies op basis van ervaringsgegevens. De meest gebruikte kwalitatieve methoden van dataverzameling zijn dossieronderzoek, gecombineerd met expertinterviews.

  Zijnde ex ante analyses gebruikt en wat speelde daarbij een rol?

  De factoren besluitvormingscontext (politiek) en – verwant daaraan – de timing van het ex ante onderzoek hebben de meeste invloed op gebruik, hetgeen bevestigt wat Johnson et al. (2009) constateerden in hun review van empirisch gebruiksonderzoek. Deze auteurs vonden echter ook een aanzienlijk effect van het betrekken van stakeholders op gebruik. De onverdeeld ‘hoge’ scores – in de vijf door ons bestudeerde casus – in termen van die betrokkenheid en in termen van de kwaliteit en verspreiding van het onderzoek, maken het moeilijk om de rol van deze drie factoren in de totstandkoming van gebruik te ontrafelen.
  Behalve controverse in het traject van besluitvorming speelt wellicht ook een rol dat de uitkomsten van ex ante analyses vaak zijn omgeven met aanzienlijke onzekerheidsmarges. Zo wijzen ervaringen in het buitenland wat betreft de (kosten)effectiviteit van privatiseringsinitiatieven in het gevangeniswezen in verschillende richtingen. In onze vijfvoudige gevalsstudie valt wetenschappelijke onzekerheid echter steeds samen met een complexe politieke context, waardoor onvoldoende zicht ontstaat op de geïsoleerde invloed ervan. Wel constateerden we dat juist in de meer omstreden contexten tweeledige resultaten zijn ingezet om heel verschillende standpunten kracht bij te zetten.

Bronnen

• Algemene Rekenkamer (2013). Overzicht Effecitiviteitsonderzoek Rijksoverheid, vervolgonderzoek. Den Haag: Algemene Rekenkamer.

• Berg, Y. van den, Hanemaayer, D., Aarts, L., & Schrijvershof, C. (2009). Impact assessment richtlijn gelijke behandeling buiten de arbeid. Den Haag: B& A Consulting.

• Berg, E., van den, Heyma, A., & Smid, T. (2010). Kosten en baten verlenging zwangerschaps- en bevallingsverlof: Van 16 weken naar 18 of 20 weken. Amsterdam: SEO Economisch Onderzoek.

• Beukers, E, Bertolini, L., & Brömmelstroet, M. te. (2012). Percepties op het MKBA proces. Tijdschrift Vervoerswetenschap, 48(2), 68-79.

• Boer, L. de, & Larsen, V. (2011). Maatschappelijke kosten en baten van de BGT: Eindrapportage. Amsterdam: LPBL.

• Chelimsky, E. (1995). New dimensions in evaluation. In R. Picciotto & R.C. Rist (red.), Evaluation and development: Proceedings of the 1994 World Bank conference (pp. 3-11). Washington, DC: World Bank. World Bank Operations Evaluation Study.

• Commissie experimenten open bestel hoger onderwijs. (2010). Eindverslag van de Commissie: Een tussenevaluatie van de experimenten. Commissie Experimenten Open Bestel Hoger Onderwijs.

• CPB (2008). Economische analyses van Anders Betalen voor Mobiliteit (ABvM). Den Haag: CPB. CPB Notitie.

• EPEC, (2005). Study on the use of evaluation results in the commission: Final report. Dossier no 1 Synthesis report and annexes. Brussel: European Policy Evaluation Consortium.

• Feinstein, O.N. (2002). Use of evaluations and the evaluation of their use. Evaluation, 8(4), 433-439.

• Florax, J.G.M.F. (2001). Methodological pitfalls in meta-analysis: Publication bias. Amsterdam: VU.

• Gestel, R.A.J. van, & Vranken, J.B.M. (2009). Assessing the accuracy of ex ante evaluation through feedback research: A case study. In J.M. Verschuuren (red.), The impact of legislation: A critical analysis of ex ante evaluation (pp. 199-277). Leiden: Martinus Nijhoff.

• Groot, A.D. de (1994). Methodologie: Grondslagen van onderzoek en denken in de gedragswetenschappen. Assen: Van Gorcum.

• Hamberg-van Reenen, H.H., Bovendeur, I., Feenstra, T.L., & Berg, M. van den. (2009). Kosteneffectiviteit van preventie en zorg: Vergelijking preventieve en curatieve interventies. Bilthoven: RIVM.

• Hanemaayer, D. (2012). Ex ante evaluatie in Nederland: De stand van zaken. Den Haag: Boom Lemma uitgevers.

• Henry, G.T., & Mark, M.M. (2003). Beyond use: understanding evaluation’s influence on attitudes and actions. American Journal of Evaluation, 24(3), 293-314.

• Hertin, J., Jacob, K., Pesch, U., & Pacchi, C. (2009). The production and use of knowledge in regulatory impact assessment: An empirical analysis. Berlijn: Freie Universität Berlin, Forschungsstelle für Umweltpolitik. FFU-report, 01-2009.

• Hertin, J., Turnpenny, J., Jordan, A., Nilsson, M., Russel, D., & Nykvist, B. (2007). Rationalising the policy mess? Ex ante policy assessment and the utilisation of knowledge in the policy process. Berlijn: Freie Universität Berlin, Forschungsstelle für Umweltpolitik. FFU report, 03-2007.

• Hoppe, R.A. (2009). Ex ante evaluation of legislation: Between puzzling and powering. In J.M. Verschuuren (red.), The impact of legislation: A critical analysis of ex ante evaluation (pp. 199-277). Leiden: Martinus Nijhoff.

• IOFEZ (2004). Eindrapport VBTB-evaluatie: Lessen uit de praktijk. Interdepartementaal Overlegorgaan Financieel-Economische Zaken.

• Johnson, K., Greenseid, L.O., Toal, S.A., King, J.A., Lawrenz, F., & Volkov, B. (2009). Research on evaluation use, a review of the empirical literature from 1986 to 2005. American Journal of Evaluation, 30(3), 377-410.

• Klein Haarhuis, C.M. (2010). Over nut en noodzaak van ex-anteanalyses bij de totstandbrenging van wetgeving. Regelmaat, 2, 65-79.

• Klein Haarhuis, C.M., m.m.v. S.A.C. Keulemans. (2014). Ex ante onderzoek in metaperspectief. Aard, aantallen en gebruik van ex ante studies door de rijksoverheid. Den Haag: WODC. Onderzoek en beleid nr. 311.

• Knaap, P. van der, Turksema, R.W. & Melis, S. (2011). Beleidsevaluatie ex ante en rechtsvergelijking. Regelmaat, 3, 157-168.

• Korsten, A.F.A. & Meer, A.D. van der. (2014), Beleidsonderzoek benutten, januari-maart, DOI: 10.5553/Beleidsonderzoek.000038.

• Kraan-Jetten, A.H.F.M., Band Mim, F.J. & Valk, Th.W. de (1998). Ex ante evaluaties: naar een checklist van kwaliteitsnormen. Beleidsanalyse 98(4).

• Leeuw, F., Knaap, L.M. van der, & Bogaerts, S. (2007). Reducing the knowledge-practice gap: An example of an evaluation synthesis in criminal policy. Public Money and Management, 27(4), 245-250.

• Nash, R., Hudson, A., & Luttrell, C. (2006). Mapping political context: A toolkit for civil society organisations. London, UK: Overseas Development Institute (ODI).

• OESO (2008). Thematic review of tertiary education. Op 13 juni 2013 ontleend aan http://www.oecd.org/education/skills-beyond-school/38469224.pdf.

• Rienstra, S. (2008). De rol van kosten-batenanalyses in de besluitvorming. Den Haag: Kennisinstituut voor Mobiliteitsbeleid (KiM).

• Romijn, G., & Renes, G. (2013). Algemene leidraad voor maatschappelijke kosten-batenanalyse. Den Haag: Centraal Planbureau, Planbureau voor de Leefomgeving.

• Rossi, P.H., & Freeman, H.E. (1992). Evaluation: A systematic approach. Newbury Park, CA: Sage.

• Schrijvershof, C., Douma, K., & Aarts, L. (2013). Uitvoeringsanalyses in de justitiële keten: Inventarisatie en analyse. Den Haag: APE. APE-rapport, nr. 1062.

• Swanborn, P.G. (2007). Evalueren: Het ontwerpen, begeleiden en evalueren van interventies: een methodische basis voor evaluatie-onderzoek. Amsterdam: Boom onderwijs.

• Tieben, B. (2008). Wegen naar dynamiek in het hoger onderwijs. Amsterdam: SEO Economisch Onderzoek.

• Vedung, E.O. (2008). Public policy and program evaluation. Edison, NJ: Transaction publishers.

• Veerman, G.J. (2002). Inleiding wetsevaluatie. In WODC, Introductiecursus: De Nederlandse rechtspleging en evaluatie van wet- en regelgeving (niet gepubliceerd).

• Veerman, G.J. (2007). Over wetgeving: Principes, paradoxen en praktische beschouwingen. Den Haag: Sdu uitgevers.

• Veerman, G.J. & Mulder, R.J. (2010). Wetgeving met beleid: Bouwstenen voor een bruikbare wetgevingstheorie. Den Haag: Boom Juridische uitgevers.

• Verschuuren, J. (red.). (2009). The impact of legislation: A critical analysis of ex ante evaluation. Leiden: Martinus Nijhoff.

• Verschuuren, J., & Gestel, R. van. (2009). Ex ante evaluation of legislation: An introduction. In J. Verschuuren (red.), The impact of legislation: A critical analysis of ex ante evaluation (pp. 3-12). Leiden: Martinus Nijhoff.

• Visser, J., & Korteweg, J.A. (2008). Ex ante evaluatie in het MIRT. Den Haag: Kennisinstituut voor Mobiliteitsbeleid (KiM).

• Wartna, B., Alberda, D., & Verweij, S. (2013). Wat werkt in Nederland en wat niet? Een meta-analyse van Nederlands recidiveonderzoek naar de effecten van strafrechtelijke interventie. Den Haag: Boom Lemma uitgevers. Onderzoek en beleid nr. 307.

• Weiss, C., & Bucuvalas, M.J. (1980). Social science research and decisionmaking. New York: Columbia University Press.

• Weiss, C., Murphy-Graham, E., Petrosino, A., & Gandhi, A.G. (2008). The fairy godmother and her warts – making the dream of evidence-based policy come true. American Journal of Evaluation, 29(1), 29-47.

• Wilms, P., Friperson, R., & Weda, J. (2011). Literatuuronderzoek privatisering gevangeniswezen: Eindrapport. Den Haag: Ape. Ape rapport nr. 924.

• Winter, H. B. (1996). Evaluatie in het wetgevingsforum: Een onderzoek naar de relatie tussen evaluatie en kwaliteit van wetgeving (proefschrift Rijksuniversiteit Groningen). Groningen: Rijksuniversiteit Groningen.

• Winter, H. B., Scheltema, M., & Herweijer, M. (1990). Evaluatie van wetgeving: Terugblik en perspectief. Deventer: Kluwer.

Noten

• 1 Eerder, in 2004, werd door IOFEZ een kleine meta-evaluatie van ex ante studies verricht in het kader van de evaluatie van de operatie Van Beleidsbegroting tot Beleidsverantwoording (VBTB), waarin de conclusie luidde dat ex ante onderzoek (een stuk) vaker en tevens beter – o.a. meer gericht op effectiviteit – zou kunnen gebeuren.

• 2 Het IAK verplicht tot beantwoording van zeven vragen, waaronder die naar de doelmatigheid van de overwogen interventie(s) en de gevolgen ervan voor burgers, bedrijven, overheid en milieu. In het IAK zijn voorts vele bestaande verplichte toetsen, zoals de bedrijfs- en milieu-effectentoets en de toets op administratieve lasten samen- en in aantal teruggebracht.

• 3 Dit gebeurde op verzoek van de Directie Wetgeving en Juridische Zaken bij het ministerie van Veiligheid en Justitie. Het onderzoeksrapport bevat ook informatie over de voorspellingskracht van ex ante analyses (vgl. Klein Haarhuis & Smit, in druk).

• 4 Zoals het CPB, SCP, WODC of Kennisinstituut voor Mobiliteitsbeleid (KiM).

• 5 Dit aantal ligt onder het feitelijke aantal ex ante analyses dat voldoet aan onze definitie. Een honderdtal ex ante studies kon niet in ons gegevensbestand worden betrokken. Hieronder vallen secundaire verwijzingen in de gevonden ex ante rapporten naar verwante (deel)rapportages die vanwege capaciteitsrestricties buiten beschouwing zijn gelaten en een vijftigtal studies naar (maatschappelijke) kosten en baten of milieuconsequenties van infrastructurele projecten – meestal in opdracht van regiodirecties van Rijkswaterstaat. Deze ex ante studies zijn niet minder relevant in het licht van de beleids- of projectvoorbereiding.

• 6 Tussen het begin en halverwege het ontwikkelingstraject vonden we geen verschillen (beide 4,3 opties).

• 7 Zo zijn 9 van de 39 uitvoeringsanalyses afkomstig van de Nederlandse Zorgautoriteit (NZA).

• 8 Een aantal VenJ-planevaluaties is buiten beschouwing gebleven omdat deze in combinatie met een pilot (buiten definitie) zijn verricht.

• 9 Over de aanpak van ex ante studies geven we – gelet op het inventariserende karakter van ons onderzoek – geen kwaliteitsoordeel (voor een wat oudere checklist van kwaliteitscriteria, zie Kraan-Jetten et al., 1998).

• 10 Voor mogelijke individuele en interpersoonlijke factoren die van invloed zijn op het gebruik van evaluatieonderzoek (ook buiten de publieke arena), zie Henry & Mark (2003).

• 11 Hertin et al. hebben in kaart gebracht in hoeverre (verplichte) procedures voor ex ante analyse ( Regulatory Impact Analysis, RIA) in drie EU-lidstaten (Duitsland, Zweden en het Verenigd Koninkrijk) en op het niveau van de EU zijn gebruikt en hebben doorgewerkt in 38 concrete wetgevingsdossiers. Zij concluderen dat de procedures niet richtinggevend zijn geweest in het complexe proces van beleidsvorming.‘Generally, we found that while these assessments inform policy designs at the margins, it was the political context that dominated the structure and outcome of decision processes.’

• 12 Vgl. de oudere studie van Winter et al. (1990) over de kortere communicatielijnen als gevolg van het lidmaatschap van ambtenaren in de begeleidingscommissie.

• 13 Ex post evaluaties waren in de hier besproken casus (nog) niet beschikbaar als bron.

• 14 Zie http://www.oecd.org/edu/skills-beyond-school/38469224.pdf.

• 15 We hebben conceptueel gebruik zoals op andere topics, terreinen en via vele mogelijke andere kanalen en zijsporen hier niet verder systematisch in kaart gebracht.