Operatie Inzicht in Kwaliteit: dwing de cultuuromslag af met een vernieuwde RPE

• Inleiding

  Het kabinet-Rutte III werkt aan de Operatie Inzicht in Kwaliteit. Het overheidsbeleid moet beter, door de kennis over de doeltreffendheid en doelmatigheid van het beleid te vergroten en het evaluatiestelsel te verbeteren (Regeerakkoord, 2017). De Operatie moet bovendien bijdragen aan een cultuuromslag die volgens de Algemene Rekenkamer noodzakelijk is (Tweede Kamer der Staten-Generaal, 2016-2017).
  De Operatie Inzicht in Kwaliteit sluit aan in een lange rij van vergelijkbare maar weinig succesvolle initiatieven. Kan de Operatie deze trend doorbreken? Jazeker, maar dan moet het over een andere boeg. Een cultuuromslag kan namelijk wel degelijk worden afgedwongen met een voorschrift, in tegenstelling tot de opvatting van voormalig minister van Financiën Dijsselbloem (april 2017). Dat is bovendien sneller en goedkoper dan een Operatie. Het advies: dwing een grootscheepse cultuuraanpak af met een vernieuwing van de RPE.

• De lange rij van initiatieven …

  De Commissie voor de Ontwikkeling van Beleidsanalyse in de jaren zeventig; de Operatie Comptabel Bestel en de Heroverwegingen in de jaren tachtig; Van Beleidsbegroting Tot Beleidsverantwoording (VBTB) en de Regeling Periodiek Evaluatieonderzoek (RPE) in de jaren negentig en de jaren daaropvolgend aanpassingen van de Comptabiliteitswet en de RPE. Dit zijn slechts een aantal van de vele initiatieven die moesten leiden tot beter overheidsbeleid, meer inzicht in de doelmatigheid en doeltreffendheid van het beleid en verbetering van het evaluatiestelsel.
  De belangrijkste reden dat verbetering uitbleef is dat alle initiatieven hetzelfde uitgangspunt hadden. Namelijk dat effectiever beleid en een verbetering van de beleidsvoorbereiding en beleidsevaluaties te bereiken zijn door meer aandacht voor de doelmatigheid en doeltreffendheid van het beleid. En dat is onjuist.

• … met een onjuist uitgangspunt

  De onjuistheid van het uitgangspunt dat effectiever beleid te bereiken is door meer aandacht voor de doelmatigheid en doeltreffendheid van het beleid, heeft een historische grondslag.

  De samenleving rationaliseerde

  Door de opkomst van de industrialisatie, het kapitalisme en de ontwikkeling van de wetenschap rationaliseerde de samenleving. Met geld als de algemeen geaccepteerde waardemaatstaf konden vanaf dat moment beleidsbeslissingen worden gekwantificeerd en gerationaliseerd. Beleidsrelevante kennis kwam steeds meer tot stand op een wetenschappelijke manier. Ook de studie van de beleidsanalyse professionaliseerde en kreeg meer raakvlakken met overheid en politiek.

  Rationaliteit bleek niet zaligmakend

  Rationalisatie van de samenleving bracht veel goeds, maar bleek niet zaligmakend. In de studie van de beleidsanalyse ontstond het inzicht dat de tot dan toe geldende rationele benadering van beleid beperkingen had.
  De rationele benadering was representatief voor het gedachtegoed dat de overheid met wetten en regels de samenleving kon beïnvloeden. Problemen werden daarbij ontleed in oorzaken en gevolgen. Wetenschappelijke procedures, richtlijnen en modellen konden verklaringen geven voor problemen en dienden voor het ontwerpen van efficiënte oplossingen. Beleid was effectief wanneer sprake was van maximale doeltreffendheid en doelmatigheid bij het realiseren van vooraf vastgestelde doelen.
  De werkelijkheid bleek anders. De overheid werd geconfronteerd met complexe onvoorspelbare problemen waarbij verschillende belangen en waarden van betrokkenen een rol speelden. Problemen die lastig aan te pakken waren volgens een procedure en een beleidsplan en waarvoor de rationele benadering onvoldoende soelaas bood.
  Het inzicht groeide, vanaf de jaren zestig van de vorige eeuw, dat naast rationele aspecten zoals wetenschappelijke kennis, ook andersoortige aspecten bepalend waren voor de inhoud van het beleid. Aspecten die subjectiever en niet volledig waardevrij zijn, zoals intuïtie, beleving en praktijkervaringen. Deze aspecten worden in dit essay extra-rationeel genoemd.
  Als reactie op de rationele benadering van beleid ontstonden dan ook andere stromingen in de beleidsanalyse. De incrementele beleidsanalyse had het karakter van gedagswetenschappelijk en politiek onderzoek, waarbij beleid niet werd gezien als een vaststaand plan, maar voortdurend in verandering was als gevolg van wederzijdse aanpassing tussen betrokkenen. De mixed scanning beleidsanalyse was juist een combinatie van de rationele en de incrementele benadering. Mixed scanning kende, in tegenstelling tot de incrementele beleidsanalyse, een zekere mate van rationaliteit onder andere bij de evaluatie van beleid. Maar, in tegenstelling tot wat we zien bij de rationele benadering, werden evaluatiecriteria niet verkregen via een objectief meetsysteem, maar werden deze bepaald in interactie met betrokkenen.
  Nu was het niet zo dat de rationele benadering van beleid extra-rationele aspecten volledig uitsloot. Wel stonden de extra-rationele aspecten ten dienste van de rationaliteit. Zo werd onderkend dat intuïtie en praktijkervaring van invloed konden zijn op de inhoud van beleid, maar bleef deze zogenoemde subjectieve kennis inferieur aan wetenschappelijke kennis, die als objectief en waardevrij werd beschouwd. Ook de wijze waarop deze subjectieve kennis kon worden verkregen, namelijk via interactie met betrokkenen, was instrumenteel aan de rationaliteit. Zo werden de medewerking van betrokkenen en aandacht voor de uitvoerbaarheid van beleid van belang geacht voor het succes van beleid, maar bleef die interactie uiteindelijk louter instrumenteel om te komen tot een modelmatige aanpak van een beleidsprobleem, vaak beredeneerd vanuit causale relaties.

  De overtuiging is hardnekkig

  Ondanks de beperkingen van de rationele benadering en het ontstaan van andere inzichten bleef de rationele benadering het uitgangspunt bij de overheid. Het was geïnstitutionaliseerd in regels, richtlijnen, werkwijzen en procedures voor het maken en evalueren van beleid, zoals ook nu nog met de huidige RPE. Zelfs toen in de jaren tachtig van de vorige eeuw schrijnend zichtbaar werd dat het overheidsbeleid met hoge kosten faalde, bleef de overheid de oplossing zoeken in rationaliteit. Bedrijfsmatige principes werden ingevoerd in het beleid: privatisering, verzakelijking, marktwerking en kwaliteit- en prestatiemeting. De overtuiging dat de rationaliteit de oplossing was voor problemen, was hardnekkig.
  Ook alle grootscheepse initiatieven die moesten leiden tot beter overheidsbeleid, meer inzicht in de doelmatigheid en doeltreffendheid van het beleid en verbetering van het evaluatiestelsel, bleven op datzelfde rationele uitgangspunt gebaseerd. En brachten dus onvoldoende verbeteringen omdat dat uitgangspunt niet aansloot bij de werkelijkheid, die niet in dat rationele kader te vangen is.
  Tot op heden is het overheidssysteem erop ingericht om beleid te ontwerpen via een rationele procedure; waarbij de overheid de dominante speler is en andere partijen geconsulteerd worden maar de overheid veelal de richting bepaalt; waarbij rationele aspecten waaronder wetenschappelijke kennis prevaleren boven extra-rationele aspecten waaronder praktijkkennis; waarbij beleid wordt beoordeeld en verantwoord op louter de rationele criteria van doelmatigheid en doeltreffendheid terwijl het succes van beleid in de praktijk door talloze andere factoren wordt bepaald, zoals de aanvaardbaarheid en beleving ervan, en ga zo maar door. Logisch want, zoals gezegd, deze rationele benadering is geïnstitutionaliseerd in regels, richtlijnen, werkwijzen en procedures voor beleid maken en evalueren.

  Het gaat beter in de praktijk!

  Is het dan louter huilen met de pet op? Nee, langzaamaan groeit er in de praktijk het inzicht dat ook extra-rationele aspecten en daarmee praktijkkennis bepalend zijn voor de inhoud van het beleid. Zo wordt er geoefend met beleidsexperimenten (Camps, 2017; Houppermans, 2017) en het betrekken van andere dan de welbekende stakeholders bij het ontwikkelen van beleid. In de praktijk wordt vaker, en niet alleen bij infrastructurele projecten maar bijvoorbeeld ook bij de energietransitie, een omgevingsmanager aangesteld bij beleid (Commissie Elverding, 2008; Hoogheemraadschap, 2016; Tweede Kamer der Staten-Generaal, 2015-2016); (internet)consultatie wordt gangbaarder zoals met het Integraal Afwegingskader voor beleid en regelgeving (Kenniscentrum Wetgeving en Juridische zaken, 2017); serious gaming wordt toegepast bij beleid, zoals bij de Omgevingswet (Futureproofthehague.com, 2017); en filmbeelden worden ingezet om de menselijke kant bij het functioneren van overheidsorganisaties meer in balans te krijgen met de inhoudelijke kant, relevant voor het beleid (Frijns et al., 2017).
  Ook toont de praktijk dat beleid op diverse manieren tot stand kan komen, mede ook afhankelijk van het type beleidsvraagstuk. Variërend van een eenzijdig politiek besluit zoals de verhoging van de btw op groente en fruit, tot een zeer uitvoerig incrementeel totstandkomingsproces zoals bij de euthanasiewetgeving.

  Het papier gaat nog niet mee …

  In de praktijk zijn er dus duidelijke signalen dat wordt gewerkt aan en met andere manieren van beleid maken, waarin extra-rationele aspecten van belang worden geacht voor de inhoud van het beleid. Manieren die steeds beter aansluiten bij complexe vraagstukken die vragen om overheidsbeleid.
  Echter, de geïnstitutionaliseerde regels en richtlijnen voor het maken en evalueren van beleid zijn hierop nog onvoldoende aangepast. Extra-rationele aspecten en daarmee praktijkkennis, bepalend voor de inhoud van beleid, hebben geen gelijkwaardige geïnstitutionaliseerde positie ten opzichte van rationele aspecten en wetenschappelijke kennis. Je ziet ze niet terug in richtlijnen en procedures voor het maken en evalueren van beleid. De RPE schrijft wél voor dat ex post geëvalueerd moet worden of de vooraf vastgestelde doelstelling is bereikt dankzij het beleid, maar niét of het beleid naar de beleving van de doelgroep succesvol is. Terwijl die beleving wel degelijk relevant kan zijn bij de beoordeling van het beleid, zoals blijkt uit onderstaand voorbeeld.

  Bij de totstandkoming van de Euthanasiewet in 2002 bleek uit onderzoek dat de werking van het programma Steun en Consultatie bij Euthanasie in Nederland (SCEN) destijds nooit wetenschappelijk was aangetoond, maar betrokken partijen in de praktijk wel degelijk het gevoel en de beleving hadden dat het voor hen uitstekend werkte.

  Het papier is onvoldoende aangepast aan de praktijk terwijl dat papier, zoals de RPE, wel leidend is bij de evaluatie en verantwoording over het overheidsbeleid. Gestuurd, beoordeeld en verantwoord wordt louter op rationaliteit. Dat is best begrijpelijk, want minder tastbare en minder kwantificeerbare aspecten van beleid, zoals beleving, zijn soms moeilijk te vatten. Dus wat moet je ermee, ondanks het feit dat ze van grote invloed zijn op het succes van het beleid?

  Resumé

  Rationaliteit is niet per definitie verkeerd, maar wel als daardoor het zicht op de werkelijkheid verloren gaat; als die rationaliteit zo ver is doorgevoerd in procedures en werkwijzen dat gezond verstand en de menselijke component naar de achtergrond verdwijnen; als voor het beleid bepalende maar soms minder goed tastbare aspecten ondergeschikt blijven en als wetenschappelijke kennis prevaleert boven praktijkkennis, ervaringen en emoties. Want met name bij complexe sociaal maatschappelijke vraagstukken is niet wetenschappelijke kennis, maar zijn juist praktijkkennis en ervaringen noodzakelijk om te komen tot effectief beleid en om ex post een volledig beeld te krijgen van het werkelijke succes van het beleid in de praktijk.
  Als het belang van praktijkkennis en ervaringen in de medische wereld een gangbaar uitgangspunt is bij de ontwikkeling van beleid zoals onderstaand voorbeeld illustreert, waarom zou dat niet structureel kunnen gelden in de beleidswereld?

  Woensdag 17 januari 2018. In het RTL 4-programma ‘5 uur live’ vertelt professor Bloem, die aan de Radboud Universiteit onderzoek doet naar Parkinson, over een YouTube-filmpje dat hij vond van een man die leed aan de ziekte. Zelfs met een looprekje kon de man nauwelijks lopen. Per toeval ontdekte het nichtje van de man dat hij echter wel heel goed kon traplopen. Dus ontwierp het nichtje een 3D-print van traptreden die op de gehele vloer van de woning kon worden gelegd, waardoor de man weer gewoon door zijn huis kon lopen. Om iedereen van deze prachtige ontdekking te laten profiteren, wordt de 3D-print nu wijdverspreid en wordt nader wetenschappelijk onderzoek gedaan naar de werking van de hersenen bij verschillende bewegingsvormen.

• Groot politiek voornemen klein beginnen

  Bij een groot politiek voornemen zoals de Operatie Inzicht in Kwaliteit hoort een grootscheepse aanpak. Dat benadrukt immers het belang ervan. Het zou opvallend zijn in het Regeerakkoord te lezen: ‘We kiezen dit keer voor een pragmatische aanpak en we beginnen klein.’ Terwijl dat wel de meeste kans op succes zal geven zoals hier wordt betoogd.
  In een ideale wereld resulteert de Operatie Inzicht in Kwaliteit in een fundamentele wijziging van het geldende rationele beleidsperspectief en daarmee van alle geïnstitutionaliseerde aspecten van beleidsvoorbereiding en -evaluatie: procedures, werkwijzen, bevoegdheden. Het hele rationele systeem zou op zijn grondvesten schudden. In diezelfde ideale wereld is elke ambtenaar intrinsiek gemotiveerd om elk beleid op een goede manier te evalueren en is elke ambtenaar expert in de studie van de beleidsanalyse en beleidsevaluatie. Een ideale wereld met een totaal andere cultuur, enorm effectief beleid en fantastische beleidsevaluaties.
  Dat is nu eenmaal niet de werkelijkheid. En het is maar de vraag of deze ideale wereld te realiseren is, zeker binnen afzienbare termijn en met een Operatie. Desalniettemin blijft de keuze te streven naar deze utopie en daarin veel tijd, geld en ambtelijke mankracht te investeren. Met de kans dat de Operatie uitdooft als een nachtkaars en iedereen de komende jaren weer zijn buik vol heeft van de thematiek.
  Een andere optie is een aanpak die realistischer, pragmatischer, uitvoerbaarder, politiek wenselijker, sneller en goedkoper is. Een aanpak die aansluit bij het bestaande geïnstitutionaliseerde systeem; bij de gebruikelijke werkwijzen en procedures rondom beleid maken en evalueren en dus bij de Haagse mores. Een aanpak die bovendien aansluit bij de natuurlijke manier waarop mensen veranderen, namelijk heel moeizaam. Enige kans op een succesvolle verandering van menselijk gedrag is via de Zone van de Naaste Ontwikkeling (Vygotsky, 1978). Ofwel: oefenen met een nieuwe manier van werken die niet te veel afwijkt van de bestaande manier. Kleine stappen zetten, de boel niet radicaal omgooien en van daaruit verder werken om uiteindelijk toch de gewenste cultuuromslag te bereiken. En die aanpak is: een vernieuwing van de RPE.

• Vernieuwing van de RPE

  De huidige RPE, die in werking trad op 1 januari 2015, bevat voorschriften voor de uitvoering en organisatie van evaluatieonderzoek tijdens en na afloop van het beleid. Beleid wordt beoordeeld op doelmatigheid en doeltreffendheid en wanneer het oordeel positief is, wordt het beleid als effectief beschouwd.

  Kwaliteit is meer dan doelmatigheid en doeltreffendheid

  In werkelijkheid is beleid effectief wanneer het ook aan de criteria van uitvoerbaarheid en aanvaardbaarheid voldoet, maar deze maken geen onderdeel uit van de huidige RPE. Deze criteria omvatten echter wel de extra-rationele aspecten, waaronder praktijkkennis, die bepalend zijn voor de effectiviteit van het beleid.
  Uitvoerbaarheid is de mate waarin het beleid rechtmatig en randvoorwaardelijk uitvoerbaar en handhaafbaar is en door de doelgroep naleefbaar wordt gevonden. Uitvoerbaarheid gaat ook over de mate waarin het beleid consistent is en dus logisch samenhangt met aanpalend beleid. Daarnaast gaat het om de eenvoud van het beleid, ofwel beleid met een heldere doelstelling: weinig complexe regelgeving, korte procedures en zo min mogelijk uitzonderingen.
  Aanvaardbaarheid is de mate waarin het beleid politiek en maatschappelijk draagvlak heeft. Het gaat om de mate waarin het beleid door alle betrokkenen, waaronder de doelgroep, als legitiem en zinvol wordt beschouwd en aansluit bij hun behoeften, normen en waarden.
  Zonder deze twee criteria is het niet goed mogelijk met de huidige RPE ex ante en ex post een volledig beeld te krijgen van het werkelijke succes en de kwaliteit van het beleid. De evaluatie van beleid kan bij wijze van spreken vanachter het bureau worden uitgevoerd door de doelmatigheid en doeltreffendheid simpelweg af te leiden uit nota’s en rapporten. Of het beleid daadwerkelijk werkt in de praktijk en iedereen tevreden is, blijft te veel buiten het zicht.
  Daarbij dient te worden opgemerkt dat beleid niet te allen tijde aan alle vier de criteria zal kunnen voldoen. Zo kan bijvoorbeeld om politiek-bestuurlijke redenen worden besloten tot beleid dat niet per definitie aanvaard is door alle betrokkenen; of is dit inherent aan de aard van het vraagstuk zoals bij de invoering van een bepaalde belastingmaatregel.
  Dat beleid wanneer het geëvalueerd wordt volgens de richtlijnen van de RPE wel doelmatig en doeltreffend kan zijn, maar daarmee niet per definitie ook uitvoerbaar en aanvaard, blijkt het geval bij de Kwaliteitswet Zorginstellingen. De wet was volgens de definitie van de RPE zoals gehanteerd in de evaluatie doeltreffend, want het doel zoals dat vooraf in de wet was vastgesteld, was bereikt: de verantwoordelijkheid voor verantwoorde zorg was bij zorginstellingen gelegd. Echter, uit praktijkonderzoeken die volgden, bleek dat de wet niet goed werkte in de praktijk en onvoldoende uitvoerbaar en aanvaard werd bevonden door zorginstellingen. Dit voorbeeld toont tevens aan dat wanneer bij rijksbeleid strikt wordt geëvalueerd volgens de richtlijnen van de RPE, dit een vertekend beeld van de werkelijkheid kan geven.

  Twee wijzigingen van de huidige RPE

  De vernieuwde RPE kent twee wijzigingen ten opzichte van de huidige RPE:
  

  1. De vernieuwde RPE schrijft voor dat beleid tijdens en na afloop wordt beoordeeld op zowel de doelmatigheid en doeltreffendheid als op de uitvoerbaarheid en aanvaardbaarheid.

  Beleid is effectief wanneer het aan alle vier de criteria voldoet. Daarmee wordt aan de extra-rationele aspecten en daarmee aan praktijkkennis een even grote waarde toegekend voor het beleid als aan de rationele aspecten en wetenschappelijke kennis en wordt het belang hiervan ook geformaliseerd en geïnstitutionaliseerd.

  2. De vernieuwde RPE schrijft voor dat tijdens de beleidsvoorbereiding ex ante wordt geëvalueerd op de vier criteria en dat een feedbackstatement wordt opgesteld.

  Wanneer beleid wordt beoordeeld op doelmatigheid, doeltreffendheid, uitvoerbaarheid en aanvaardbaarheid, dienen deze vier criteria ook leidend te zijn bij de beleidsvoorbereiding. Daarom geldt de verplichting om tijdens de beleidsvoorbereiding ex ante te evalueren op deze vier criteria.
  Aanvullend daarop dient elk nieuw beleid dat naar de Tweede Kamer gaat, voorzien te worden van een feedbackstatement waarin wordt verantwoord op welke wijze de inspraak van belanghebbenden en deskundigen is verlopen tijdens de beleidsvoorbereiding en in hoeverre dit is benut ten gunste van het beleid. Dat gaat verder dan een check op de juridische en financiële componenten van het nieuwe beleid, maar het gaat minstens zozeer om de uitvoerbaarheid en aanvaardbaarheid van het nieuwe beleid (Docters van Leeuwen & Houppermans, 2017).
  In 2006 verviel de verplichting in de RPE om bij elk nieuw beleid voorafgaand aan besluitvorming in de Ministerraad een afweging te maken of een ex ante evaluatie zinvol was. Uit de evaluatie van VBTB in 2004 bleek dat er nauwelijks ex ante evaluaties werden uitgevoerd, deze bovendien voor verbetering vatbaar waren en er dus nauwelijks sprake was van een gestructureerde en systematische afweging van beleid.
  Een ex ante evaluatie is altijd zinvol! Het geeft inzicht in de te verwachten effectiviteit van een investering van publiek geld; het draagt bij aan de kwaliteit van de beleidsvoorbereiding en het vergroot de kans op succesvol beleid. Dat er destijds nauwelijks een afweging van beleid werd gemaakt en de evaluaties van matige kwaliteit waren, had geen reden mogen zijn om de verplichting te schrappen.

  Vernieuwing van RPE impliceert cultuuromslag

  Met deze twee wijzigingen van de huidige RPE kan op termijn op vrij eenvoudige wijze een golf van verbeteringen worden gerealiseerd. Want wanneer de effectiviteit van beleid wordt gedefinieerd op een manier die beter aansluit bij de werkelijkheid, impliceert dat andere manieren van evalueren en uiteindelijk ook andere manieren van beleid maken.
  Het kan bijvoorbeeld betekenen dat het nodig is om andere dan gebruikelijke evaluatiemethoden in te zetten of te combineren, om goed zicht te krijgen op de uitvoerbaarheid en aanvaardbaarheid van beleid in de praktijk. Of dat andere dan gebruikelijke bronnen moeten worden geraadpleegd en bijvoorbeeld gezinnen met kinderen die te maken hebben met jeugdzorgbeleid vaker door de verantwoordelijke rijksambtenaar zelf thuis bezocht moeten worden om te achterhalen waar zij werkelijk behoefte aan hebben en hoe het beleid op hen uitwerkt.
  De kern van de andere manier van werken is dat zowel in de beleidsvoorbereiding als de beleidsevaluatie, de verantwoordelijke rijksambtenaar vaker zelf moeten ervaren hoe de praktijk functioneert en die kennis en ervaringen moet benutten. Dat betekent zelf meer op pad gaan en zich actief begeven in de praktijk van het betreffende beleidsdossier. Niet uitsluitend tijdens een georganiseerd werkbezoek waarbij soms de vraag is of de praktijk niet mooier wordt gepresenteerd dan werkelijk het geval is, maar door bijvoorbeeld een dag in de week mee te lopen op een basisschool wanneer het onderwijsbeleid betreft. Het betekent ook niet uitsluitend als een vanzelfsprekendheid en automatisme afgaan op informatie over het beleid aangeleverd door welbekende stakeholders, belangenbehartigers en branchevertegenwoordigers, maar ook de ‘unusual suspects’ die op een of andere manier betrokken zijn of geraakt worden door het beleid, opzoeken.
  Deze werkwijze resulteert uiteindelijk in een kwalitatief betere beleidsvoorbereiding en transparantere besluitvorming; een grotere kans op effectief beleid en tijdige bijsturing van lopend beleid; evaluaties die een veel beter beeld geven van de effecten van het beleid in de praktijk en dus een betere politieke verantwoording.
  Een vernieuwing van de RPE impliceert een vernieuwing van werken. Het is een cultuuromslag die eenvoudig, snel, goedkoop en politiek veilig te realiseren is. Bovendien is het meetbaar en concreet, twee essentiële elementen van een cultuurverandering (Straathof & Van Dijk, 2003; Kotter, 2011). Direct is zichtbaar of het werken met de vernieuwde RPE resulteert in betere evaluaties ex ante en ex post. En, voor alle betrokkenen is het heel concreet wat zij moeten doen, welk gedrag zij moeten vertonen.
  Bovendien zou een vernieuwing van de RPE beter aansluiten bij de praktijk waarin, zoals beschreven, vaker op andere manieren beleid wordt gemaakt die beter aansluiten bij de complexiteit van maatschappelijke vraagstukken. Vernieuwing van de RPE kan voorkomen dat dit slechts incidenten blijven, en ertoe bijdragen dat de andere manieren van werken structureler en voor vele beleidsterreinen gaan gelden en dat beleid hierop ook wordt beoordeeld.

• Maak van de stok een wortel

  Verplicht iets moeten doen, zoals ook met een RPE, klinkt niet aantrekkelijk. Toch is het wel het meest eenvoudige aanknopingspunt voor structurele verbeteringen op de lange termijn.
  Ambtelijke handreikingen zijn niet noodzakelijk om te komen tot effectief beleid of betere evaluaties. Ze kunnen zelfs behoorlijk ongewenste effecten hebben, zoals wanneer het doorlopen van een handreiking belangrijker wordt dan komen tot een echt goede beleidsaanpak. Bovendien kan een handreiking een schijnwerkelijkheid creëren wanneer kwaliteit op papier geborgd is maar de praktijk anders blijkt.
  De aanwezigheid van een handreiking garandeert dus niets. De afwezigheid ervan echter wel, namelijk dat er weinig gebeurt. Een ambtelijke organisatie draait nu eenmaal op procedures, voorschriften en regels. Wanneer deze voor een bepaald onderwerp ontbreken, is de kans klein dat er op structurele basis aandacht is voor dat onderwerp (Niskanen, 1971). Dat geldt op zijn minst voor evalueren, dat vaak als corveeklusje wordt gezien. Zo werden ondanks de destijds geldende verplichting in de RPE nauwelijks ex ante evaluaties uitgevoerd. Afschaffing van die verplichting om die reden deed de (structurele) aandacht voor deze thematiek zakken tot een dieptepunt. Verankering en discipline zijn kritische factoren in cultuurveranderingsprocessen. Dat geldt ook voor het periodiek en systematisch meten. Want wat niet gemeten wordt, wordt meestal niet belangrijk gevonden (Bossidy & Charan, 2002).
  Vernieuwing van de RPE is een noodzakelijke voorwaarde voor de beoogde cultuuromslag. Immers, wanneer die omslag gemaakt moet worden zonder dat dit op enige wijze institutioneel wordt verankerd, lijkt het er sterk op dat die omslag niet echt belangrijk wordt gevonden en wordt vereist van iedereen.
  Natuurlijk zou het ideaal zijn wanneer elke ambtenaar intrinsiek gemotiveerd is om te komen tot betere evaluaties ex ante en ex post en iedereen eigenaarschap voelt voor de thematiek, zoals Dijsselbloem voorstond (Tweede Kamer der Staten-Generaal, 2016-2017). Maar dat is simpelweg niet de realiteit. Niet elke ambtenaar heeft een beleidswetenschappelijke achtergrond; de waan van de dag vraagt om andere prioriteiten, en zo zijn er meer denkbare verklaringen. Wanneer komt het ambtelijk apparaat over het algemeen in actie? Wanneer het voorgeschreven is en er dus een noodzaak is; en het liefst nog wanneer er geld en een politiek risico mee gemoeid zijn (Mintzberg, 1995; Scott-Morgan, 1995; Lemstra et al., 1996; Thuis, 1999; Boonstra et al., 2005).
  Een cultuuromslag realiseren is lastig, vooral binnen de kaders van een log instituut met vele regels, procedures en een sterke hiërarchie. De beoogde omslag is niet door de strot te duwen, maar het ontstaat ook niet vanzelf. En hoewel het idealiter vanuit intrinsieke motivatie plaatsvindt, is dat weinig realistisch, vooral bij de thematiek van evalueren. Immers, anders was het toch al gebeurd?
  De vernieuwde RPE verplicht stellen kan ertoe bijdragen dat de motivatie groeit (maar is uiteraard geen garantie voor motivatie). Soms is simpelweg even iets nodig om op gang te komen of om je te realiseren dat een onderwerp interessant of belangrijk genoeg is om je ermee bezig te houden. Na verloop van tijd wordt sporten ook weer leuk, nadat je een tijdje alleen maar op de bank hebt gehangen.

  Marketingcampagne

  De invoering van de vernieuwde RPE dient gepaard te gaan met een stevige marketingcampagne. Iedereen moet weten van de vernieuwde RPE en weten hoe deze toe te passen. Bovendien stimuleert een campagne dat er over de thematiek gepraat wordt en dat het mensen aan het denken zet. ‘There is no such thing as bad publicity.’

  Helpdesk van experts

  Het toerusten van gebruikers met kennis en kunde over de vernieuwde RPE is essentieel. Het organiseren van evaluatiecursussen, nu al onderdeel van de Operatie Inzicht in Kwaliteit, sluit hierop aan. Maar omdat evalueren voor veel ambtenaren geen routineklus is en een evaluatie soms maar een enkele keer in een ambtelijke loopbaan wordt uitgevoerd, moet een helpdesk beschikbaar komen van onafhankelijke experts op het gebied van beleidsvoorbereiding en beleidsevaluatie. Dat kan in aangepaste vorm in de rol van de onafhankelijk deskundige zoals al opgenomen in de huidige RPE (2015).

  Sturing vanuit Financiën

  Het ministerie van Financiën heeft een belangrijke rol bij het succes van de vernieuwde RPE. Die rol is tweeledig. Enerzijds dient het ministerie strikt te sturen op toepassing van de vernieuwde RPE; de stok. Het gaat dan niet alleen om de toepassing van dat instrument bij nieuw, gewijzigd of afgerond beleid, maar ook om de financiële consequenties die de uitkomsten van ex ante of ex post evaluaties hebben voor het beleid. Bijvoorbeeld door verscherpt voorafgaand toezicht bij elk nieuw of gewijzigd beleid op basis van de aanwezigheid van een goede ex ante evaluatie.
  Anderzijds dient het ministerie meer ruimte en overleg te bieden bij de methodologische toepassing van de vernieuwde RPE, waardoor het instrument niet alleen als verplicht keurslijf wordt gezien maar ook als nuttige ondersteuning voor een goede uitvoering van het werk; de wortel. Door bijvoorbeeld niet star vast te houden aan het idee dat beleid altijd moet worden geëvalueerd op de vooraf vastgestelde doelen of via een reconstructie van de beleidstheorie. Soms zijn die doelen niet helder of in de loop der tijd gewijzigd, zoals vaak het geval is bij sociaaleconomisch beleid dat een lange looptijd kent. Ook is denkbaar dat er überhaupt geen beleidstheorie te reconstrueren is, omdat beleid de uitkomst was van een politieke keuze. Die constatering is wellicht niet iedereen welgevallig of politiek opportuun maar mag zeker wel verantwoord worden in een evaluatie.
  Ook heeft het weinig zin te eisen dat doelen te allen tijde SMART worden geformuleerd. Want, gezien de complexiteit van maatschappelijke problemen en de betrokkenheid van veel verschillende partijen, is vaak sprake van een veelheid aan definities en dimensies van het beleidsprobleem en een grote diversiteit aan doelen. In een aantal gevallen kan het dan zinvoller zijn om problemen en doelen als richtinggevend te formuleren in plaats van als vaststaande tot in detail geconcretiseerde begrippen. Zodoende wordt ruimte geboden voor aanpassingen op basis van nieuwe ontwikkelingen en inzichten in het beleid. Dit is met name relevant bij beleid voor sociaaleconomische vraagstukken en de gezondheidszorg, dat vaak zeer complex en verweven is en een lange looptijd kent, waardoor doelen na verloop van tijd veranderd of niet meer helder kunnen zijn. Idealiter is het uitgangspunt dat doelen zo concreet mogelijk geformuleerd worden, maar dat die concretisering geen doel op zich moet worden en in sommige gevallen richtinggevende begrippen beter passend zijn.
  En soms is voor een evaluatie meer tijd nodig, bijvoorbeeld wanneer effecten nog niet zijn opgetreden of omdat een minder conventionele evaluatiemethode wordt ingezet om een beter zicht te krijgen op de beleidseffecten in de praktijk. Een langere periode meelopen in verschillende zorginstellingen om goed zicht te krijgen op de werking van het ouderenbeleid zal meer tijd kosten dan een check of doelen volgens ingeleverde managementrapportages zijn bereikt. Niet in alle gevallen zal meer tijd gegeven kunnen worden, soms vereist de politieke waan van de dag anders; desalniettemin moet meer tijd niet in alle gevallen al bij voorbaat worden uitgesloten.
  Evalueren gaat om de vraag of en zeker ook waarom het beleid werkt, of naar verwachting zal werken, in de praktijk. In de vernieuwde RPE moet centraal staan of de wijze waarop het antwoord hierop in kaart is gebracht, transparant en verantwoord is. Onderstaand voorbeeld toont het belang aan van een evaluatie waarin dieper wordt ingegaan op mogelijke verklaringen voor het optreden van gewenste effecten en daarmee voor de vraag waarom beleid werkt.

  Sinds 1 januari 2016 mogen winkels geen gratis plastic tasjes meer uitdelen, om zwerfvuil en verspilling van grondstoffen te voorkomen. Bovendien wil de overheid ook het bewustzijn van consumenten vergroten. Uit onderzoek van onderzoeksbureau SAMR in opdracht van het ministerie van Infrastructuur en Milieu (2017) blijkt dat we vaker zelf een tas meenemen en vrijwel geen winkel beboet is voor overtreding van het verbod. In het onderzoek wordt een duidelijke relatie gelegd tussen het ingevoerde verbod en het opgetreden beoogde effect, maar of dat terecht is, is de vraag.
  Een ‘traditionele’ evaluatie waarbij een vergelijking wordt gemaakt tussen de situatie voor en na de invoering van het verbod en waarin uitgegaan wordt van een relatief eenduidige causaliteit, geeft een te beperkt beeld van de werkelijkheid waarom het verbod daadwerkelijk effect sorteert. Het gaat voorbij aan mechanismen en factoren die mogelijk nog bepalender zijn voor de doelrealisatie dan het verbod op zichzelf is.
  In deze casus blijkt de invoering van het wettelijke verbod namelijk de logische hekkensluiter te zijn van een proces dat al jaren daarvoor was ingezet door de detailhandel. Dat dan het beoogde effect optreedt, ligt eerder aan het reeds lang in gang gezette proces, dan aan de invoering van het verbod.
  Enige jaren voordat het verbod werd ingevoerd, bleek de detailhandel namelijk al veel initiatieven te ondernemen om het aantal gratis tasjes terug te dringen. Sommige supermarkten en bouwmarkten gaven al geen tasjes meer en de detailhandel kwam met een campagne om het belang van minder tasjes duidelijk te maken. De overheid was helder: winkels moesten zelf zorgen voor minder tasjes. Een proef van de Raad Nederlandse Detailhandel en het Kennisinstituut Duurzaam Verpakken toonde aan dat wanneer consumenten om een kleine bijdrage werd gevraagd en daarbij de negatieve gevolgen van tasjes voor het milieu werd uitgelegd, dit leidde tot vermindering van het aantal tasjes.
  Het proces ging de goede kant op en zeker niet uitgesloten kan worden dat juist dit proces, en niet louter het verbod op zichzelf, heeft geresulteerd in de beoogde gedragsverandering bij consumenten. Want wanneer je niet meer vanzelfsprekend overal een gratis tasje krijgt en regelmatig in winkels en in de media wordt geconfronteerd met informatie over de schadelijke effecten van de plastic soep en het aantal dieren dat daaraan overlijdt, zal je bewustzijn toenemen. Dat begrippen als duurzaam, groen, lokaal en bewust ook al enige jaren een enorme trend zijn, zal hieraan zeker bijdragen.

  Geen garanties

  Natuurlijk zijn er geen garanties te geven dat het verplicht stellen van een vernieuwde RPE werkt. Feit is wel dat de grootste initiatieven in het verleden waarbij sterker de aandacht werd gericht op doeltreffendheid en doelmatigheid en de verplichting om ex ante te evalueren juist werd afgeschaft, in elk geval niet hebben gewerkt. Feit is ook dat er in de praktijk duidelijke signalen zijn dat beleid ook op andere manieren wordt ontwikkeld die beter aansluiten bij de complexiteit van maatschappelijke vraagstukken. Dan is het toch logisch dat de wijze van evalueren en de regelgeving hierop worden aangepast?

• Samengevat advies en conclusie

  Het advies om de beoogde cultuuromslag te realiseren via vernieuwing van de RPE kan als volgt worden samengevat:

  1. Breng twee wijzigingen aan in de huidige RPE (2015):

     1. Beleid dient tijdens en na afloop beoordeeld te worden op zowel de doelmatigheid en doeltreffendheid als op de uitvoerbaarheid en aanvaardbaarheid.

     2. Tijdens de beleidsvoorbereiding dient ex ante geëvalueerd te worden op deze vier criteria en dient een feedbackstatement opgesteld te worden.

  2. Voer de vernieuwde RPE in met een intensieve marketingcampagne.

  3. Installeer een permanent beschikbare helpdesk van experts.

  4. Stuur strikt op de toepassing van de vernieuwde RPE en koppel hieraan financiële consequenties.

  5. Bied ruimte en overleg bij de methodologische toepassing van de vernieuwde RPE.

  Conclusie

  Met de Operatie Inzicht in Kwaliteit wil het kabinet effectiever overheidsbeleid bereiken, door meer inzicht in de doelmatigheid en doeltreffendheid van het beleid en verbetering van het evaluatiestelsel. Bovendien moet de Operatie een cultuuromslag realiseren, niet via verplichte voorschriften maar via meer intrinsieke betrokkenheid van ambtenaren bij beleid maken en evalueren.
  Zo’n grootse Operatie kost veel tijd en geld en heeft een politiek risico. Het verleden kent immers vergelijkbare weinig succesvolle initiatieven en het ambtelijk apparaat is nu eenmaal weinig veranderbaar. Zolang het uitgangspunt blijft dat effectiever overheidsbeleid te realiseren is door meer aandacht voor doelmatigheid en doeltreffendheid, is de kans op resultaat klein en sluit de Operatie aan in de lange rij van initiatieven uit het verleden. Simpelweg omdat door een te sterke focus op doelmatigheid en doeltreffendheid een belangrijk deel van de beleidspraktijk buiten het zicht blijft, namelijk de uitvoerbaarheid en aanvaardbaarheid van het beleid in de praktijk. Met de huidige RPE wordt beleid immers geëvalueerd op de mate waarin de doelen zijn bereikt zoals die vooraf zijn vastgesteld. De beleidspraktijk kan er echter totaal anders uitzien.
  Pas wanneer de twee criteria uitvoerbaarheid en aanvaardbaarheid op eenzelfde manier als doelmatigheid en doeltreffendheid worden geïnstitutionaliseerd in het evaluatiestelsel, namelijk door ze op te nemen in een vernieuwde RPE, kunnen de voorbereiding en evaluatie van beleid pas echt verbeteren en resulteren in effectiever beleid en betere politieke verantwoording.
  De cultuuromslag zal dan vanzelf plaatsvinden. Wanneer enerzijds een verplichting geldt om bij nieuw, gewijzigd en afgerond beleid met de vernieuwde RPE te werken en anderzijds intensief en langdurig wordt geïnvesteerd in verbetering en ondersteuning van de beleidskundige kennis op departementen, wordt na verloop van tijd het werken met de vernieuwde RPE een vanzelfsprekendheid. En daaruit vloeien een nieuwe werkwijze en een nieuw perspectief op beleid voort, die veel beter aansluiten bij de werkelijkheid en gegarandeerd resulteren in meer Inzicht in Kwaliteit.
  Een cultuuromslag is dus wel degelijk te realiseren met een voorschrift. Want hoewel handreikingen geen garantie zijn voor succes en een verplichting weerstand kan oproepen, biedt zoals toegelicht de afwezigheid van een handreiking in een ambtelijke organisatie zeker enige garantie dat er weinig zal veranderen.
  Een cultuuromslag via een vernieuwing van de RPE is eenvoudig, snel, goedkoop en politiek veilig.

Literatuur

• Dit essay is gebaseerd op het proefschrift inclusief de daarin vermelde bronnen: Houppermans, M.K. (2011). Twee kanten van de medaille: Een onderzoek naar de kwaliteit van de beleidsvoorbereiding. Delft: Eburon. Ten behoeve van de leesbaarheid van dit essay is geen nadere bronspecificatie per alinea vermeld. Deze is op aanvraag bij de auteur beschikbaar.

• Aanvullend zijn onderstaande bronnen geraadpleegd:

• Algemene Rekenkamer. (2017). Staat van de rijksverantwoording 2016: Inzicht in publiek geld.

• Boonstra, J.J., Steensma, H.O., & Demenint, M.I. (2005). Ontwerpen en ontwikkelen van organisaties: Theorie en praktijk van complexe veranderingsprocessen. Den Haag: Reed Business Information.

• Bossidy, L., & Charan, R. (2002). Execution: The discipline of getting things done. London: Random House.

• Camps, M. (2017). Durf te leren. Op 14 februari 2017 ontleend aan https://esb.nu/esb/20022295/durf-te-leren

• Commissie Versnelling Besluitvorming Infrastructurele Projecten (Commissie Elverding). (2008). Sneller en beter. Op 29 januari 2018 ontleend aan https://www.rijksoverheid.nl/documenten/rapporten/2008/04/21/het-advies-van-de-commissie-versnelling-besluitvorming-infrastructurele-projecten

• Docters van Leeuwen, A., & Houppermans, M.K. (2017). Beter beleid: Volg Brussel. Binnenlands Bestuur. Op 12 februari 2018 ontleend aan http://www.binnenlandsbestuur.nl/bestuur-en-organisatie/nieuws/beter-beleid-kijk-naar-en-volg-brussel.9576490.lynkx.

• Frijns, P., Dols, R., Koole, R., & Van Leeuwen, F. (2017). Gelukkig veranderen: Het gebruik van filmfragmenten bij verandertrajecten. Van Duuren Management.

• Futureproofthehague.com. (2017). Serious gaming omgevingswet. Op 29 januari 2018 ontleend aan https://futureproofthehague.com/posts/serious-gaming-omgevingswet

• Hoogheemraadschap van Schieland en de Krimpenerwaard. (2016). Symposium over de rol van de omgeving op het beleid. Op 29 januari 2018 ontleend aan https://www.schielandendekrimpenerwaard.nl/actueel/nieuws-2016/symposium-over-de-rol-van-de-omgeving-op-het-beleid

• Houppermans, M.K. (2017). Meer rendement halen uit investeringen in een betere beleidsvoorbereiding. Ontleend op 29 januari 2018 aan http://www.beleidsonderzoekonline.nl/tijdschrift/bso/2017/6/BO_2213-3550_2017_000_003_001

• Interdepartementaal Overlegorgaan Financieel Economische Zaken. (2004). Eindrapport VBTB- evaluatie: Lessen uit de praktijk. In december 2008 ontleend aan http://www.ppintaal.nl/webservice/Begroting/VBTB-evaluatie_IOFEZ.pdf

• Kenniscentrum Wetgeving en Juridische zaken. (2017). Integraal afwegingskader beleid- en regelgeving. Op 29 januari 2018 ontleend aan https://www.kcwj.nl/kennisbank/integraal-afwegingskader-beleid-en-regelgeving

• Kotter, J.P. (2011). Leiderschap bij verandering. Amsterdam: Academic Service.

• Lemstra, W., Versteden, C.J.N., & Kuijken, W.J. (1996). Handboek overheidsmanagement. Alphen aan den Rijn/Brussel: Samsom H.D. Tjeenk Willink.

• Mintzberg, H. (1995). Organisatiestructuren. Schoonhoven: Academic Service.

• Niskanen, W.A. (1971). Bureaucracy and representative government. Chicago: Aldine-Atherton.

• Regeerakkoord Vertrouwen in de toekomst. Regeerakkoord 2017-2021. VVD, CDA, D66 en Christenunie (10 oktober 2017).

• Rijksbegroting. (2014). Regeling van de Minister van Financiën van 15 augustus 2014 houdende regels voor periodiek evaluatieonderzoek (Regeling Periodiek Evaluatieonderzoek). Op 25 januari 2018 ontleend aan http://www.rijksbegroting.nl/system/files/6/regeling-periodiek-evaluatieonderzoek-rpe-2015.pdf

• Rijksbegroting. (2018). Evaluaties van beleid. Op 29 januari 2018 ontleend aan http://www.rijksbegroting.nl/beleidsevaluaties

• Rijksoverheid. (10 april 2017). Kamerbrief aandachtspunten commissie financiën over focusonderwerp en operatie inzicht in kwaliteit. Op 19 januari 2018 ontleend aan https://www.rijksoverheid.nl/documenten/kamerstukken/2017/04/10/kamerbrief-aandachtspunten-commissie-financien-over-focusonderwerp-en-operatie-inzicht-in-kwaliteit

• SAMR. (2017). Jaar na verbod op gratis verstrekking: circa 70% minder plastic tassen uitgegeven door retailers. Rapport – impact verbod gratis plastic tassen onder retailers | april 2017. Op 7 februari 2018 ontleend aan: https://www.rijksoverheid.nl/actueel/nieuws/2017/04/18/onderzoek-winkeliers-zien-forse-afname-plastic-tasjes

• Scott-Morgan, P. (1995). De ongeschreven regels van het spel. Groningen/Antwerpen: Boekwerk.

• Straathof, A., & Van Dijk, R. (2003). Cultuurverandering bij de overheid: sturen of sleuren? Utrecht: Lemma.

• Thuis, P. (1999). Toegepaste organisatiekunde. Groningen: Wolters-Noordhoff.

• Tweede Kamer der Staten-Generaal. (1999-2000). Organisatie van beleidsevaluatie, 27065, nr. 2.

• Tweede Kamer der Staten-Generaal. (1999-2000). Van beleidsbegroting tot beleidsverantwoording. Brief van de Algemene Rekenkamer, 26573, nr. 6.

• Tweede Kamer der Staten-Generaal. (2015-2016). Samen energieprojecten realiseren: visie op omgevingsmanagement, 31239, nr. 211.

• Tweede Kamer der Staten- Generaal. (2016-2017). Verbetering verantwoording en begroting, 31865, nr. 95.

• Vygotsky, L.S. (1978). Mind in society: The development of higher psychological processes. Cambridge, MA: Harvard University Press.