• Digitalisering en ‘evidence-based’ beleid

  Met de digitalisering van de samenleving en de overheid nemen de mogelijkheden van het analyseren van allerlei processen toe. Gesteund door datasets die door sensoren en andere elektronische registratiesystemen worden verzameld en bewerkt, is het al op verschillende terreinen mogelijk snel een beeld te vormen van gedrag of de daadwerkelijke situatie in onze samenleving. Zo analyseren zorgverzekeraars tegenwoordig alle ingediende declaraties. Daarbij komen allerlei fraudepatronen aan het licht, van patiënten die plotseling geheel andere stoornissen lijken te hebben tot zorgverleners die meer minuten declareren dan een dag lang is (Olsthoorn, 2016b; zie ook Olsthoorn, 2016a). Een geheel andere toepassing betreft de ‘koopkrachtplaatjes’ bij nieuwe belastingmaatregelen: die waren tot voor kort gebaseerd op ingewikkelde berekeningen op basis van ‘typische’ persoonlijke profielen, maar kunnen nu direct worden gebaseerd op de gegevens van alle Nederlanders waarover de belastingdienst al beschikt. In beide voorbeelden spelen ‘big data’ – nieuw beschikbare of geproduceerde data met vaak een rijkdom aan detail – een grote rol.

  Met de nieuwe data die in het verleden niet beschikbaar waren, kunnen de effecten van beleid soms beter in kaart worden gebracht en de ideeën die aan het beleid ten grondslag liggen, worden getoetst. Natuurlijk waren er in het verleden ook veel data beschikbaar, maar met de digitalisering van de samenleving nemen die mogelijkheden, waaronder in de vorm van ‘big data’, enorm toe. Dat biedt dus ook nieuwe mogelijkheden voor beleidsevaluatie, zowel bij de beleidsformulering als de beleidsuitvoering.¹xZie Giest (2017) voor een kritische bespreking van de zich ontwikkelende literatuur over de invloed van ‘big data’ op de overheid en beleid.

  Het opvallende is dat met de verruiming van beschikbare data ook sprake is van een tweede trend in Nederland. In de afgelopen jaren bepleiten verschillende adviesorganen om beleid meer op basis van wetenschappelijke inzichten te onderbouwen,²xDat wordt ‘evidence-based’ beleid genoemd. Over wat ‘evidence-based’ beleid is, bestaan verschillende visies. In het algemeen wordt hiermee beleid bedoeld waarbij een interventie (dat wil zeggen: de beleidsinstrumenten of middelen) op basis van bestaande wetenschappelijke inzichten is gekozen. Daarbij kunnen inzichten uit evaluatieonderzoek een rol spelen. Een wat ‘specifiekere’ opvatting gaat ervan uit dat ook tijdens de beleidsuitvoering, op basis van wetenschappelijke methoden en technieken, wordt geleerd, waarbij de resultaten een rol kunnen spelen om het beleid aan te passen. Tot slot vinden sommigen de term ‘based’ te sterk omdat dit een deterministische relatie met de interventie zou suggereren. In dat geval wordt soms over ‘evidence-informed’ beleid gesproken. vooral omdat er nog steeds beperkte kennis bestaat over doelbereiking en effectiviteit van overheidsbeleid.³xDe mate van doelbereiking en doeltreffendheid zijn twee verschillende concepten. De mate van doelbereiking geeft aan in welke mate de doelstellingen in het kader van beleid zijn gerealiseerd. Omdat doelstellingen in termen van uitkomsten of effecten (‘outcomes’) zijn beschreven, gaat het daarbij om de mate waarin die uitkomsten zijn bereikt. Doeltreffendheid of effectiviteit gaat verder en legt ook een causale relatie tussen de ingezette middelen (de interventie) en de beleidsuitkomsten. Het is denkbaar dat sprake is van doelbereiking, maar dat de ingezette middelen daar maar in beperkte mate aan hebben bijgedragen. Andere, externe factoren kunnen daarbij een rol hebben gespeeld. Doelmatigheid is een ander concept. Dat legt een relatie tussen de ingezette hulpmiddelen (‘input’) en de prestaties (‘output’) die de overheid heeft geleverd. Tot slot, die prestaties kunnen leiden tot uitkomsten (‘outcomes’). De Algemene Rekenkamer (2015) constateerde in 2014 al dat beleidsdoorlichtingen op dit punt kunnen worden verbeterd.⁴xDe zorg van de Rekenkamer over het beperkte inzicht over de effectiviteit van beleid komt ook in de latere jaarrapporten naar voren. De Tweede Kamer sloot zich daarbij aan. In 2016 adviseerde de Studiegroep Begrotingsruimte (2016) van het ministerie van Financiën om te komen tot betere informatie over de doelmatigheid en effectiviteit van beleid. Dit door betere kennisdeling, ook met externe partijen, en meer flexibiliteit bij het toepassen van beleidsinstrumenten. Het idee om beleid beter met kennis te ondersteunen krijgt ook bijval van onder meer de planbureaus en veel kennisinstellingen. ‘Evidence-based’ beleid zou een gangbare praktijk moeten zijn, waarin het evalueren en beoordelen van beleid een vast onderdeel is bij beleidsformulering en beleidsuitvoering. Daarbij past wel een kritische kanttekening over waar wetenschappelijke kennis over beleid overloopt in politiek. In een studie van het Rathenau Instituut wordt terecht opgemerkt dat wetenschappelijke kennis geen vervanging kan zijn van het stellen van politieke prioriteiten (Slob & Staman, 2012).

  Met de roep naar een meer centrale rol voor wetenschappelijke kennis in het beleidsproces komt de vraag voren hoe dat vorm moet krijgen. Daarnaast is het door de digitalisering mogelijk om over meer data te beschikken, die bovendien vaak ‘real time’ wordt bijgewerkt aan de werkelijke stand van zaken. Wanneer er data in de vorm van informatie over de effecten van beleid beschikbaar zijn, wat al het geval is bij verschillende voorbeelden van dashboards en andere monitoringsystemen, biedt dat nieuwe mogelijkheden. In de eerste plaats heeft dat gevolgen voor beleidsanalyse. Met beleidsanalyse bedoel ik het geheel van methoden en technieken waarmee we proberen een beter inzicht in de mogelijke effecten van beleid te krijgen. Dat kan gaan om de verschillende mogelijkheden tussen enerzijds de ex-ante technieken om mogelijke effecten op voorhand in te schatten ten behoeve van beleidsformulering, en anderzijds ex-post technieken met betrekking tot het evalueren van de uitvoering van beleid achteraf. Met het sneller beschikbaar komen van meer informatie over hoe beleid werkt en wat de effecten zijn, kunnen we meer dynamische instrumenten van beleidsanalyse gaan gebruiken. In de tweede plaats kan het gebruik van deze nieuwe technieken invloed hebben op de organisatie waarin zij worden gebruikt. Wanneer beleidsuitvoerders beter in staat zijn het uitvoeringsproces te volgen en meer informatie hierover hebben, dan levert dat versterking van hun positie op. Wat zijn daarvan de gevolgen?

  In deze bijdrage ga ik in op de gevolgen van de voortschrijdende digitalisering van de samenleving en de overheid, met name voor de wijze waarop wij beleidsanalyses uitvoeren maar ook hoe wij beleidsuitvoering organiseren. Verder kent adaptieve beleidsvoering zoals die in deze bijdrage wordt beschreven verschillende uitdagingen, waaronder het kunnen meten van overheidsprestaties, het willen werken met data door uitvoerders en de dynamiek van beleid. Dat zijn belangrijke uitdagingen voor het beleidsonderzoek in de komende jaren, waarmee de digitaliserende overheid met raad en daad kan worden bijgestaan.

• Ex-post, ex-ante en ex-durante vormen van beleidsanalyse

  Informatie over allerlei vormen van gedrag komt steeds meer, makkelijker en sneller beschikbaar. Met nieuwe data nemen de mogelijkheden toe om met allerlei tools direct inzicht te krijgen in hoe beleid op de samenleving ingrijpt. Via navigatiesystemen van voertuigen en sensoren in stoplichten is de verkeerscirculatie te volgen. Dat biedt mogelijkheden om de doorstroming te regelen en filevorming te beperken. Een stap verder is om, zoals Singapore dat doet, de prijs voor het gebruik van bepaalde wegen afhankelijk te laten zijn van de verkeersdrukte. Naarmate meer voertuigen een weg willen gebruiken, neemt de prijs toe met het doel het gebruik te ontmoedigen. Een andere toepassing zijn sensoren op afvalverzamelpunten, waardoor het legen van wijkcontainers afhankelijk wordt van hun benutting en niet meer op basis van een vast rooster. Daarmee kan afvalverwijdering doelmatiger en goedkoper worden. Ook wordt voorkomen dat sommige afvalverzamelpunten ‘vol’ zijn, wat kan bijdragen aan meer zwerfvuil. Informatie over effecten (bijvoorbeeld verkeerscongestie of afvalaanbod) levert daarmee een mogelijke impuls tot aanpassing van de beleidsinterventie (bijvoorbeeld prijsverhoging in Singapore of een extra leging van een bepaalde afvalcontainer). Deze meer procesmatige aanpak van beleid, die door dashboards en andere systemen mogelijk wordt, heeft gevolgen voor de mogelijkheden van beleidsanalyse. Tot nu toe wordt vaak onderscheid gemaakt tussen ex-post en ex-ante evaluaties, maar met de digitalisering zullen procesevaluaties aan belang winnen.

  Ex-post evaluaties richten zich vooral op beleid dat al een aantal jaren wordt uitgevoerd en waarbij wordt nagegaan of inderdaad sprake is van doelbereiking en effectiviteit. Ex-post studies worden vaker uitgevoerd, maar niet altijd. Wat betreft evaluaties die in het kader van Europese wetgeving moeten worden uitgevoerd, laten Mastenbroek et al. (2016: 1338-1340) zien dat maar in een derde van de gevallen ook daadwerkelijk zo’n studie wordt uitgevoerd. Verder wisselt de methodologische kwaliteit sterk: in ongeveer iets minder dan de helft van het aantal studies was sprake van voldoende kwaliteit. In een eerdere studie naar Nederlandse evaluatiestudies komen Klein Haarhuis en Niemeijer (2009: 403) tot een beter resultaat. Op basis van hun methode zou ongeveer 79% van de Nederlandse studies kwalitatief voldoende zijn. In deze studies wordt vaak ook op effectiviteit ingegaan, maar dat is moeilijker aan te tonen. Het vaststellen van effectiviteit vraagt namelijk om het aannemelijk maken van causaliteit tussen de grootheden in de beleidstheorie, waarvoor in het empirische deel van het onderzoek alternatieve of rivaliserende verklaringen moeten worden uitgesloten.

  Ex-ante evaluaties zijn, zoals de ‘impact assessments’ waarvan de Europese Commissie veel gebruikmaakt, methoden om te komen tot een inschatting van de effecten van het beoogde beleid. Dat speelt een rol bij beleidsformulering, wanneer er nog gekozen moet worden hoe het beleid zal worden aangepakt. Deze vorm van evaluatie kan natuurlijk steunen op het onderzoek naar hoe het beleid in de afgelopen jaren heeft uitgewerkt. Daarmee zijn ex-post evaluaties vaak de input voor ex-ante verkenningen. Daarnaast kan men voor ex-ante evaluaties gebruikmaken van simulaties. Daarbij worden eerder geschatte samenhangen gebruikt om de gevolgen te kunnen bepalen van een verandering in één van de input-indicatoren op de indicatoren voor de effecten van beleid. Die techniek laat dan zien hoe zo’n verandering doorwerkt in de te verwachten effecten.

  Een belangrijk kenmerk van beide vormen van evalueren is dat gebruik wordt gemaakt van data uit het verleden. Bij ex-post evaluaties is dat het meest duidelijk omdat het doel is het beoordelen van de beleidsuitvoering over de afgelopen jaren. Ook ex-ante evaluaties zijn vaak sterk retrospectief vanwege het feit dat gebruik wordt gemaakt van de inzichten uit ex-post evaluatieonderzoek. Die inzichten zijn natuurlijk waardevol, maar we kunnen niet uitsluiten dat er in de loop van de tijd veranderingen optreden, bijvoorbeeld veranderingen in de prioriteiten die de overheid wil nastreven, of veranderingen in het beleidsveld. Voor simulaties waarbij gebruik wordt gemaakt van data uit eerdere jaren, speelt iets soortgelijks. Eerder geschatte samenhangen (of patronen), zeker wanneer die langs inductieve weg zijn gevonden, zijn een weergave van iets dat in het verleden heeft plaatsgehad. Onder druk van de sociale dynamiek kunnen die patronen veranderen, waardoor een samenhang die eerder aanwezig leek, nu minder aanwezig is of helemaal niet meer opgaat.

  Gelet op het retrospectieve karakter van veel evaluaties is er behoefte ontstaan aan meer procesmatige vormen waarmee wordt meebewogen met het beleidsproces. Dat heeft geleid tot ex-durante evaluaties. Dit zijn vormen die nauw met het uitvoeringsproces zijn verbonden. In een ex-durante evaluatie wordt regelmatig naar de uitvoering gekeken aan de hand van een vooraf vastgestelde lijst van indicatoren. Dat kunnen indicatoren zijn ten aanzien van de beleidsprestaties (‘output’) en/of de beleidsuitkomsten (‘outcomes’). Verder geven deze indicatoren aan hoe de uitvoering verloopt en of er reden is tot bijsturing. Een voorbeeld van zo’n ex-durante evaluatie is de monitor ‘anti-witwasbeleid’, bedoeld om de resultaten van dit beleid in kaart te brengen. Daarmee wordt een belangrijke stap gezet naar het meer systematisch ordenen en analyseren van informatie. Tegelijkertijd wordt, en zeker in deze monitor, nog noodgedwongen gebruikgemaakt van data van enkele jaren terug.⁵xZie de Brief van de minister van Veiligheid en Justitie van 18 februari 2016, Kamerstukken II 2015/16, 31477, 11 waarin wordt gemeld dat deze monitor ‘(…) een overzicht [geeft] van de resultaten van de uitvoering van het anti-witwasbeleid over de jaren 2010 tot en met 2013’; zie over deze beleidsmonitor Van der Knoop en Rollingswier (2015). Een tweede voorbeeld zijn de jaarrapportages over opleidingen binnen universiteiten, waarin cijfers over instroom, aantallen diploma’s, verandering in rendement, uitval en het overstappen van studenten naar andere opleidingen zijn opgenomen. Die rapportages ondersteunen het interne onderwijsbeleid en bieden de hogere bestuurslagen informatie over de uitvoering. Door hun directe koppeling met het beleidsproces geven ex-durante evaluaties doorgaans informatie over de procesgang, maar blikken zij, vanwege de beschikbaarheid van informatie, meestal terug.

  Door de snelheid waarmee wij in een digitale context effecten kunnen registreren, ontstaan er nieuwe mogelijkheden voor procesevaluaties. Daarbij kan worden voortgebouwd op ex-durante evaluaties die zich reeds op dat proces richten. Maar er is een belangrijk verschil. Omdat de beleidsuitvoerders meteen kunnen zien hoe hun interventies uitwerken, kent deze vorm meer mogelijkheden van experimenteren en leren. Daarom noem ik deze vorm adaptieve beleidsontwikkeling omdat beleidsvoerders, door korte cycli van formuleren, besluiten, uitproberen, evalueren en terugkoppelen, beleid op basis van de gesignaleerde effecten kunnen aanpassen. Dashboards en andere informatiesystemen spelen daarbij een belangrijke rol. Met die systemen kunnen beleidsuitvoerders meteen zien hoe hun interventies uitwerken. Vervolgens kan men opnieuw allerlei verfijningen ontwerpen en vervolgens weer uitproberen. Men leert hoe beleid werkt.

  Door het sterke accent op leren, staat adaptieve beleidsvoering naast de eerdergenoemde vormen van beleidsanalyse. ‘Real time’ informatie biedt die mogelijkheid. Daarmee zijn de klassieke vormen van beleidsanalyse niet verdwenen. Ex-post evaluaties kunnen nog steeds worden ingezet om te beoordelen hoe het beleid in de afgelopen jaren is ingezet en in hoeverre de beoogde effecten zijn gerealiseerd. Daarmee leggen ex-post evaluaties vooral een accent op ‘accountability’ door de politiek en de samenleving te informeren over hoe het beleid heeft uitgepakt. Ex-ante evaluaties blijven een rol spelen bij het inschatten van de mogelijke en gewenste effecten van beleid, wat een rol speelt bij het vaststellen van de beleidskaders. Die kaders zijn belangrijk omdat deze de ruimte bepalen waarbinnen, volgens de politiek, adaptieve beleidsvoering mogelijk is. Ex-ante evaluaties zijn daarmee vooral een besluitvormingstool. Ex-durante evaluaties kunnen een rol spelen als monitoringinstrument waarbij de hogere echelons binnen vooral grotere organisaties kennisnemen van de uitvoering. Binnen kleinere of minder hiërarchische organisaties kan deze vorm zich met adaptieve beleidsvoering gaan versmelten.

• Adaptieve beleidsvoering

  Door gebruik te maken van ‘real time’ informatie heeft adaptieve beleidsontwikkeling een aantal kenmerken. Dat zijn (a) incrementalisme, (b) dynamiek en (c) het stimuleren van leren door experimenteren (zie ook Steunenberg, 2018: 40).

  Het eerste kenmerk is incrementalisme. Adaptieve beleidsvoering gaat uit van een proces waarin beleid stap voor stap met nieuwe informatie wordt ontwikkeld. Het is een proces waarin allerlei kleine aanpassingen kunnen worden gemaakt, die vervolgens weer op hun effect worden beoordeeld. Dit incrementele model, zoals dat al in de jaren vijftig van de vorige eeuw door Lindblom (1959) werd gepropageerd, biedt vooral mogelijkheden om met onzekerheid om te gaan. Omdat overheidsbeleid zich veelal richt op een voortdurende veranderende sociale omgeving, is het omgaan met onzekerheid belangrijk.

  Het tweede kenmerk is dynamiek, omdat adaptieve beleidsvoering zich richt op het beleidsproces. Met adaptieve beleidsvoering wordt gezocht naar verschillende mogelijkheden problemen aan te pakken, waarmee beleidsformulering en beleidsuitvoering veel dichter op elkaar komen te liggen. Vanwege het voortdurende updaten van informatie is beleid niet langer alleen een vastomlijnd kader maar ook een proces waarin de keuze van middelen wordt aangepast aan de effecten die worden gesignaleerd. Dat maakt leren mogelijk, maar levert ook spanningen op wanneer het bestaande beleidskader niet meer goed past bij de kennis en inzichten van de beleidsuitvoerders.

  Het derde kenmerk van adaptieve beleidsvoering is experimenteren en leren. Omdat de effecten van een interventie via dashboards die met ‘real time’ data werken meteen duidelijk worden, prikkelt dat beleidsvoerders om daarover na te denken en aanpassingen te overwegen. Daarmee wordt een proces van uitproberen, evalueren en aanpassen gestimuleerd, waarmee beleidsvoerders leren hoe beleid werkt. Dit vanwege de directe koppeling tussen interventie en effecten. Verder is dit leren continu, omdat sprake is van voortdurende terugkoppeling. Ook wanneer veranderingen in het veld worden gesignaleerd, kan dat weer leiden tot bijstelling.

  Natuurlijk hebben deze drie kenmerken een keerzijde. Het dynamische karakter van beleid kan leiden tot doelverschuiving waardoor beleid geheel andere zaken aanpakt dan waarvoor het was bedoeld. Zolang die verschuiving wordt onderschreven door de politiek als het beleidsveld, is dat niet problematisch. Lastiger wordt het wanneer één van beide groepen zich daartegen verzet. In dat geval ontstaat een politisering van de uitvoering waarbij het op voorhand niet meteen duidelijk is wie dan aan het langste eind trekt. Incrementalisme heeft als keerzijde dat het tot inertie kan leiden, omdat beleidsvoerders met kleine stapjes niet buiten bestaande kaders of paradigma’s treden. Dat betekent dat beleid wel verandert maar alleen in te beperkte mate. Om tot noodzakelijke vernieuwing te komen is een grotere impuls nodig dan alleen een proces van het verfijnen van ervaringen. Tot slot kan experimenteren leiden tot inzichten die alleen op samenhangen zijn gebaseerd en niet op kennis van de causale verbanden die achter de beleidsuitvoering schuilgaan. Dat kan een rol spelen wanneer het gebruik van experimentele designs geen optie is en andere wetenschappelijke methoden niet worden toegepast.

• Mogelijke gevolgen van adaptieve beleidsvoering voor de organisatie

  Het gebruik van adaptieve beleidsvoering heeft ook gevolgen voor de organisatie. Met meer informatie over de effecten en de mogelijkheden van aanpassing krijgen beleidsuitvoerders een belangrijkere rol in het beleidsproces. Het beleidsleren, zoals adaptieve beleidsvoering dat mogelijk maakt, levert ook een versterking van de machtspositie van de uitvoerders op. Deze ‘empowerment’ betekent dat beleidsuitvoerders meer weten maar zich ook meer zelfstandig zullen opstellen. Gevoegd bij het idee dat beleid vooral een kader is waarbinnen de uitvoering moet plaatshebben, wordt de beleidsformulering meer en meer een onderdeel van de uitvoering. Dat zijn nu nog functies die bij verschillende groepen zijn ondergebracht, te weten de gecentraliseerde beleidsafdelingen op departementen, naast de vaak gedeconcentreerde afdelingen waaraan de uitvoering is opgedragen. In veel gevallen is de uitvoering in handen van andere, lagere overheden, zoals gemeenten en hun vele samenwerkingsverbanden. Met de digitalisering en de toegenomen mogelijkheden van adaptieve beleidsanalyse wordt de uitvoering belangrijker en zullen beleidsafdelingen nauwer met die onderdelen, ook wanneer deze bij andere overheden zijn ondergebracht, moeten gaan samenwerken.

  Daarnaast krijgt ook het ambtelijke en politieke toezicht een ander karakter: in plaats van reactief toezicht op basis van retrospectieve vormen van evaluatie is meer proactief toezicht noodzakelijk, waarbij de toezichthouder een kader stelt en inhoudelijk betrokken is bij de uitvoering. Dit is belangrijk omdat de uitvoering altijd over een bepaalde mate van vrijheid beschikt. Zoals de principaal-agent-benadering laat zien, is beleidsvrijheid een inherent kenmerk van hiërarchische sociale processen.⁶xZie Steunenberg (2018) voor een verdere toelichting op deze benadering en de inzichten voor adaptieve beleidsvoering. Over de wijze waarop beleidsuitvoering plaatsvindt, is veel onderzoek beschikbaar. Een uitstekend overzicht wordt gegeven door Hill en Hupe (2002). Voor een meer klassieke analyse van de onmogelijkheid om beleidsvrijheid uit te bannen, zie Breton en Wintrobe (1975). Omdat ‘principalen’ niet over de middelen beschikken om hun ‘agenten’ tot op de laatste handeling te controleren, bestaat er ruimte om eigen keuzes te maken. Van dit gegeven kunnen we beter een deugd maken door toezicht meer te doen aansluiten op de realiteit van de uitvoeringspraktijk. Daarnaast is het voor adaptieve beleidsvoering zelfs essentieel om in termen van globale beleidskaders te denken: om te kunnen experimenteren en te leren moet er ruimte zijn om nieuwe interventies uit te proberen.

  Met het geven van ruimte ontstaat een tweede probleem, dat te maken heeft met de relatie tussen interventies en doelstellingen. Interventies zijn – en dat wordt ook zo verwacht – functioneel verbonden met bepaalde doelstellingen. Het gaat er immers om dat met bepaalde maatregelen een bijdrage wordt geleverd aan het verminderen van een bepaald maatschappelijk probleem, zoals dat door de politiek maar ook het beleidsveld wordt gepercipieerd. Het experimenteren met verschillende alternatieven heeft gevolgen voor de inhoud van het beleid: met de keuze voor andere interventies komen ook andere doelstellingen in beeld. Dat kan leiden tot doelverschuiving: een proces waarin gaandeweg en via aanpassing en ‘verbetering’ van interventies andere doelstellingen worden nagestreefd. Met andere woorden, het experimenteren met verschillende manieren van uitvoeren heeft dus gevolgen voor wat men al dan niet kan bereiken. Daarmee wordt duidelijk dat adaptieve beleidsvoering niet ‘neutraal’ is naar het politieke kader, maar op basis van de eigen ontwikkelingsgang daarin andere accenten kan leggen.

  Belangrijk is dat toezicht bestaat uit het regelmatig bespreken van het politieke kader. Reactief toezicht past niet bij het dynamische karakter van de beleidsvoering. De kans is groot dat op het moment waarop toezicht wordt uitgeoefend, al een kloof is ontstaan tussen de wenselijkheden van de toezichthouder en de realiteit van de beleidsuitvoering. Maar ook bij ruimere kaders is een andere, vooral proactieve aanpak belangrijk. In een veranderende omgeving kan experimenteren en leren ertoe leiden dat beleid niet meer bij de eerder geformuleerde politieke prioriteiten past. Ook is het denkbaar dat wanneer die prioriteiten in termen van bepaalde interventies zijn geformuleerd, de praktijk uitwijst dat die weinig effectief zijn en dat andere maatregelen zouden moeten worden gekozen. Dat kan tot allerlei spanningen leiden omdat de keuzes die in de uitvoering zouden moeten worden gemaakt niet meer aansluiten bij de kaders die de politiek heeft gesteld. Het gevolg is dat de beleidsvrijheid volledig wordt benut en conflict met de toezichthouder dreigt. Een alternatieve aanpak kan zijn om juist die verschillen in inzicht onderwerp van discussie te maken.

  Adaptieve beleidsvoering is overigens geen methode voor politieke besluitvorming. Adaptieve beleidsvoering richt zich op experimenteren en leren door het maken van kleine stapjes waarbij gebruik wordt gemaakt van korte feedback-loops. Daarmee wordt onbekend terrein verkend, waarbij van eerdere ervaringen wordt geleerd. Politieke besluitvorming gaat over conflict en tegenstellingen in visie over hoe de samenleving met bepaalde vraagstukken zou willen omgaan. Daarvoor kan deliberatie worden ingezet om die verschillen te verkennen en te beoordelen. De kennis uit adaptieve beleidsontwikkeling kan daarbij een rol spelen door inzichten over interventies en hun effectiviteit aan te geven. Daarmee raakt adaptieve beleidsvoering ‘evidence-based’ beleid, waarbij de wens centraal staat om meer gebruik te maken van wetenschappelijke inzichten bij het ontwikkelen van beleid. Dat kan natuurlijk voor ieder beleid, ongeacht de richting die wordt gekozen. Daarmee wordt duidelijk dat informatie over de onderbouwing van beleid geen vervanging kan (en mag) zijn van het politieke debat en de keuze van prioriteiten (zie ook Slob & Staman, 2012).

• Uitdagingen voor adaptieve beleidsvoering

  Adaptieve beleidsvoering past in een context waarin wij over meer informatie over beleid beschikken en dat meteen kunnen gebruiken. Tegelijkertijd bestaan voor adaptieve beleidsvoering als techniek verschillende belangrijke uitdagingen die te maken hebben met het omzetten van data in informatie en het gebruik daarvan.

  De eerste uitdaging is het meten van overheidsprestaties en de relatie tussen prestaties en beleidsuitkomsten. Daarbij blijkt dat prestaties en uitkomsten zich soms niet altijd even makkelijk laten meten. Gehanteerde indicatoren geven niet altijd een voldoende afspiegeling van het onderliggende begrip of fenomeen. Ook speelt een rol dat veel data worden verzameld om redenen die niet direct te maken hebben met het meten van overheidsprestaties. Veel van de huidige ‘big data’ zijn het resultaat van het gebruik van elektronische toepassingen en registratiesystemen die vooral om andere redenen zijn gecreëerd. Die data kunnen natuurlijk in allerlei indicatoren worden omgezet, maar voor het meten van overheidsprestaties zullen we ook nieuwe indicatoren moeten ontwikkelen. Dat is een probleem van de meting, wat alleen door een verdere ontwikkeling van indicatoren, zowel in kwantitatief als kwalitatief opzicht, kan worden aangepakt. Een tweede deelaspect is dat de relatie tussen prestaties en uitkomsten niet altijd eenduidig is. Dat maakt het lastig een probleem aan te pakken omdat we nog niet goed weten waardoor het probleem (mede) wordt veroorzaakt. Zelfs voor bijvoorbeeld relatief eenvoudig te meten concentraties van vervuilende stoffen in de lucht, zoals fijnstof en NO2, is het nog de steeds een vraag wat gemeenten daaraan kunnen doen. Met het instellen van milieuzones en het beperken van de automobiliteit binnen de gemeente kan een slag worden gemaakt, maar wordt niet alle vervuiling geweerd. Een belangrijk deel wordt op andere plaatsen veroorzaakt, en niet alleen in Nederland. Met dit probleem wordt duidelijk dat voor sommige maatschappelijke problemen verder wetenschappelijk onderzoek naar de causale mechanismen noodzakelijk is, zodat we meer weten over oorzaken die al dan niet kunnen worden aangepakt. Dat is vooral een wetenschappelijke uitdaging die een verdere adaptieve beleidsvoering kan ondersteunen.

  Een tweede uitdaging is dat veel publieke organisaties geen data-cultuur kennen. Gaan uitvoerders data ook gebruiken? Natuurlijk zijn in de afgelopen jaren allerlei technieken geïntroduceerd die een verbetering van het beleidsproces beogen te realiseren. Met de instelling van de Interdepartementale Commissie voor de Ontwikkeling van Beleidsanalyse (COBA) in de jaren zeventig van de vorige eeuw is geëxperimenteerd met verschillende methoden van beleidsanalyse. De commissie bestaat niet meer, maar ze heeft zonder meer bijgedragen aan een groter bewustzijn over het beter funderen van overheidsbeleid. Dat heeft onder meer geleid tot het doen van meer evaluatieonderzoek binnen de Nederlandse overheid. Adaptieve beleidsvoering gaat een stap verder door ‘real time’ met data te gaan werken die in de vorm van dashboards informatie bieden over de wijze waarop beleid uitwerkt. In het verleden werd bij vernieuwingen vaak voor een te snelle invoering gekozen met een te beperkt draagvlak, waardoor het bij de uitvoering van die ideeën vaak misliep (Zandstra-Angela, 1978: 268). De problemen van toen zijn ook nu nog relevant. Dat vraagt, ook bij adaptieve beleidsvoering, om meer aandacht voor de invoering en het managen van verandering binnen de overheid. Ook voor de introductie van de digitale overheid is adaptiviteit belangrijk.

  De derde uitdaging voor adaptieve beleidsvoering is om een brede visie op beleid te volgen. Soms wordt beleid geassocieerd met doelstellingen waarvoor middelen worden ingezet om die te bereiken. Beleid is een actie die als reactie tot gedragsverandering kan leiden. Het is ook belangrijk dat beleid in een context wordt gezien (Bekkers, 2007). Beleid krijgt betekenis voor degenen die daarmee te maken hebben, waardoor het een beeldvorming of gedrag doet veranderen. Laat ik beide visies toelichten.

  De visie van beleid als actie gaat ervan uit dat beleid met een bepaalde inzet van middelen een probleem probeert op te lossen. Daarbij ligt de focus op wat de beleidstheorie wordt genoemd: dat is een set van veronderstellingen over wat de oorzaken van het probleem zijn, zodat het daarmee duidelijk wordt hoe, in termen van oorzaak en gevolg, een vermindering van dit probleem kan worden gerealiseerd. Deze visie neemt aan dat er een expliciete doelstelling is geformuleerd op basis waarvan deze analyses kunnen worden gemaakt. Dat levert een criterium op over hoe we beleid kunnen beoordelen, zowel in termen van de mate van doelbereiking als effectiviteit (bijvoorbeeld: kan het gerealiseerde effect ook daadwerkelijk aan de ingezette middelen worden toegeschreven).

  De visie van beleid als context richt zich vooral op de vraag wat nu eigenlijk het probleem is. Om dit te ontdekken is sprake van een interactief sociaal proces, waarin met uiteenlopende partijen wordt gezocht naar hoe het beleid zou moeten worden vormgegeven, zowel in termen van doelstellingen als de daarbij te gebruiken middelen. Daarbij spelen het sluiten van compromissen met verschillende stakeholders een rol, het vormen van een verhaal over het hoe en waarom van beleid, en het creëren van een gemeenschappelijk beeld daarover. Voor de beoordeling van beleid levert dat dus ook andere criteria op: kan het beleid rekenen op draagvlak of consensus? Leidt beleid tot samenwerking tussen verschillende maatschappelijke partijen? En is sprake van gemeenschappelijke beeldvorming over het probleem, zowel in termen van oorzaken als aanpak? De analyse legt nu meer nadruk op de mate waarin beleid tot verandering in de samenleving kan leiden.

  Beide visies op beleid zijn belangrijk, maar leveren wel spanningen op waarmee adaptieve beleidsvoering rekening moet houden. Vanuit de visie van beleid als actie wordt duidelijk dat beleid ook effecten kan hebben die niet bedoeld waren. Denk bijvoorbeeld aan het vergroten van de ongelijkheid of het uitsluiten van bepaalde groepen in de samenleving. Omdat deze effecten niet verwacht waren, zijn deze waarschijnlijk ook niet opgenomen in de vooraf bepaalde set van te meten indicatoren. Op dit punt kunnen technieken uit de adaptieve planning (Haasnoot et al., 2013; zie ook Hermans, 2017) worden overgenomen door nadrukkelijk op voorhand over alle mogelijke effecten na te denken. Maar het zal ook duidelijk zijn dat het onbekende onverwacht blijft. Het is daarom belangrijk om, ook bij adaptieve beleidsvoering, alert te blijven op andere signalen uit de samenleving, die kunnen wijzen op het optreden van dergelijke effecten. Vanuit de visie van beleid als context is de dynamiek in machtsverhoudingen en beeldvorming belangrijk. Veranderingen in die verhoudingen, die mede het gevolg kunnen zijn van de uitvoering van beleid, kunnen ertoe leiden dat beleidsdoelstellingen veranderen. Dat vraagt weer om aanpassingen in de beleidsvoering, inclusief de informatie die voor de uitvoering belangrijk is.

• Hoe verder?

  Door de digitalisering van de samenleving en de overheid moeten we ons realiseren dat de verschillen tussen beleidsformulering en beleidsuitvoering zullen verkleinen. Beleidsontwikkeling komt, vanwege de informatie die beschikbaar is, meer in één hand te liggen. Gelet op het feit dat die functies binnen veel overheden sterk gescheiden zijn, zal dat, naar verwachting, tot grote spanningen leiden. Beleidsafdelingen en uitvoeringsorganisaties moeten meer gaan samenwerken om de mogelijkheden van digitalisering verder te benutten, maar ook om de aansluiting met de samenleving te behouden. Daarnaast krijgt toezicht een ander karakter omdat het gebruik van korte cycli kan betekenen dat al snel duidelijk wordt dat eerder gemaakte politieke keuzes niet op de manier gaan werken zoals dat was bedoeld. Dat vergt proactieve vormen van toezicht. Voor adaptieve beleidsvoering is het belangrijk dat er ruimte bestaat voor experimenteren en het leren op basis van de gesignaleerde beleidseffecten. Dat vraagt om een voortdurend zoeken naar een balans tussen beleid en politiek, zodat overheidsbeleid uitdrukking blijft van de democratisch vastgestelde politieke keuzes en prioriteiten.

  Wat ook duidelijk wordt, is dat we in de komende jaren verder afhankelijk worden van technologische ontwikkelingen en de mogelijkheden om data, in welke vorm dan ook, te gaan benutten. Daarbij blijft het belangrijk dat voor dashboards en andere volgsystemen indicatoren worden gekozen die passen bij de twee visies op beleid. Dat zal nog niet zo eenvoudig zijn, omdat prestatie- en effectmetingen voor sommige vormen van beleid lastig blijven. Verder betekent dit dat expliciete eisen gesteld moeten worden aan data op basis waarvan allerlei algoritmen worden ontwikkeld om te voorkomen dat algoritmen een te eenzijdig blik op effecten geven. Fouten zijn snel gemaakt, zoals ook voorbeelden uit de Verenigde Staten laten zien (Giest, 2017: 378). Daarnaast wordt de beleidsvoering met allerlei digitale leer- en monitortechnieken afhankelijk van die technologie en daarmee kwetsbaar. Tot slot betekent het kunnen verzamelen van meer informatie niet altijd dat dit in overeenstemming is met het recht op privacy, ook wanneer daarmee wordt beoogd een ‘nog beter’ beleid voor burgers te maken. Die spanningen blijven een belangrijke uitdaging voor onze, zich digitaliserende overheid.

Literatuur

• Algemene Rekenkamer. (2015). Rijksbrede resultaten en thema’s verantwoordingsonderzoek 2014. Den Haag: Algemene Rekenkamer (zie: https://verantwoordingsonderzoek.rekenkamer.nl/sites/default/files/Rijksbrede%20resultaten%20en%20themas%20verantwoordingsonderzoek%202014.pdf).

• Bekkers, V. (2007). Beleid in beweging: Achtergronden, benaderingen, fasen en aspecten van beleid in de publieke sector. Den Haag: Lemma.

• Breton, A., & Wintrobe, R. (1975). The equilibrium size of a budget-maximizing bureau: A note on Niskanen’s theory of bureaucracy. Journal of Political Economy, 83, 195-207.

• Giest, S. (2017). Big data for policymaking: fad or fasttrack? Policy Sciences, 50, 367-382 (doi.org/10.1007/s11077-017-9293-1).

• Haasnoot, M., Kwakker, J.H., Walker, W.E., & Ter Maat, J. (2013). Dynamic adaptive policy pathways: A method for crafting robust decisions for a deeply uncertain world. Global Environmental Change, 23, 485-498.

• Hermans, L. (2017). Adaptief beleid en beleidsevaluaties. Beleidsonderzoek Online, DOI: 10.5553/BO/221335502017000009001.

• Hill, M., & Hupe, P. (2002). Implementing public policy. London: Sage.

• Klein Haarhuis, C.M., & Niemeijer, E. (2009). Synthesizing legislative evaluations: Putting the pieces together. Evaluation, 15, 403-425.

• Lindblom, C.E. (1959). The science of ‘muddling through’. Public Administration Review, 19, 79-88.

• Mastenbroek, E., Voorst, S. van, & Meuwese, A. (2016). Closing the regulatory cycle? A meta evaluation of ex-post legislative evaluations by the European Commission. Journal of European Public Policy, 23, 1329-1348.

• Olsthoorn, P. (2016a). Big Data voor Fraudebestrijding, Den Haag: WRR (Working Paper 21).

• Olsthoorn, P (2016b). Fraudebestrijding versus medisch beroepsgeheim. ICT/magazine, 14 juni 2016, https://www.ictmagazine.nl/achter-het-nieuws/fraudebestrijding-versus-medisch-beroepsgeheim/

• Slob, M., & Staman, J. (2012). Beleid en het bewijsbeest: Een verkenning van verwachtingen en praktijken rond evidence based policy. Den Haag: Rathenau Instituut (zie: https://www.rathenau.nl/nl/file/134/download?token=LWycJ4IZ).

• Steunenberg, B. (2018). Adaptief beleid binnen de digitale overheid: balanceren tussen politiek en uitvoering. In P. Mettau & Z. Hulsenboom (Red.), Adaptief bestuur: Essays over adaptiviteit en openbaar bestuur (p. 37-47). Den Haag: Ministerie van Binnenlandse Zaken en Koninkrijkrelaties (publicatie 110379).

• Studiegroep Begrotingsruimte. (2016). Van saldosturing naar stabilisatie: Rapport van de 15e Studiegroep Begrotingsruimte. Den Haag: Rijksoverheid (zie: http://www.rijksbegroting.nl/system/files/9/15e-rapport-studiegroep-begrotingsruimte-van-saldosturing-naar-stabilisatie.pdf).

• Van der Knoop, J., & Rollingswier, R. (2015). De bestrijding van witwassen, beschrijving en effectiviteit 2010-2013: Startversie monitor anti-witwasbeleid. Groningen: Decide (rapport in opdracht van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) van het Ministerie van Veiligheid en Justitie).

• Zandstra-Angela, B.G. (1978). Rationalisatie van de beleidsbeslissing bij de overheid. In A. Hoogerwerf (Red.), Overheidsbeleid (p. 248-269). Alphen aan den Rijn: Samsom.

Noten

• * Met dank aan Sarah Giest, Peter van Hoesel, Rik de Ruiter en redactieleden van Beleidsonderzoek Online voor hun commentaar.

• 1 Zie Giest (2017) voor een kritische bespreking van de zich ontwikkelende literatuur over de invloed van ‘big data’ op de overheid en beleid.

• 2 Dat wordt ‘evidence-based’ beleid genoemd. Over wat ‘evidence-based’ beleid is, bestaan verschillende visies. In het algemeen wordt hiermee beleid bedoeld waarbij een interventie (dat wil zeggen: de beleidsinstrumenten of middelen) op basis van bestaande wetenschappelijke inzichten is gekozen. Daarbij kunnen inzichten uit evaluatieonderzoek een rol spelen. Een wat ‘specifiekere’ opvatting gaat ervan uit dat ook tijdens de beleidsuitvoering, op basis van wetenschappelijke methoden en technieken, wordt geleerd, waarbij de resultaten een rol kunnen spelen om het beleid aan te passen. Tot slot vinden sommigen de term ‘based’ te sterk omdat dit een deterministische relatie met de interventie zou suggereren. In dat geval wordt soms over ‘evidence-informed’ beleid gesproken.

• 3 De mate van doelbereiking en doeltreffendheid zijn twee verschillende concepten. De mate van doelbereiking geeft aan in welke mate de doelstellingen in het kader van beleid zijn gerealiseerd. Omdat doelstellingen in termen van uitkomsten of effecten (‘outcomes’) zijn beschreven, gaat het daarbij om de mate waarin die uitkomsten zijn bereikt. Doeltreffendheid of effectiviteit gaat verder en legt ook een causale relatie tussen de ingezette middelen (de interventie) en de beleidsuitkomsten. Het is denkbaar dat sprake is van doelbereiking, maar dat de ingezette middelen daar maar in beperkte mate aan hebben bijgedragen. Andere, externe factoren kunnen daarbij een rol hebben gespeeld. Doelmatigheid is een ander concept. Dat legt een relatie tussen de ingezette hulpmiddelen (‘input’) en de prestaties (‘output’) die de overheid heeft geleverd. Tot slot, die prestaties kunnen leiden tot uitkomsten (‘outcomes’).

• 4 De zorg van de Rekenkamer over het beperkte inzicht over de effectiviteit van beleid komt ook in de latere jaarrapporten naar voren.

• 5 Zie de Brief van de minister van Veiligheid en Justitie van 18 februari 2016, Kamerstukken II 2015/16, 31477, 11 waarin wordt gemeld dat deze monitor ‘(…) een overzicht [geeft] van de resultaten van de uitvoering van het anti-witwasbeleid over de jaren 2010 tot en met 2013’; zie over deze beleidsmonitor Van der Knoop en Rollingswier (2015).

• 6 Zie Steunenberg (2018) voor een verdere toelichting op deze benadering en de inzichten voor adaptieve beleidsvoering. Over de wijze waarop beleidsuitvoering plaatsvindt, is veel onderzoek beschikbaar. Een uitstekend overzicht wordt gegeven door Hill en Hupe (2002). Voor een meer klassieke analyse van de onmogelijkheid om beleidsvrijheid uit te bannen, zie Breton en Wintrobe (1975).