De nieuwe Handreiking beleidsdoorlichtingen

• Inleiding

  Sinds 7 maart 2016 is op de site van de rijksoverheid een handreiking voor beleidsdoorlichtingen te vinden (www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/handreiking). Een beleidsdoorlichting is een syntheseonderzoek waarin de minister de doelstellingen van zijn beleid tegen het licht houdt. Het beleid wordt daarin beschreven en beoordeeld aan de hand van een aantal vragen. Doel is dat de beleidsdoorlichtingen op basis van kwalitatieve en kwantitatieve informatie laten zien in hoeverre het beleid ‘werkt’ en in hoeverre het beleid waar voor zijn geld levert. De eisen aan een beleidsdoorlichting zijn vastgelegd in de Regeling Periodiek Evaluatieonderzoek (RPE, 2014; wetten.overheid.nl/BWBR0035579/2015-01-01). De tot nu toe tot stand gekomen beleidsdoorlichtingen zijn te vinden op: www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief.

  In dit artikel lichten we toe waarom wij denken dat deze handreiking handig is voor iedereen die zich met beleidsdoorlichtingen bezighoudt.

• Instrument beleidsdoorlichting van toenemend belang

  Ministers zijn verantwoordelijk voor de doeltreffendheid en de doelmatigheid van hun beleid. Om vast te stellen of het beleid doeltreffend en doelmatig is, moeten ze hun beleid evalueren. Dat is vastgelegd in de Comptabiliteitswet. In een beleidsdoorlichting wordt voor een bepaald beleidsterrein in kaart gebracht wat er bekend is over de doeltreffendheid en de doelmatigheid van het beleid, op basis van uitgevoerde evaluaties. In de RPE is vastgelegd dat de minister periodiek, minstens eens per zeven jaar, elk beleid in een beleidsdoorlichting moet doorlichten. De beleidsdoorlichting dient meerdere doelen. Enerzijds is het een verantwoordingsinstrument en anderszijds is het instrument bedoeld om van te leren en bij te dragen aan beter beleid. Daarnaast geven beleidsdoorlichtingen ook aan wat er nog mogelijk is als het budget met 20 procent wordt gekort.

  Met de introductie van ‘Verantwoord Begroten’ (2013) is het belang van beleidsdoorlichtingen verder toegenomen doordat de begrotingen en jaarverslagen minder informatie bevatten over de beleidsresultaten. Een beleidsdoorlichting is daarmee een belangrijk communicatiemiddel tussen ministers en de Tweede Kamer. Goede beleidsdoorlichtingen zijn ook belangrijk voor het budgetrecht, waarbij de Tweede Kamer niet alleen ja of nee tegen een budget mag zeggen, maar ook weet waaraan het geld wordt uitgegeven en dat dit zinnig en zuinig gebeurt.

  Het instrument beleidsdoorlichtingen is in 2006 ingevoerd. Sinds die tijd zijn er 125 beleidsdoorlichtingen uitgevoerd (www.rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/archief; stand ultimo 2015). De kwaliteit van de beleidsdoorlichtingen is voor verbetering vatbaar. Zo merkte de Tweede Kamer in oktober 2015 op dat beleidsdoorlichtingen in veel gevallen niet volledig zijn en zelden echt goed inzicht geven in de doeltreffendheid en doelmatigheid.
  Wij zijn zelf op verschillende manieren al jaren betrokken bij evalueren en beleidsdoorlichtingen. Wij constateerden dat er bij de ambtenaren die belast zijn met het uitvoeren van een beleidsdoorlichting vaak allerlei praktische vragen leven. Daarom zijn wij samen met enkele anderen in 2015 begonnen aan het ontwikkelen van een handreiking. De kans is groot dat een beleidsambtenaar slechts een of enkele malen in zijn werkzame leven bij het uitvoeren van een beleidsdoorlichting betrokken zal zijn. De frequentie waarin een beleidsdoorlichting moet plaatsvinden, is immers niet groot. Een handreiking met tips en praktische handreikingen voor allerlei vragen die leven, kunnen dan helpen te voorkomen dat iedereen elke keer zelf het wiel moet uitvinden. Want hoewel elke beleidsdoorlichting maatwerk is, valt ook hierbij veel van elkaar te leren. Op deze manier kan de handreiking de kwaliteit van beleidsdoorlichtingen ten goede komen.

• Inhoud handreiking: proces en inhoud

  De RPE geeft in algemene bewoordingen aan waar een beleidsdoorlichting aan moet voldoen. Maar daarin is geen antwoord te vinden op vragen als: hoe bereid ik een beleidsdoorlichting goed voor, wat moet ik allemaal doen om een beleidsdoorlichting uit te voeren, hoe schrijf ik een goed rapport, hoe stel ik een goede beleidstheorie?
  De handreiking bevat antwoorden op deze en andere vragen en is dus gericht op zowel proces als inhoud. Zij is een webtool, wat betekent dat je als gebruiker direct kunt klikken op het onderdeel waarover je tips wilt hebben. De tool is opgebouwd volgens de stappen van het proces van een beleidsdoorlichting:

• Stap 1: Start van de beleidsdoorlichting;

• Stap 2: Opzet en vraagstelling verzenden naar Tweede Kamer;

• Stap 3: Uitvoeren beleidsdoorlichting;

• Stap 4: Opstellen rapport en kabinetsreactie;

• Stap 5: Behandeling in ministerraad en verzenden naar Tweede Kamer;

• Stap 6: Vervolgacties in gang zetten.

Binnen elke stap kun je tips, voorbeelden en antwoorden op veelgestelde vragen over die stap vinden. Zo vind je bij stap 1 informatie over wat je moet doen om op tijd met de voorbereiding te beginnen, hoe en met wie je een plan van aanpak maakt en wat daarin moet staan. Bij stap 6 vind je informatie over onder meer wat je doet ná afronding van de beleidsdoorlichting.

De processtappen zijn al met al heel praktisch en zeer handig als geheugensteun. Je hoeft als beleidsambtenaar die een beleidsdoorlichting mag uitvoeren nu niet meer elke keer zelf te ontdekken wat je wanneer allemaal moet regelen en doen.

Daarnaast bevat de webtool uitgebreide handreikingen voor inhoudelijke vragen:

• scope van de beleidsdoorlichting;

• uitbesteden of zelf doen;

• betrekken van onafhankelijke deskundige(n);

• de beleidstheorie;

• evalueren van ‘lastige’ beleidsdoelen;

• kwaliteit van onderliggende evaluaties;

• syntheseonderzoek;

• het meten van effectiviteit;

• het meten van efficiëntie;

• de 20%-besparingsvariant.

De vele webpagina’s bevatten zo veel mogelijk concrete goede en minder goede voorbeelden uit reeds uitgevoerde beleidsdoorlichtingen. De beste tip die we de lezer van dit artikel kunnen geven is: ga zelf op zoek op de website. Maar om alvast wat tipjes van de sluier op te lichten, bespreken we in de rest van dit artikel een aantal inhoudelijke onderwerpen.

• Scope

  De RPE zegt over de scope van een beleidsdoorlichting (artikel 1) dat het moet gaan om (een substantieel, samenhangend deel van) het beleid dat wordt gevoerd op grond van één of meer beleidsartikelen van de Rijksbegroting. In de praktijk blijkt deze passage diverse vragen op te roepen:

  • Wat is de focus van een beleidsdoorlichting? Waar ligt de nadruk: op het geld of op de instrumenten? Of op allebei? Wat doen we met instrumenten die geen geld kosten, zoals wet- en regelgeving? Wat doen we met uitgaven die niet op het artikel staan, zoals sommige fiscale instrumenten?

  • Welk deel van het beleid moet in een beleidsdoorlichting worden doorgelicht? Moet ik alle instrumenten en/of al het geld meenemen, of mag ik een kleiner deel kiezen? Wat doe ik met Europees beleid, fiscale regelingen, premie-uitgaven? Mag ik delen van beleidsartikelen samen nemen? Wat doe ik met beleid dat is stopgezet? Wat doe ik als het beleidsdoel of de indeling van de begrotingsartikelen is veranderd in de afgelopen jaren?

  • Over welke periode gaat de beleidsdoorlichting? De RPE stelt dat het beleid ten minste eens in de zeven jaar moet worden doorgelicht. Dat is dus de maximale tijd die tussen twee beleidsdoorlichtingen ligt. Moet voor elk instrument de evaluatieperiode gelijk zijn aan die van de beleidsdoorlichting?

  • De RPE schrijft voor dat er vijftien vragen worden beantwoord. Moet ik die één voor één beantwoorden? Wat doe ik als ik geen antwoord kan geven?

  De webpagina over de scope bevat antwoorden op al deze vragen en meer. Maar hier lichten we er graag een paar onderwerpen uit, in de hoop dat dit naar meer smaakt.

  Een beleidsdoorlichting moet gaan over een substantieel, samenhangend deel van het beleid, zodat er ook daadwerkelijk sprake is van een synthese. Uitgangspunt daarbij is het volledige beleid dat ten grondslag ligt aan het doorgelichte beleidsartikel of de doorgelichte beleidsartikelen wordt meegenomen. Ook fiscale regelingen vallen hieronder, net als fondsen (zoals bijvoorbeeld het infrastructuurfonds), premie-uitgaven, subsidies, apparaatsuitgaven en alle wet- en regelgeving, inclusief de Europese regels die onderdeel zijn van het beleid. De bij de uitvoering van het beleid betrokken zelfstandige bestuursorganen (zbo’s) en rechtspersonen met een wettelijke taak (rwt’s) en de voor deze instellingen gedane rijksuitgaven behoren eveneens tot de scope van een beleidsdoorlichting. Datzelfde geldt voor de ontvangsten van het Rijk die verbonden zijn met het beleid.

  Tegelijkertijd is de focus van een beleidsdoorlichting maatwerk en is het niet verboden een beleidsdoorlichting in te perken tot een deel van het beleid. Daarmee wordt ook het doorgelichte bedrag ingeperkt, net zoals de daarbij betrokken instrumenten. Het is dan wel belangrijk dat in de beleidsdoorlichting duidelijk wordt aangegeven dat gekozen is voor de inperking en wanneer de rest van het beleidsartikel en alles wat daar bij hoort wordt onderzocht in een volgende beleidsdoorlichting. Een goede reden voor de inperking kan zijn, dat het artikel uit verschillende samenhangende stukken beleid bestaat, die alleen zinvol los van elkaar kunnen worden bekeken, omdat ze beleidsmatig los van elkaar staan.

  De toelichting op de RPE vermeldt vijftien vragen die leidend behoren te zijn bij het uitvoeren van een doorlichting. Het is niet nodig om de vragen één voor één te beantwoorden. Het leest prettiger om sommige vragen te bundelen en binnen één hoofdstuk te beantwoorden. In principe moeten wel alle vragen in de beleidsdoorlichting terug te vinden zijn. Als het niet mogelijk is om één of meer vragen te beantwoorden, bijvoorbeeld omdat er geen informatie over die vraag beschikbaar is, dan ligt het voor de hand dat in de beleidsdoorlichting gemotiveerd wordt uitgelegd, waarom dit antwoord ontbreekt.

• Kwaliteit van onderliggende evaluaties

  De belangrijkste grondstoffen van een beleidsdoorlichting zijn de uitkomsten van evaluatieonderzoek. Zowel voor die grondstoffen als voor de beleidsdoorlichting zelf geldt dat de kwaliteit toereikend moet zijn.

  De belangrijkste inhoudelijke kwaliteitseisen die de RPE stelt, zijn:
  

  • de conclusies van het onderzoek worden onderbouwd door onderliggende bevindingen;

  • de in het onderzoek gebruikte onderzoeksmethode is valide en betrouwbaar.

  Deze eisen gelden voor evaluatieonderzoek dat in de beleidsdoorlichting wordt gebruikt en voor de beleidsdoorlichting zelf. De handreiking bevat een handige checklist om inzicht te krijgen in de validiteit (de wijze waarop het onderzoek is uitgevoerd en de geldigheid van de bevindingen), de betrouwbaarheid, de geldigheid van de conclusies over doelmatigheid en doeltreffendheid, en de bruikbaarheid van het gebruikte evaluatieonderzoek. Deze criteria zijn vooral bedoeld om een algemene indruk te krijgen van de kwaliteit van een evaluatie. Niet alle evaluaties zullen aan alle criteria voldoen. Dit hoeft niet te betekenen dat die evaluaties in het geheel niet bruikbaar zijn. Een aantal criteria is echter cruciaal. Het is niet aan te raden om in een beleidsdoorlichting een evaluatie te gebruiken wanneer deze niet voldoet aan het criterium dat de conclusies worden gedekt door de onderzoeksbevindingen (zie criteria 7 en 13 uit de checklist). Als de conclusies uit een evaluatie niet worden gedekt door de onderzoeksbevindingen, zijn deze conclusies immers niet valide. Om dit goed te kunnen beoordelen is het ook van belang na te gaan of de evaluatie een heldere toelichting bevat op de wijze waarop de doeltreffendheid is onderzocht en de onderzoekers gebruik hebben gemaakt van een valide aanpak voor de meting (criteria 8 en 12).

• Evalueren van soorten beleidsdoelen

  Vage beleidsdoelen

  De aard van een beleidsdoelstelling is sterk bepalend voor de mate waarin het beleid in kwestie zich laat evalueren. Hoe vager een doelstelling, hoe moeilijker de realisatie ervan is te evalueren.

  Als tijdens het schrijven van de beleidsdoorlichting blijkt dat de doelstellingen concreter gemaakt zouden moeten worden, dan is het verstandig om dat in de beleidsdoorlichting duidelijk aan te geven. Een conclusie over de evalueerbaarheid van de doelen kan een van de uitkomsten van de doorlichting zijn.

  Maar je wilt natuurlijk meer dan vaststellen dat het doel duidelijker had moeten zijn. Daarom bevat de handreiking een aantal tips voor situaties waarin het lastig is om de realisatie van beleidsdoelen (en dus de doeltreffendheid van het beleid) goed te evalueren.

  Wat doe je als het beleidsdoel ver in de toekomst ligt?

  Een relatief eenvoudige oplossing voor dit probleem is: nagaan welke effecten er nu al bereikt zijn. Dit maakt een uitspraak over de effectiviteit mogelijk zonder dat in de doorlichting meteen ook een uitspraak hoeft te worden gedaan over het al dan niet halen van het toekomstige doel.

  Nog mooier is het als op grond van de tot nu toe behaalde resultaten ook een inschatting kan worden gemaakt van de kans dat het uiteindelijke beleidsdoel wordt gehaald. Dit kan bijvoorbeeld met behulp van een scenarioberekening of een plausibiliteitsredenering. Een concreet voorbeeld hiervan vormt de ‘stoplichtentabel’ in de bijlage van de Balans voor de Leefomgeving van het Planbureau voor de Leefomgeving. Zie http://themasites.pbl.nl/balansvandeleefomgeving/2014/wp-content/uploads/2014/PBL_2014_Balans-van-de-Leefomgeving-2014_1308.pdf.

  Verder is het bij beleidsdoelen ver in de toekomst nog meer van belang om een goede beleidstheorie op stellen.

  Wat doe je als het outcomedoel ontbreekt?

  Er zijn beleidsartikelen waaraan geen outcomedoelen zijn gekoppeld, maar alleen prestatie- of outputdoelen. Een voorbeeld is beleidsartikel 2 van Defensie: ‘De zeestrijdkrachten leveren operationeel gerede maritieme capaciteit, zowel vloot als mariniers, voor nationale en internationale operaties.’ Wanneer strikt zou worden gekeken naar het bereiken van dit beleidsdoel, is het voldoende om na te gaan of de prestatie ‘leveren van capaciteit’ is gerealiseerd. In gevallen als deze zou de doorlichting zich alleen op de output kunnen richten. Dat is echter nogal mager. Het Ministerie van Defensie kiest er daarom voor om meer thematische beleidsdoorlichtingen uit te voeren, waarin bijvoorbeeld de effecten van internationale operaties centraal staan. Een voorbeeld is de beleidsdoorlichting Bescherming kwetsbare scheepvaart nabij Somalië uit 2014.

  Wat doe je als er neveneffecten zijn?

  Positieve of negatieve neveneffecten van beleid worden niet expliciet besproken in de toelichting van de RPE op het begrip doeltreffendheid. Toch kan het nuttig zijn om neveneffecten mee te nemen in een beleidsdoorlichting. Immers: inzicht in onbedoelde en wellicht onverwachte effecten kan net zo goed aanknopingspunten bieden ter verbetering van het beleid als inzicht in de bedoelde effecten.

• Tot slot

  Evalueren is een vak. De handreiking wil degenen die niet geschoold zijn in het evaluatievak, helpen bij het maken van een beleidsdoorlichting. Door middel van uitleg, tips en goede voorbeelden wordt zowel op de inhoud als het proces richting gegeven. Want hoewel elk beleidsterrein uniek is en elke beleidsdoorlichting maatwerk blijft, geldt ook bij het maken van een beleidsdoorlichting dat er veel van elkaar te leren is. Om te zorgen dat we van elkaar blijven leren, is de handreiking nooit af, maar ‘work in progress’. We hopen dat de handreiking eraan bijdraagt dat er veel goede beleidsdoorlichtingen worden opgeleverd. En we kijken ernaar uit om de best practices die daaruit voortkomen, te kunnen toevoegen aan de handreiking!