Ernst Bos en Carl Koopmans: Ex-post maatschappelijke kosten-batenanalyse: leren van het verleden, voor beter ­beleidsonderzoek

• 1 Inleiding

  In dit artikel bespreken we het evaluatie-instrument ex-post maatschappelijke kosten-batenanalyse (ex-post-MKBA) en toepassingen daarvan in de praktijk. In paragraaf 2 schetsen we hoe MKBA past in de beleidscyclus, wat de overeenkomsten en verschillen zijn met ex-ante-MKBA en hoe een ex-post-MKBA in zeven stappen kan worden uitgevoerd. Paragraaf 3 laat diverse praktijktoepassingen van ex-post-MKBA zien, vooral in het buitenland maar ook enkele voorbeelden uit Nederland. Het artikel sluit af met een beknopte conclusie.

• 2 Wat is een ex-post-MKBA?

  Instrumenten voor het evalueren van beleid

  Voor het evalueren van beleid zijn diverse evaluatie-instrumenten beschikbaar. Welk instrument wanneer het meest geschikt is, hangt onder meer af van de eisen die worden gesteld aan de analyse en de beperkingen en de kosten van het instrument: zie hierover de Toolbox Beleidsevaluaties van het ministerie van Financiën.¹x Zie www.toolboxbeleidsevaluaties.nl/onderzoeksmethoden. Bij de meeste evaluatie-instrumenten vinden de volgende stappen plaats:

  1. een inventarisatie van effecten die van belang zijn;

  2. het meten van effecten; en

  3. het onderling vergelijken van effecten (ook wel afwegen genoemd).

  Evaluatie-instrumenten kunnen aan de hand van diverse kenmerken nader worden onderverdeeld. Zo is er het onderscheid tussen monetaire instrumenten en niet-monetaire instrumenten (Hof et al., 2012). Bij monetaire evaluatie-instrumenten worden effecten zoveel mogelijk in geld uitgedrukt. Bij niet-monetaire instrumenten kunnen effecten ook in andere eenheden worden uitgedrukt, waaronder langs ordinale schaal zoals plussen en minnen (Bos, 2008). Verder kunnen instrumenten worden onderverdeeld in partiële en integrale evaluatie-instrumenten. Bij integrale instrumenten worden in principe alle effecten betrokken, terwijl bij partiële instrumenten een beperkt aantal voor de besluitvorming van belang geachte effecten worden meegenomen. Zie verder Hof et al. (2012) voor een overzicht van de belangrijkste evaluatie-instrumenten, alsook methodische kenmerken en gebruik van deze instrumenten in het besluitvormingsproces.

  MKBA

  Een MKBA is een evaluatie-instrument waarbij in principe alle effecten van een beleidsmaatregel worden opgenomen en deze zoveel mogelijk in geld worden uitgedrukt. Met andere woorden, een MKBA is een integraal, monetair evaluatie-instrument.

  De MKBA maakt deel uit van de utilitaristische stroming in de filosofie. Daarin wordt de waarde van handelingen (waaronder beleidsmaatregelen) afgemeten aan het algemeen nut. Daarbij wordt onder het algemeen nut het welzijn en geluk van alle mensen verstaan (Bentham, 1789). Dit impliceert bijvoorbeeld dat het niet erg is als een kleine groep onder een beleidsmaatregel lijdt, mits er een grote groep is die ervan profiteert. Er zijn ook andere stromingen. Zo vindt Nobelprijswinnaar Sen (1999) dat het utilitarisme te weinig aandacht geeft aan rechtvaardigheid. Hij presenteert een alternatieve benadering waarin het van belang is dat iedereen ­‘capabilities’ heeft. Voorbeelden van ‘capabilities’ zijn gezondheid, lang leven en zelfrespect.

  Maatschappelijke welvaart is de basis van de MKBA
  De MKBA geeft inzicht in de impact van een beleidsmaatregel op de maatschappelijke welvaart, als het saldo van de in euro’s gemeten baten minus de kosten. Dit saldo omvat ook de kosten en baten van effecten op onderdelen van de maatschappelijke welvaart waarvoor geen marktprijzen bestaan. Denk aan natuur, landschap, veiligheid en cultuurhistorie. Door zoveel mogelijk effecten in geld uit te drukken worden deze onderling vergelijkbaar en kan overzichtelijke informatie worden geboden op basis waarvan een afweging van de voor- en nadelen van een maatregel kan worden gemaakt. Hiermee wordt de vraag beantwoord of de maatschappelijke kosten van een maatregel opwegen tegen de maatschappelijke baten.
  Bron: Romijn & Renes (2013)

  MKBA en besluitvorming

  In Nederland is sinds 2000 een MKBA verplicht voor grote transportprojecten. Daarmee is de MKBA meer dan twintig jaar het belangrijkste afwegingsinstrument voor de Nederlandse beleidsbesluitvorming over transportprojecten. Andere integrale afwegingsinstrumenten zoals de Multi Criteria Analyse (MCA) hebben lang niet zo’n prominente rol als de MKBA.

  Met de publicatie van het Onderzoeksprogramma Economische Effecten van Infrastructuur (Eijgenraam et al., 2000) hebben het ministerie van Infrastructuur en Waterstaat en het ministerie van Economische Zaken richtlijnen gegeven voor het toepassen van een MKBA (Rouwendal & Rietveld, 2000). Na 2000 is de toepassing van MKBA verbreed naar minder grote infrastructuur en naar andere beleidsterreinen. In 2013 verscheen de Algemene MKBA-leidraad voor alle soorten beleid ­(Romijn & Renes, 2013), gevolgd door werkwijzers voor onder meer het sociale domein, milieu- en natuurbeleid.²x Daarnaast zijn beleidspublicaties verschenen met kentallen voor de kwantificering en monetarisering van baten zoals verbonden met van natuur, water, bodem en landschap (zie Ruijgrok et al., 2006). Op deze terreinen worden regelmatig MKBA’s uitgevoerd, maar toepassing van deze methode is niet verplicht.

  De invloed van MKBA’s op besluiten die worden genomen, lijkt beperkt waar het gaat om transportinfrastructuur in het algemeen (Annema et al., 2017. Uit eerder onderzoek bleek dat niet alleen een positieve MKBA vrijwel altijd werd gevolgd door een aanlegbesluit, maar dat ook twee derde van de projecten met een negatieve MKBA toch doorging (Rienstra, 2008). Echter, diverse zeer dure projecten zijn mede door negatieve MKBA’s niet doorgegaan (Koopmans, 2010).

  Ex-ante- versus ex-post-MKBA

  Wat betreft de te doorlopen stappen is de ex-post-MKBA vergelijkbaar met een ex-ante-MKBA. Maar ten aanzien van het doel verschilt de ex-post-MKBA van de ex-ante-MKBA. Bij de ex-ante-MKBA gaat het om beleidsvoorbereiding. Bij de ex-post-MKBA is het doel ten eerste het verbeteren van toekomstige ex-ante-MKBA’s en leren over de effecten van beleidskeuzes. Ten tweede kan de ex-post-MKBA de verantwoording over het maatschappelijk rendement van investeringen met belastinggeld verbeteren. Een ex-ante-MKBA is niet geschikt voor verantwoording achteraf, dat kan alleen met een ex-post-MKBA. Ook voor het leren van alle van belang zijnde gerealiseerde kosten en baten geldt dat alleen een ex-post-MKBA hierin kan voorzien en niet een ex-ante-MKBA.

  In een ex-post-MKBA is bekend welke veranderingen zijn opgetreden in de situatie waarin het beleid werd gevoerd (‘beleidsalternatief’). Dan dient te worden ingeschat welke van deze veranderingen zijn veroorzaakt door het betreffende beleid, en welke veranderingen daar los van staan. In een ex-ante-MKBA moet de toekomst zonder het beleid worden ingeschat (‘nulalternatief’; vaak met meerdere toekomstscenario’s), en worden de verwachte additionele effecten van het beleid daaraan toegevoegd (‘beleidsalternatief’).

  Wat is het belang van een ex-post-MKBA?

  Uit onderzoek van de Algemene Rekenkamer blijkt dat MKBA’s hoofdzakelijk voorafgaand aan besluitvorming worden uitgevoerd (Bos et al., 2022). Voor zover bekend is een volledige ex-post-MKBA voor een gerealiseerd project tot 2021 niet eerder uitgevoerd in Nederland. Volgens Florio en Vignetti (2013) is het niet verwonderlijk dat degenen die verantwoordelijk zijn voor een project, niet gebaat hoeven te zijn bij een beoordeling van de gerealiseerde effecten van het project. Met het ontbreken van ex-post-MKBA’s is niet bekend of de door ex-ante-MKBA’s in Nederland geraamde kosten en baten daadwerkelijk zijn gerealiseerd. Ook de oorzaken van mogelijke afwijkingen tussen geraamde en gerealiseerde kosten en baten zijn daarmee niet bekend.

  Dit roept de vraag op waarom er niet meer ex-post-MKBA’s worden uitgevoerd. Hierover is in de literatuur weinig informatie te vinden. Florio en Sartori (2010) benadrukken dat gedetailleerde ex-post evaluaties moeilijk uitvoerbaar zijn, dat ze als duur worden beschouwd (de kosten van het onderzoek zijn duidelijk, maar de baten niet) en dat ze niet altijd worden verwelkomd door degenen die het project hebben gepropageerd. Dit sluit aan bij de ervaring van een van de auteurs van dit artikel (Koopmans) in contacten met beleidsambtenaren. Daarin komt naar voren dat een MKBA minder nodig wordt geacht als er geen beslissing hoeft te worden genomen. Een eventuele negatieve uitkomst is confronterend voor politici en ambtenaren die het project eerder hebben gesteund. Bij zowel ex-ante- als ex-post-­MKBA’s wijzen beleidsambtenaren op hoge onderzoekskosten. Dat de kosten van het te voeren beleid (en van niet-optimaal beleid) veel hoger zijn, lijken zij een minder belangrijk argument te vinden. Zij zijn er vaak van overtuigd dat hun beleid goed is en dus geen nadere analyse behoeft die zou kunnen laten zien dat de kosten groter zijn dan de baten.

  Als ex-post-MKBA’s wél zouden worden uitgevoerd, zouden de geleerde lessen over de werkelijke kosten en baten de betrouwbaarheid van toekomstige ex-ante-­MKBA’s van soortgelijke projecten kunnen verbeteren. De ex-post-MKBA maakt het dus mogelijk om de leercyclus in figuur 1 compleet te maken en zo toekomstige besluitvorming op basis van ex-ante-MKBA’s te verbeteren. Ook kunnen ex-post-MKBA’s de verantwoording over het (maatschappelijk) rendement van investeringen met belastinggeld verbeteren. Daarbij is maatschappelijk rendement ruimer gedefinieerd dan financieel rendement, omdat ook niet-markteffecten zoals gezondheid en klimaat worden meegenomen.

  Figuur 1 De stappen van de beleidscyclus (ontleend aan Vaes et al., 2014)
  

  Dit impliceert dat een ex-post-MKBA zinvol inzetbaar is voor het beleid als er:

  • in de toekomst besluitvorming op basis van ex-ante-MKBA’s voor soortgelijke projecten wordt verwacht; een ex-post-MKBA zou dan kunnen bijdragen aan verbeterde ex-ante-MKBA’s;

  • na realisatie van een project of beleidsmaatregel maatschappelijke/politieke discussie over nut en noodzaak daarvan ontstaat; een ex-post-MKBA zou dan ingezet kunnen worden als instrument voor verantwoording van de keuze om het project of de maatregel te implementeren;

  • voldoende tijd zit tussen de implementatie van het project of de maatregel en het uitvoeren van de ex-post-MKBA; dit omdat gedrag tijd nodig heeft om zich aan de nieuwe situatie aan te passen, en dus ook de daarmee verbonden effecten.

  Ex-post-MKBA’s van investeringen in infrastructuur zullen in de praktijk veelal neerkomen op een ex-durante-MKBA. Een MKBA wordt uitgevoerd voor een bepaalde tijdshorizon, ook wel zichtperiode genoemd. Voor infrastructuurprojecten is een tijdshorizon van honderd jaar gebruikelijk. Voor woningbouwprojecten, bedrijventerreinen en recreatieve projecten is een tijdshorizon van bijvoorbeeld vijftig jaar mogelijk. Bij een dergelijke lange tijdshorizon zal in de praktijk veelal sprake zijn van een MKBA die tijdens de looptijd van een project wordt uitgevoerd. Het grootste deel daarvan zal dan betrekking hebben op de toekomst. Gerealiseerde kosten en baten doen zich alleen voor in de periode tussen projectimplementatie en het moment van evaluatie. Kosten en baten in de periode na de evaluatie bestaan dus uit (hernieuwde) ex-ante schattingen. Dit geldt bijvoorbeeld voor de casus Burgemeester Delenkanaal in dit artikel.

  Voor beleid met een kortere looptijd is veelal wel een ‘echte’ ex-post-MKBA mogelijk. Dat geldt bijvoorbeeld voor regulering, heffingen, subsidies en convenanten. Dergelijk beleid wordt vaak ingezet voor bedrijvenbeleid, in het energie- en milieubeleid en in het sociale of culturele domein. Een voorbeeld daarvan is de casus Monumentenzorg die in dit artikel wordt besproken.

  Stappenplan

  Bij de uitvoering van een ex-post-MKBA dienen naar onze mening zeven onderzoeksstappen te worden doorlopen, conform de Algemene Leidraad die zich vooral richt op ex-ante-MKBA’s (Romijn & Renes, 2013). In onderstaand stappenplan hebben we de belangrijkste aanvullingen en verschillen ten opzichte van het stappenplan voor ex-ante-MKBA’s van Romijn en Renes (2013) aangegeven:

  1. Opstellen probleemanalyse
  De voorbereiding van een MKBA start met de analyse van het probleem dat de beleidsinterventie moet oplossen. In de probleemanalyse wordt beschreven wat het probleem (knelpunt of kans) is waarvoor een oplossing wordt gezocht en wat de oorzaken zijn. Onderdeel van deze stap is ook om aan te gegeven waarom een rol voor de overheid is weggelegd en welke rol dit zou kunnen zijn (Romijn & Renes, 2013).
  Bij een ex-post-MKBA kan het voorkomen dat het probleem inmiddels is gewijzigd, bijvoorbeeld omdat een destijds voorzien knelpunt niet is opgetreden. In de ex-post-MKBA kan dit tot uitdrukking komen in baten die niet zijn gerealiseerd.

  2. Nulalternatief specificeren
  Het nulalternatief is de meest waarschijnlijke ontwikkeling als de beleidsinterventie niet zou hebben plaatsgevonden. Het nulalternatief dient als referentie waartegen de effecten van de beleidsinterventie worden afgezet. Het nulalternatief helpt om inzichtelijk te maken welke effecten specifiek zijn toe te schrijven aan de beleidsinterventie. Zo wordt overschatting van effecten voorkomen (Romijn & ­Renes, 2013).

  Bij een ex-ante-MKBA wordt dit van tevoren ingeschat, veelal op basis van toekomstscenario’s voor de lange termijn. Bij een ex-post-MKBA worden de economische en maatschappelijke ontwikkelingen die zich hebben voorgedaan, achteraf in kaart gebracht.

  3. Beleidsalternatief specificeren
  In deze stap worden de uitgevoerde maatregelen beschreven. Het kan zijn dat deze maatregelen niet hetzelfde zijn als de vooraf gespecificeerde maatregelen uit de ex-ante-MKBA. Zulke wijzigingen kunnen gevolgen hebben voor de kosten en baten van de ex-post-MKBA.

  4. Bepalen kosten
  Hierbij gaat het om alle investeringskosten en jaarlijks terugkerende kosten. Bij de investeringskosten gaat het bij een ex-post-MKBA om de achteraf gerealiseerde kosten. Investeringskosten zullen doorgaans al zijn gerealiseerd. Bij jaarlijks terugkerende kosten zoals onderhoud gaat het deels om reeds gerealiseerde kosten en deels om toekomstige kosten waarvan inschattingen moeten worden gemaakt.

  De kosten kunnen worden gedragen door meerdere partijen. Doorgaans levert de overheid een bijdrage door zelf te investeren of subsidies te verlenen. Er kan ook sprake zijn van bijdragen van private of semipublieke organisaties. Hun bijdragen zijn afhankelijk van de voordelen die zij daaraan verbonden zien. Bij winst beogende organisaties is veelal een positieve businesscase vereist. Andere organisaties leggen vaak de nadruk op maatschappelijke doelen.

  5. Bepalen baten en effecten

  Identificeren van effecten

  Bij het identificeren van de effecten gaat het erom na te gaan welke effecten een maatregel heeft. Hierbij kan het gaan om effecten die zich voordoen op markten (geprijsde effecten) of om effecten waarvoor markten ontbreken (ongeprijsde effecten). Directe effecten zijn effecten van een maatregel die direct aangrijpen op een markt. Effecten die doorwerken op andere markten, worden ook wel indirecte effecten genoemd (Romijn & Renes, 2013).

  Een beleidstheorie (theory of change) is naar onze mening een nuttig hulpmiddel bij het identificeren van effecten. De beleidstheorie bestaat uit hypothesen over mogelijke causale effecten van beleid. Het gaat vaak om een figuur met blokken (inputs, outputs, outcomes, impacts) die verbonden zijn door pijlen (veronderstelde causale effecten, hypothesen). In de stappen hierna (kwantificeren en monetariseren van effecten) wordt nagegaan of de veronderstelde effecten zijn opgetreden en of zij causaal zijn voortgekomen uit de interventie. Zie voor meer informatie over beleidstheorieën Van der Knaap et al. (2020).

  Kwantificeren van effecten

  Het kwantificeren van de effecten vindt plaats door op de bij de identificatie afgebakende markten de ontwikkeling met de maatregel te vergelijken met het nul­alternatief. Bij het bepalen van de effecten zijn verschillende methoden mogelijk (Romijn & Renes, 2013). Het is in ex-post evaluaties, en dus ook voor ex-post-­MKBA’s, essentieel om de causale invloed van beleid te scheiden van de invloed van externe factoren. Het vergelijken van de situatie voor en na de interventie volstaat doorgaans niet, omdat de daarbij geobserveerde veranderingen niet alleen door de interventie worden veroorzaakt, maar ook door externe factoren. Voor ex-post effectmeting bestaat een groot aantal methoden. Het beschrijven van deze methoden valt buiten de scope van dit artikel. Voor meer informatie verwijzen we naar de Toolbox Beleidsevaluaties van het ministerie van Financiën.³x Zie www.toolboxbeleidsevaluaties.nl/onderzoeksmethoden.

  Waarderen van effecten (monetariseren)

  Als het effecten op bestaande markten betreft, is de marktprijs een handvat voor de waardering ervan. Voor ongeprijsde effecten zijn andere technieken beschikbaar waarvan de resultaten vaak in de vorm van zogeheten waarderingskengetallen gebruikt kunnen worden (Romijn & Renes, 2013). Deze kengetallen staan in ­MKBA-werkwijzers, handboeken en andere publicaties.

  Een ex-post-MKBA kan zich bij het monetariseren van effecten doorgaans meer baseren op gebleken voorkeuren (revealed preferences; gebaseerd op gedrag) dan een ex-ante-MKBA. In MKBA’s worden methoden op basis van gebleken voorkeuren als beter beschouwd dan andere methoden (Romijn & Renes, 2013), maar gebleken voorkeuren kunnen niet worden gebruikt als er nog geen gedrag is waargenomen.⁴x In ex-ante-MKBA’s is dat soms wel mogelijk, bijvoorbeeld door te kijken naar gedrag voorafgaand aan het implementeren van beleid. In een ex-post analyse kan echter ook het gedrag na implementatie worden meegenomen.

  In een ex-post-MKBA wordt onderscheid gemaakt tussen gerealiseerde baten (sinds de uitvoering van de interventie) en verwachte, toekomstige baten. Als bepaalde baten uit een ex-ante-MKBA nog niet zijn gerealiseerd, moet worden bekeken of deze zich in de toekomst misschien alsnog zullen voordoen.

  6. Uitvoeren gevoeligheidsanalyses
  In een gevoeligheidsanalyse van zowel een ex-ante-MKBA als een ex-post-MKBA wordt bekeken wat het effect is van een verandering van een veronderstelling op de uitkomst van de MKBA. Als met een beleidsinterventie bijvoorbeeld effecten voor vervoersstromen worden verondersteld, kan in een gevoeligheidsanalyse worden onderzocht wat de impact op de uitkomst is als vervoerstromen tegen- of meevallen.

  Indien voor de beoogde interventie destijds een ex-ante-MKBA is uitgevoerd, kan in de periode tussen de ex-ante-MKBA en de ex-post-MKBA nieuwe informatie leiden tot andere inzichten over onzekerheden over effectschattingen. Deze onzekerheden komen tot uitdrukking in gevoeligheidsanalyses in de ex-post-MKBA.

  7. Opstellen overzicht van kosten en baten
  In deze stap worden alle kosten en baten naar hetzelfde basisjaar toegerekend. Dit heet het berekenen van de contante waarde. Een MKBA wordt uitgevoerd voor een bepaalde tijdsperiode. Alle toekomstige kosten en baten van een maatregel worden voor elk jaar berekend (Romijn & Renes, 2013). In een ex-ante-MKBA worden toekomstige kosten en baten verdisconteerd (verminderd) vanwege tijdvoorkeur: een euro nu heeft niet dezelfde waarde voor mensen als een euro over bijvoorbeeld vijf jaar of vijftig jaar. Oftewel, mensen hebben een voorkeur voor het heden ten opzichte van de toekomst. Dit geldt zelfs als er helemaal geen inflatie zou zijn. Daarnaast wordt de discontovoet verhoogd met een risico-opslag omdat toekomstige kosten en baten afhankelijk zijn van de economische groei, die inherent onzeker is. Door het verdisconteren worden kosten en baten in de toekomst minder zwaar meegeteld dan kosten en baten nu.⁵x Zie voor meer informatie over de discontovoet in (ex-ante-)MKBA’s Werkgroep Discontovoet (2020) en Koopmans & Van Rhee (2021).

  Het overzicht van kosten en baten is het sluitstuk van de ex-post-MKBA. Uit dit overzicht volgt of een beleidsinterventie achteraf gezien rendabel is of niet. Daarnaast kan de ex-post-MKBA laten zien of beleidsdoelen zijn bereikt, zoals 50% minder files of 20% meer kinderopvangplaatsen. Als de onderzochte interventie uit meerdere onderdelen bestaat, komt uit de ex-post-MKBA wellicht ook informatie naar voren over de merites van deze onderdelen, naast de effecten, kosten en baten van de interventie als geheel.

  Dit roept de vraag op of en hoe moet worden verdisconteerd in ex-post-MKBA’s. De tijdvoorkeur speelt daarin dezelfde rol als in een ex-ante-MKBA, dus verdisconteren is gewenst. Dit leidt ertoe dat kosten en baten zwaarder tellen naarmate ze verder in het verleden liggen. Of er voor alle kosten en baten een risico-opslag moet worden toegepast, is minder duidelijk, want bij kosten en baten die zich al hebben gerealiseerd, zijn er geen risico’s meer. Volgens Koopmans et al. (2014) hangt dit af van de onderzoeksvraag. Als de vraag is of het indertijd een goede ex-ante-MKBA was, dan moeten de risico’s van de keuze om het project uit te voeren worden meegenomen en dient een risico-opslag te worden toegepast. Als echter de vraag is welke baten zich achteraf bezien hebben gematerialiseerd, is risico niet meer van belang en kan zonder risico-opslag worden gerekend. Koopmans et al. (2014) stellen dat beide vragen legitiem zijn. Wij voegen hieraan toe dat het in een ex-post-MKBA dus van groot belang is om de onderzoeksvraag scherp te formuleren.

  Verder is het opstellen van het overzicht van kosten en baten voor een ex-post-­MKBA niet wezenlijk anders dan voor een ex-ante-MKBA. De resultaten worden samengevat in een tabel waarin de contante waarde van kosten en baten wordt weergegeven, verdisconteerd en opgeteld over de gehele beschouwde tijdsperiode. Daarnaast is een optie om een tabel toe te voegen waarin deze kosten en baten worden uitgesplitst naar (groepen) stakeholders. Deze laatste tabel vergroot de herkenbaarheid van de uitkomsten en maakt inzichtelijk wie per saldo baat hebben bij de beleidsinterventie, en wie juist de kosten ondervinden.

  Het verklaren van verschillen tussen ex-ante- en ex-post-MKBA⁶x Deze paragraaf is gebaseerd op Bos et al. (2022).

  Leren van een ex-post-MKBA betekent meer dan het vaststellen van eventuele verschillen, want het gaat om het vinden van oorzaken van verschillen. Deze oorzaken kunnen inzichten bieden die de betrouwbaarheid van toekomstige MKBA’s verbeteren. Uit onderzoek van de Algemene Rekenkamer zijn de volgende mogelijke oorzaken voor verschillen tussen een ex-ante- en ex-post-MKBA naar voren gekomen:

  1. Methodologische veranderingen en gewijzigde kentallen
  Methodologische veranderingen als gevolg van wijzigingen in richtlijnen kunnen verschillen veroorzaken tussen de ex-ante-MKBA en de ex-post-MKBA. Voorbeelden zijn wijziging van de disconteringsvoet of de tijdshorizon. Ook wijzigingen van kengetallen voor prijzen en hoeveelheden kunnen oorzaken van verschillen zijn, alsook verschillen in prijspeil tussen de ex-ante- en de ex-post-MKBA.

  2. Omissies in de ex-ante-MKBA
  Verschillen in de uitkomsten van ex-ante- en ex-post-MKBA’s kunnen ook voortkomen uit omissies in de ex-ante-MKBA. Zo kunnen sommige kosten of baten niet zijn opgenomen terwijl ze wel van belang zijn.

  3. Verschillen tussen beoogde en daadwerkelijke interventie
  Als de daadwerkelijke interventie afwijkt van de beoogde interventie, kan dat gevolgen hebben voor de kosten en baten.

  4. Onvoorziene ontwikkeling van kosten en baten
  Ten slotte kunnen verschillen in kosten en baten het gevolg zijn van onvoorziene omstandigheden. Zo kan de vraag naar bepaalde typen vervoer sterker zijn gegroeid dan verwacht, of juist minder sterk.

  Om te kunnen duiden of en in welke mate bovengenoemde oorzaken verschillen tussen de ex-ante- en de ex-post-MKBA kunnen verklaren, kunnen aanpassingen in de initiële ex-ante-MKBA worden gemaakt. Zo kunnen de meest recente ken­getallen voor prijzen en hoeveelheden en recente waarden voor de disconteringsvoet, de tijdshorizon en het prijspeil worden ingevuld. Dit laat zien wat het effect van deze aanpassingen is. Vervolgens kunnen eventuele omissies in de initiële ex-­ante-MKBA worden hersteld om het effect daarvan te zien. Ook voor het verschil tussen de beoogde en de daadwerkelijke interventie kan worden gecorrigeerd. Op deze wijze ontstaat een decompositie van verschillen.

  Door de ex-ante-MKBA vervolgens voor genoemde verschillen te corrigeren, kan van de dan nog eventueel resterende verschillen worden geleerd om de betrouwbaarheid van toekomstige ex-ante-MKBA’s te verbeteren. Immers, resterende verschillen tussen de ex-ante- en ex-post-MKBA zijn dan uitsluitend nog toe te schrijven aan verschillen tussen van tevoren geschatte kosten en/of baten, en feitelijk gerealiseerde kosten en/of baten.

• 3 Praktijkvoorbeelden

  Buitenlandse ex-post-MKBA’s

  Een studie van Boardman et al. (1994) wordt beschouwd als de eerste, meest solide poging om het belang van ex-post-MKBA-evaluaties van transportprojecten te benadrukken (Odeck & Kjerkreit, 2019). Boardman et al. (1994) concludeerden dat vergelijkingen van ex-ante- en ex-post-MKBA’s van transportprojecten ontbraken in de literatuur. Ze stelden ook dat vergelijkende studies de meest bruikbare methode zijn om de betrouwbaarheid van toekomstige ex-ante-MKBA’s te verbeteren. Jaren later benadrukten Odeck en Kjerkreit (2019) nog steeds dat er meer ex-post-MKBA’s moeten worden uitgevoerd om verbeterpunten van ex-ante-MKBA’s te helpen identificeren.

  Veel studies vinden flinke verschillen tussen ex-ante- en ex-post-MKBA’s. Dit geldt bijvoorbeeld voor Boardman et al. (1994) in een casestudy van een snelweg in ­British Columbia (Canada). De grootste bron van verschillen waren de bouwkosten. Taroux et al. (2005) en Meunier (2010) vonden ook verschillen tussen de van tevoren ingeschatte kosten en baten en uiteindelijk gerealiseerde kosten en baten. ­Kelly et al. (2015) vergeleken de ex-ante- en ex-post-MKBA’s van tien grote spoor- en wegprojecten in acht Europese landen en vinden dat de ex-ante-MKBA’s hogere netto-baten opleverden in vergelijking met de ex-post-MKBA’s. Volgens hun onderzoek waren de belangrijkste bronnen van verschillen tussen vooraf geschatte waarden en achteraf gerealiseerde uitkomsten, de verschillen in investeringskosten en in de vraag naar reizen. Odeck en Kjerkreit (2019) onderzochten empirisch de betrouwbaarheid van MKBA’s in de context van 27 Noorse wegenprojecten. Ze ontdekten dat de MKBA-resultaten zoals de NCW en de NCW-kostenratio ex-post gemiddeld hoger waren dan de ex-ante schattingen. Een belangrijke verklaring is dat de verkeersvolumes vaak worden onderschat in de ex-ante-MKBA’s.

  Flyvbjerg et al. (2002) onderzochten geen MKBA’s maar ingeschatte aanlegkosten en aantallen gebruikers van (grote) infrastructuurprojecten. Aanlegkosten en aantallen gebruikers zijn belangrijke determinanten van kosten en baten. Het ging om 258 projecten, merendeels in Europa en Noord-Amerika. Bij 86% van de projecten werden de aanlegkosten onderschat. Voor alle projecten samen lagen de werkelijke kosten gemiddeld 28% hoger dan de geraamde kosten. Dit verschil is statistisch significant. Flyvbjerg et al. (2002) toonden bovendien aan dat de reizigersprognoses in 84% van de spoorwegprojecten in een grote steekproef van projecten uit westerse landen met meer dan 20% werden overschat. De gemiddelde overschatting bedroeg 106%. Bij wegenprojecten werden de reizigersprognoses gemiddeld slechts met 8,7% overschat, maar in 50% van de gevallen bedroeg de over- of onderschatting meer dan 20%. Flyvbjerg et al. (2002) benadrukten dat risico’s als gevolg van onnauwkeurige prognoses doorgaans worden genegeerd of onderschat.

  Volgens Odeck en Kjerkreit (2019) geven eerdere studies aan dat ex-post-MKBA’s lastig zijn vanwege het probleem van het repliceren van het nulalternatief, met name met betrekking tot de verwachte verkeersvolumes. In hun eigen onderzoek merkten Odeck en Kjerkreit (2019) op dat hun ex-post-MKBA een vergelijking mist tussen de uitkomst van een MKBA en het nulalternatief. Kelly et al. (2015) rapporteerden technische uitdagingen bij het uitvoeren van de ex-post analyse. Eén daarvan is de tijd die verplaatsingsgedrag nodig heeft om zich aan te passen aan de situatie van het project. Omdat sommige casestudies pas twaalf maanden operationeel waren, was het verplaatsingsgedrag zich nog aan het aanpassen, wat mogelijk heeft geleid tot onzekerheden in de gerealiseerde baten. Een andere uitdaging voor de ex-post studies was ook hier de definitie van het nulalternatief. Kelly et al. (2015) stelden dat dit bij alle onderzochte projecten problematisch was. Volgens De Jong et al. (2020) bestrijken de zeldzame ex-post-MKBA’s die beschikbaar zijn, vaak een tijdshorizon van minder dan vijf jaar: er zijn sporadisch ex-post evaluaties voor een langere termijn uitgevoerd. Desalniettemin kunnen dergelijke analyses erg nuttig zijn om te controleren of projecten echt de voordelen hebben opgeleverd die er destijds van werden verwacht, en om te leren welke projecten het beter doen en welke slechter dan verwacht, en waarom. De Jong et al. (2020) evalueerden projecten die ten minste vijf jaar lopen.

  Voor zover wij weten, zijn de bovengenoemde studies de belangrijkste ex-post-­MKBA’s waarbij ook ex-ante- en ex-post-vergelijkingen zijn gemaakt. Uit deze vergelijkende onderzoeken volgt dat:

  1. ze voornamelijk weg- en spoorprojecten omvatten;

  2. er significante verschillen zijn gevonden tussen ex-ante- en ex-post-MKBA-­uitkomsten;

  3. verklaringen voor verschillen met name onder- of overschattingen van baten en investeringskosten betreffen;

  4. een goede inschatting van het nulalternatief lastig kan zijn; en

  5. het de vraag is of ex-post-MKBA’s niet te snel na de uitvoering van het project zijn toegepast.

  Casus Burgemeester Delenkanaal⁷x Gebaseerd op Bos et al. (2022).

  De Algemene Rekenkamer heeft een ex-post-MKBA uitgevoerd voor de casus Burgemeester Delenkanaal. Het Burgemeester Delenkanaal is het kanaal dat een bedrijventerrein ten noorden van Oss verbindt met de Maas. Het project betrof het verhogen van de hefbrug in het kanaal, waardoor varen met vier lagen containers mogelijk zou worden. Verder zou het verwijden van bochten in het kanaal sneller varen mogelijk maken en zou bediening op afstand voor de sluis en brug ervoor zorgen dat de vaarweg 24 uur per dag, zeven dagen per week bevaarbaar is. Daarnaast is een tweede variant in de ex-ante-MKBA meegenomen, waarbij het verlengen van de sluis als extra maatregel is opgenomen. Wij hebben de eerste variant als uitgangspunt genomen omdat die het best aansluit op de gerealiseerde situatie waarvoor we de ex-post-MKBA hebben uitgevoerd.

  De minister van Verkeer en Waterstaat heeft in 2001 een vergelijkende (ex-ante-)MKBA laten uitvoeren zodat zij een prioritering kon aanbrengen in drie vaarwegprojecten waar knelpunten waren. Het Burgemeester Delenkanaal kwam hier als meest gunstige uit naar voren. Tabel 1 geeft de verdisconteerde kosten en baten weer. Daaruit blijkt dat werd verwacht dat de baten minstens een half miljoen euro groter zouden zijn dan de kosten.

  Tabel 1 Verdisconteerde kosten en baten, gebaseerd op de ex-ante-MKBA van Decisio (2001), in miljoenen euro’s⁸x Tijdshorizon 60 jaar, discontovoet 4 procent en prijspeil 2000 (conform de originele MKBA uit 2001) en bedragen van guldens naar euro’s omrekenend (bewerking Algemene Rekenkamer).

  Kosten interventie:		− € 4,3
  Investeringskosten	Verhoging bestaande hefbrug	− € 0,8
  	Brug- en sluisbediening op afstand (24/7)	− € 0,8
  	Verruiming bochten	− € 2,8
  Baten interventie:		€ 4,8
  Kostenbesparing vierlaagscontainervaart		€ 4,6
  Vaartijdbaten permanente openstelling		PM +
  Vaartijdbaten verruiming bochten in het kanaal		€ 0,2
  Besparing vervoerskosten bij modal shift		PM +
  Externe effecten modal shift
  Saldo: baten minus kosten		€ 0,5+PM

  In 2009 zijn de aanpassingen van het Burgemeester Delenkanaal gerealiseerd. Er is echter een ander type brug gebouwd dan waar in de ex-ante-MKBA van uit was gegaan: het is een ophaalbrug met onbeperkte doorvaarhoogte geworden in plaats van een verhoging van de bestaande hefbrug. Ook zijn de maatregelen ‘sluisbediening op afstand’ en ‘verruiming bochten’ komen te vervallen.

  Uit een ex-post-MKBA blijkt dat de investering in het Burgemeester Delenkanaal waarschijnlijk niet rendabel was. Het saldo van kosten en baten is 0,5 miljoen euro negatief. Daarnaast is er een positieve, niet-gekwantificeerde PM-post, maar die weegt waarschijnlijk niet tegen het negatieve saldo op (zie tabel 2).

  Om te kunnen duiden welke oorzaken het verschil tussen ex-ante en ex-post in welke mate verklaren, hebben we een aantal aanpassingen in de ex-ante-MKBA doorgevoerd. Allereerst is de ex-ante-MKBA aangepast op basis van de meest recente kengetallen voor prijzen en hoeveelheden en recente waarden voor disconteringsvoet, tijdshorizon en prijspeil (MKBA 1). Vervolgens zijn er enkele correcties aangebracht in ex-ante-MKBA 2. Zo hebben we posten toegevoegd in MKBA 2 die naar onze mening – ook met de kennis van de tijd – in het project of onder het nulalternatief hadden moeten worden opgenomen in de ex-ante-MKBA.⁹x Dit zijn onder meer vermeden kosten van het nulalternatief, bestaande uit: (1) vermeden vervangingskosten voor de hefbrug in 2044, (2) vermeden onderhoudskosten voor de hefbrug vanaf 2009, en (3) vermeden salariskosten voor de brugwachters vanaf 2009. We gaan er verder van uit dat in de referentiesituatie de oude hefbrug ooit zou worden vervangen door een identieke, nieuwe hefbrug (dus een brug met exact dezelfde functionaliteiten). Zo zouden vermeende knelpunten waarvoor het project een oplossing wil bieden – waardoor vierlaagscontainervaart mogelijk wordt – niet worden opgelost. Wij gaan uit van vervanging in 2044, aangezien dit tachtig jaar na de bouw van de oorspronkelijke brug in 1964 is. Uit overleg met het ministerie van Infrastructuur en Waterstaat bleek dat de oude hefbrug naar verwachting een technische levensduur van tachtig jaar zou hebben en dat de onderhoudskosten constant zouden blijven in de tijd.

  De belangrijkste verklaring voor het verschil tussen de positieve ex-ante-MKBA en de negatieve ex-post-MKBA is dat de containervaart over het Burgemeester Delenkanaal veel minder is gegroeid dan de meest voorzichtige prognoses van de ex-­ante-MKBA. Het kanaal wordt vooral voor bulktransport gebruikt. De oude brug vormde daar al geen belemmering voor. Daarmee is de baat ‘Kostenbesparing vierlaagscontainervaart’ vervallen.

  Tabel 2 Verdisconteerde kosten en baten ex-post-MKBA Burgemeester Delenkanaal (2020), in miljoenen euro’s¹⁰x Tijdshorizon 100 jaar, discontovoet 4,5 procent en prijspeil 2020.

  Kosten interventie:		− € 5,1
  Investeringskosten	Ophaalbrug met onbeperkte doorvaarhoogte	− € 2,6
  	Brugbediening op afstand (24/7)	− € 0,5
  Beheer- en onderhoudskosten		− € 0,3
  Kosten bediening op afstand (24/7)		− € 1,7
  Vermeden kosten nulalternatief:		€ 4,7
  Vermeden kosten vervanging oude hefbrug in 2044		€ 0,6
  Vermeden onderhoudskosten oude hefbrug vanaf 2009		€ 0,9
  Vermeden salariskosten brugwachters vanaf 2009		€ 3,2
  Baten interventie:		PM +
  Kostenbesparing vierlaagscontainervaart		-
  Vaartijdbaten permanente openstelling		PM +
  Saldo: baten minus kosten		− € 0,5+PM

  Casus Monumentenzorg

  Een van de weinige andere voorbeelden van een ex-post-MKBA – of althans van een studie die daarop lijkt – is een door SEO Economisch Onderzoek uitgevoerde maatschappelijke-batenstudie van monumentenzorg (Koopmans et al., 2014). De kosten van monumentenzorgsubsidies en van investeringen in monumenten blijven daarin buiten beschouwing, maar de baten zijn conform MKBA-richtlijnen geschat. Daarbij is het begrip subsidies breed opgevat. Dit omvat niet alleen finan­ciële bijdragen van overheden, maar ook fiscale faciliteiten (‘belastingsubsidies’) zoals aftrekbaarheid van investeringen in monumenten bij de inkomstenbelasting. Monumenten betreffen alle monumentale gebouwen, maar niet andere soorten monumenten zoals standbeelden of landgoederen. In deze studie wordt onderscheid gemaakt tussen drie soorten baten:

  • van het bestaan van monumenten in Nederland;

  • van door het Rijk gesubsidieerde investeringen en onderhoudskosten in monumenten;

  • en van het additionele, causale effect van rijkssubsidies op de baten van monumenten.

  De baten worden in de MKBA onderscheiden in directe, indirecte en externe effecten. Directe effecten betreffen effecten voor de gebruikers van monumenten, zoals bewoners van monumentale woningen. Deze baten zijn geschat met de ‘hedonische-prijzen-methode’. Daarbij wordt het verschil in woningprijs geschat tussen monumentale woningen en soortgelijke woningen zonder monumentale status. Om dit verschil te schatten is met een regressieanalyse gecorrigeerd voor andere verschillen, zoals de locatie en de omvang van de woning. Indirecte effecten betreffen andere markten, zoals omzet en werkgelegenheid in de bouwsector en extra bestedingen door buitenlandse bezoekers. De effecten voor de bouwsector zijn geschat met een arbeidsmarktmodel. Daarin is extra werkgelegenheid (en de omzet die daarbij hoort) tijdelijk, omdat de arbeidsmarkt op termijn een nieuw evenwicht bereikt volgens de algemeen-evenwicht-theorie (Koopmans & Volkerink, 2014). Externe effecten treden op voor omwonenden van monumenten en voor bezoekers van plaatsen met veel monumenten. Baten voor omwonenden zijn ook geschat met regressieanalyses, net als de baten voor bewoners. Effecten voor binnenlandse bezoekers zijn geschat met de reiskostenmethode. Daarbij wordt geschat hoeveel tijd en geld mensen besteden om monumenten te bezoeken. Dit vormt een benadering van de waarde die deze mensen aan dit bezoek (minimaal) ontlenen.

  Tabel 3 laat zien dat grote baten niet alleen bij de eigenaren/gebruikers van monumenten vallen, maar ook bij bewoners in de omgeving en in de bouwsector. De sociale waarde van monumenten is negatief omdat op locaties met monumenten meer sociale problemen optreden (overlast, criminaliteit). Het voert te ver om hier alle resultaten te bespreken; daarvoor verwijzen we naar Koopmans et al. (2014). We lichten er echter wel een aandachtspunt uit voor ex-post-MKBA’s in het algemeen. De bandbreedte bij de (causale) baten van subsidies voor eigenaren/gebruikers is relatief groot (factor 3). Dit komt doordat het effect van de kosten van investeringen op de omvang van investeringen (de prijselasticiteit) onbekend was. Dit impliceert dat het belangrijk is om ex-post effectstudies te doen met betrekking tot de belangrijkste kosten en baten in een ex-post-MKBA. Dergelijke studies leveren niet alleen belangrijke input op voor MKBA’s, maar zijn ook op zichzelf belangrijk. Immers, beleid waarvan de effecten niet bekend zijn, heeft een (te) magere basis.

  Tabel 3 Verdisconteerde baten in de casus Monumentenzorg (2014), in miljarden euro’s¹¹x Tijdshorizon 100 jaar, discontovoet 4,5 procent en prijspeil 2020. (samengesteld o.b.v. Koopmans et al., 2014)

  	Bestaan van monumenten	Gesubsidieerde investeringen in monumenten 1995-2010	Causaal effect van subsidies op investeringen 1995-2010
  	Baten, contante waarden in 2014
  Eigenaren/gebruikers van monumenten	6,6+?	1,4+?	0,2+? à 0,6+?
  Bestedingen bouw en toeleveranciers	-	1,0	0,2 à 0,4
  Bestedingen buitenlandse bezoekers	1,4	0,0	0,0
  Eigenaren/gebruikers in de buurt	5,9 à 27,4	0,0 à 0,4	0,0 à 0,2
  Binnenlandse bezoekers	0,7	0,0	0,0
  Sociale waarde	−0,9 à 0	0	0,0
  Bestaanswaarde	PM	PM	PM
  Totaal	13,7+?+PM à 36,1+?+PM	2,4+?+PM à 2,8+?+PM	0,4+?+PM à 1,2+?+PM

  Casus Tunnel Maastricht

  Voor zover ons bekend is, is CPB (2018) de enige studie waar leefbaarheidsbaten onderwerp zijn van een ex-post/ex-ante vergelijking. In deze studie staan de leefbaarheidsbaten van de ondertunneling van de A2 bij Maastricht centraal. Het CPB heeft een ex-post analyse gedaan van leefbaarheidsbaten via feitelijk gerealiseerde baten, namelijk de meerprijs van woningen ten gevolge van ondertunneling en groenaanleg. Deze zijn vergeleken met de leefbaarheidsbaten zoals destijds door Schot et al. (2006) zijn voorspeld. Het CPB (2018) vindt een waardestijging van woningen binnen één kilometer van de tunnel van in totaal 220 miljoen euro in de periode tussen 2010 en 2016-2017, die het toeschrijft aan de verbetering van leefbaarheid. Het CPB (2018) acht het aannemelijk dat het werkelijke bedrag hoger ligt. Het CPB (2018) merkt op dat de omvang van de baten die het vindt, veel groter is dan die van de MKBA van Schot et al. (2006). Deze MKBA kent een batenpost voor ‘Stedelijke kwaliteit en barrièrewerking’, die wordt gewaardeerd op 12 miljoen euro, op basis van een stijging van de woningprijzen van 7% binnen 150 meter van de tunnel. Op basis van huidige inzichten is dit een onderschatting geweest, aldus het CPB (2018).

• 4 Conclusie

  De ons bekende vergelijkende ex-post-MKBA’s in binnen- en buitenland hebben met elkaar gemeen dat zij alle aanzienlijke verschillen vinden met de ex-ante-­MKBA’s. Feitelijk verkeren we dus in onzekerheid over de betrouwbaarheid – afgemeten aan het verschil tussen ex-ante schatting en ex-post realisatie – van een belangrijk instrument in de besluitvorming over tientallen miljoenen tot zelfs miljarden euro’s. De noodzaak om meer vergelijkende studies uit te voeren is duidelijk: het vergroten van het aantal ex-post-MKBA’s maakt de broodnodige verbetering van (het inzicht in) de betrouwbaarheid van MKBA mogelijk, wat uiteindelijk weer bijdraagt aan de doelmatigheid en doeltreffendheid van beleid.

  Leestip

  Voor wie meer wil weten over (ex-post-)MKBA’s: zie de Toolbox Beleidsevalua­ties van het ministerie van Financiën (www.toolboxbeleidsevaluaties.nl/onderzoeksmethoden) en de literatuurlijst van dit artikel.

Literatuur

• Annema, J.A., Frenken, K., Koopmans, C., & Kroesen, M. (2017). Relating cost-benefit analysis results with transport project decisions in the Netherlands. Letters in Spatial and Resource Sciences, 10(1), 109-127.

• Bentham, J. (1789). An introduction to the principles of morals and legislation. Retrieved from https://www.earlymo-derntexts.com/assets/pdfs/bentham1780.pdf

• Boardman, A.E., Mallery, W.L., & Vining, A.R. (1994). Learning from ex-ante/ex-post cost-benefit comparisons: The Coquihalla highway example. Socio-Economic Planning Science, 28(2), 69-84.

• Bos, E. (2008). De evaluatie van ruimtelijke afwegingsvraagstukken: via Maatschappelijke Kosten Baten Analyse of via Multi Criteria Analyse? Tijdschrift Vervoerswetenschap, 162-168.

• Bos, E., De Swart, L., & Koop, G. (2022). Maak ook na afloop van projecten een MKBA, want daar is veel van te leren. ESB, 107(4808).

• CPB. (2018). Leefbaarheidsbaten A2 tunnel Maastricht zeer aanzienlijk: meer dan 200 miljoen. CPB Notitie, 22 mei. Den Haag: Centraal Planbureau.

• De Jong, G., Vignetti, S., & Pancotti, C. (2020). Ex-post evaluation of major infrastructure projects. Transportation Research Procedia, 42, 75-84.

• Decisio. (2001). Vergelijkende kosten-batenanalyse van drie vaarwegen: eindrapportage. Opgesteld in opdracht van Adviesdienst Verkeer en Vervoer van RWS.

• Eijgenraam, C.J.J., Koopmans, C.C., Tang, P.J.G., & Verster, A.C.P. (2000). Evaluatie van infrastructuurprojecten: Leidraad voor kosten-batenanalyse. Den Haag/Rotterdam: CPB en NEI.

• Florio, M., & Sartori, D. (2010). Getting incentives right: Do we need ex post CBA? Working Paper.

• Florio, M., & Vignetti, S. (2013). The use of ex post cost-benefit analysis to assess the long-term effects of major infrastructure projects. Working Paper N. 02/2013.

• Flyvbjerg, B., Holm, M.S., & Buhl, S. (2002). Underestimating costs in public works projects: Error or lie? Journal of the American Planning Association, 68(3), 279-295.

• Hof, B., Koopmans, C., Lieshout, R., & Wokke, F. (2012). Design of a methodology to evaluate the direct and indirect economic and social benefits of public investments in space. SEO-­report nr. 2012-42.

• Hof, B., Van der Wal, E., & Mot, E. (2020). Kosten- en batenbegrippen in klimaatbeleid: Methodologisch achtergrondrapport. Den Haag: Planbureau voor de Leefomgeving en Centraal Planbureau.

• Kelly, C., Laird, J., Costantini, S., Richards, P., Carbajo, J., & Nellthorp, J. (2015). Ex post appraisal: What lessons can be learnt from EU cohesion funded transport projects? Transport Policy, 37, 83-91.

• Koopmans, C. (2010). Kosten en baten van het Centraal Planbureau: verleden, heden en toekomst. TPEdigitaal, 4(3), 19-30.

• Koopmans, C., Marlet, G., Ponds, R., Smits, T., Poort, J., Prins, J., & Van Woerkens, C. (2014). Baten van monumentenzorg. Rapport 2014-19. Amsterdam: SEO Economisch Onderzoek.

• Koopmans, C., & Van Rhee, G. (2021). Factsheets discontovoet: Vragen en antwoorden over de nieuwe discontovoeten met ingang van 2021. Publicatie 2021-58. Amsterdam: SEO Economisch Onderzoek.

• Koopmans, C., & Volkerink, M. (2014). Zorgen overheidsbestedingen voor extra banen? Tijdschrift voor Arbeidsvraagstukken, 30(1), 40-52.

• Meunier, D. (2010). Ex-post evaluation of transport infrastructure projects in France: Old and new concerns about assessment quality. Paper for the 12th World Conference on Transportation Research 2010, Lisbon.

• Ministerie van Infrastructuur en Milieu. (2012). KBA bij MIRT-verkenningen: Kader voor het invullen van de OEI-formats. Eindrapport.

• Odeck, J., & Kjerkreit, A. (2019). The accuracy of benefit-cost analyses (BCAs) in transportation: An ex-post evaluation of road projects. Transportation Research Part A: Policy and Practice, 120, 277-294.

• Rienstra, S. (2008). De rol van kosten-batenanalyse in de besluitvorming. Den Haag: Kennis­instituut voor Mobiliteitsbeleid.

• Romijn, G., & Renes, G. (2013). Algemene leidraad voor maatschappelijke kosten-batenanalyse. Den Haag: CPB/PBL.

• Rouwendal, J., & Rietveld, P. (2000). Welvaartsaspecten bij de evaluatie van infrastructuur­projecten: Onderzoeksprogramma Economische Effecten Infrastructuur. Den Haag: Ministerie van Verkeer en Waterstaat en Ministerie van Economische Zaken.

• Ruijgrok, E.C.M., & De Groot, R.S. (2006). Kentallen Waardering Natuur, Water, Bodem en Landschap: hulpmiddel bij MKBA’s. Den Haag: Ministerie van LNV.

• Schot, M., Vervoort, K., & Boeckhout, S. (2006). Kengetallen Kosten-Batenanalyse project A2-Maastricht. Ecorys.

• Sen, A. (1999). Commodities and capabilities. OUP Catalogue.

• Taroux, J.P., Chapulut, J.N., & Mange, E. (2005). The new ex-post evaluation methods for large projects in France. In Proceedings of the European Transport Conference, 3-5 October, Strasbourg.

• Vaes, S., De Bruyn, T., & Wets, J. (2014). Methodiek voor een multidimensionale analyse van het migratiebeleid. KU Leuven.

• Van der Knaap, P., Pattyn, V., & Hanemaayer, D. (2020). Beleidsevaluatie in theorie en praktijk. Den Haag: Boom bestuurskunde.

• Werkgroep Discontovoet. (2020). Rapport Werkgroep discontovoet 2020. Den Haag: Ministerie van Financiën.

Noten

• * De Algemene Rekenkamer onderzoekt of het Rijk zinnig en zuinig met belastinggeld omgaat. Daarom werken we voortdurend aan nieuwe methoden en technieken om de doelmatigheid en doeltreffendheid van het rijksbeleid te kunnen toetsen. De ex-post-MKBA is een voorbeeld van een nieuwe methode die we hebben ontwikkeld. De ex-post-MKBA maakt het voor de Algemene Rekenkamer mogelijk om vast te stellen of een rijksinvestering maatschappelijk rendabel is geweest. Daardoor draagt het bij aan een betere verantwoording en kan het misstappen voorkomen. Dit artikel is op persoonlijke titel geschreven. De resultaten van het onderzoek van de Algemene Rekenkamer over de ex-post-MKBA zijn gepubliceerd in de ESB (Bos et al., 2022). Zie verder: https://www.rekenkamer.nl/publicaties/externe-publicaties/2022/4/07/maak-ook-na-afloop-van-projecten-een-mkba.

• 1 Zie www.toolboxbeleidsevaluaties.nl/onderzoeksmethoden.

• 2 Daarnaast zijn beleidspublicaties verschenen met kentallen voor de kwantificering en monetarisering van baten zoals verbonden met van natuur, water, bodem en landschap (zie Ruijgrok et al., 2006).

• 3 Zie www.toolboxbeleidsevaluaties.nl/onderzoeksmethoden.

• 4 In ex-ante-MKBA’s is dat soms wel mogelijk, bijvoorbeeld door te kijken naar gedrag voorafgaand aan het implementeren van beleid. In een ex-post analyse kan echter ook het gedrag na implementatie worden meegenomen.

• 5 Zie voor meer informatie over de discontovoet in (ex-ante-)MKBA’s Werkgroep Discontovoet (2020) en Koopmans & Van Rhee (2021).

• 6 Deze paragraaf is gebaseerd op Bos et al. (2022).

• 7 Gebaseerd op Bos et al. (2022).

• 8 Tijdshorizon 60 jaar, discontovoet 4 procent en prijspeil 2000 (conform de originele MKBA uit 2001) en bedragen van guldens naar euro’s omrekenend (bewerking Algemene Rekenkamer).

• 9 Dit zijn onder meer vermeden kosten van het nulalternatief, bestaande uit: (1) vermeden vervangingskosten voor de hefbrug in 2044, (2) vermeden onderhoudskosten voor de hefbrug vanaf 2009, en (3) vermeden salariskosten voor de brugwachters vanaf 2009. We gaan er verder van uit dat in de referentiesituatie de oude hefbrug ooit zou worden vervangen door een identieke, nieuwe hefbrug (dus een brug met exact dezelfde functionaliteiten). Zo zouden vermeende knelpunten waarvoor het project een oplossing wil bieden – waardoor vierlaagscontainervaart mogelijk wordt – niet worden opgelost. Wij gaan uit van vervanging in 2044, aangezien dit tachtig jaar na de bouw van de oorspronkelijke brug in 1964 is. Uit overleg met het ministerie van Infrastructuur en Waterstaat bleek dat de oude hefbrug naar verwachting een technische levensduur van tachtig jaar zou hebben en dat de onderhoudskosten constant zouden blijven in de tijd.

• 10 Tijdshorizon 100 jaar, discontovoet 4,5 procent en prijspeil 2020.

• 11 Tijdshorizon 100 jaar, discontovoet 4,5 procent en prijspeil 2020.