• Wat is een metadossier en waarom heeft de NVRR het ontwikkeld?

  De Nederlandse Vereniging van Rekenkamers & Rekenkamercommissies (NVRR) behartigt de belangen van decentrale rekenkamers en is het platform waarop kennis, standaarden, formats en goede praktijkvoorbeelden worden uitgewisseld en gebundeld. Decentrale rekenkamers onderzoeken de effectiviteit, efficiëntie en rechtmatigheid van het gevoerde (decentrale) bestuur. Sinds 2005 zijn rekenkamers op gemeentelijk en provinciaal niveau verplicht, vanaf 2023 zijn deze ook voor waterschappen verplicht. Rekenkamers doen dat ter ondersteuning van de kaderstellende en controlerende rol van gemeenteraad, Provinciale Staten en algemeen bestuur van de waterschappen.

  Een metadossier is de systematische bundeling van de inhoud van rapporten over één onderwerp waarop decentrale rekenkamers onderzoek uitvoeren. Decentrale rekenkamers agenderen vaak dezelfde onderwerpen. Dat klinkt op het eerste gezicht vreemd, maar is dat bij nader inzien niet. Zo wil bijvoorbeeld de gemeenteraad van Amsterdam en die van Voerendaal weten hoe doeltreffend en doelmatig het eigen gemeentelijk beleid wordt uitgevoerd. Of de Provinciale Staten van Gelderland en die van Zeeland voor de eigen provincie. Dan onderzoeken de rekenkamers elk hetzelfde onderwerp, om hun eigen raad/staten/bestuur dat inzicht te bieden.

  Nu doen niet alle rekenkamers tegelijk onderzoek naar hetzelfde onderwerp. De beleidstempi lopen over het algemeen niet gelijk, omdat de beleidscontexten uiteenlopen, en dus ook de behoeften van de verschillende overheden aan onderzoek door rekenkamers. Door de diverse beleidscontexten stellen rekenkamers ook niet allemaal dezelfde onderzoeksvragen of hanteren dezelfde onderzoeksmethoden. Ook al betreft het hetzelfde onderwerp, de onderzoeken verschillen wat betreft aanpak en opbrengsten.

  Er is een mer à boire aan rekenkameronderzoeken over dezelfde onderwerpen. Een inventarisatie van rekenkamerrapporten per onderwerp in de periode 2017-2019 werd gepubliceerd in Bestuurswetenschappen (Peters & Van Zuydam, 2021). Het totaal aantal rapporten dat in de inventarisatie is opgenomen komt uit op een kleine 1.000. Voor een overzicht van de meest geagendeerde onderwerpen zie tabel 1.

  Tabel 1 Aantal rekenkamerrapporten per onderwerp per jaar; top 11 van meest onderzochte onderwerpen

  Onderwerp	2017	2018	2019	Totaal
  Wmo	25	16	16	57
  Verbonden partijen	22	13	21	56
  Doorwerking	14	23	19	56
  Jeugdzorg	13	18	23	54
  Duurzaamheid	16	19	10	45
  Burgerparticipatie	15	25	4	44
  Functioneren raad	13	16	14	43
  Financiën	18	10	7	35
  Informatieveiligheid	13	9	13	35
  Sociaal domein	8	8	13	29
  Veiligheid	12	5	12	29

  Bron: Peters & Van Zuydam, 2021

  Een lijst over de periode 2020-2022 zal er weer anders uitzien. Zo zijn energietransitie en de omgevingswet in 2017-2019 nauwelijks vertegenwoordigd, maar door de actualiteit vanaf 2020 zijn deze onderwerpen sterk opgekomen.

  Door het veelvoud aan rapporten is de kennis die daarin zit vervat, versnipperd aanwezig. Weliswaar heeft de NVRR een databank waar rekenkamers hun rapporten kunnen uploaden, maar niet alle rekenkamers doen dat en bovendien is ook daar de kennis alsnog versnipperd.

  Metadossier jeugdhulp

  In 2021 heeft de NVRR bij rekenkamers navraag gedaan voor welk van de onderwerpen uit tabel 1 behoefte bestond om rekenkamerrapporten systematisch te ontsluiten. Daar kwam onder andere jeugdhulp naar voren. De NVRR heeft in 2021 opdracht gegeven om 44 rekenkamerrapporten van lokale rekenkamers over jeugdhulp in de periode 2017-2020 te inventariseren en de belangrijkste elementen van deze rapporten in een database te verwerken.¹x Het aantal van 44 rapporten die in het metadossier zijn opgenomen, is lager dan het aantal rapporten over jeugdzorg in de tabel 1. Niet alle rekenkamerrapporten uit die periode kwamen in aanmerking om opgenomen te worden in de database. Onderzoeken waarop rekenkamers hebben samengewerkt, hebben vaak dezelfde vraagstelling, conclusies en aanbevelingen. Dan zijn er bijvoorbeeld drie rapporten van drie rekenkamers, maar van die drie is er maar één in de database opgenomen. Daarnaast zijn er ook rekenkamerbrieven opgesteld, die niet gebaseerd zijn op eigen onderzoek. Deze zijn ook niet opgenomen in de database.
  Er is geen inhoudelijke toets gedaan op de kwaliteit van de rapporten. Om die reden zijn er dus geen rapporten afgevallen.
  De belangrijkste elementen in de rapporten zijn:

  • rekenkamer (gemeente, provincie, waterschap);

  • centrale onderzoeksvraag;

  • deelvragen;

  • onderzoeksaanpak;

  • normen;

  • wet- en regelgeving en beleid;

  • betrokken partijen;

  • conclusies;

  • aanbevelingen;

  • ingehuurde onderzoeksbureaus.

  Deze elementen zijn in een relationele database opgenomen.²x Een relationele database is opgesteld via het relationele model. Het relationele model is een manier om een verzameling van gegevens te structureren waar het voornamelijk gebruikmaakt van relaties binnen de gegevens. Het relationele model maakt het gemakkelijk om informatie op te halen met query’s. De structuur van de database is gelijk voor alle nog te ontwikkelen metadossiers. Tegelijkertijd is een webapplicatie ontwikkeld die de relationele database toegankelijk maakt voor ­query’s.

• Hoe ziet het metadossier eruit?

  Via een link op de website van de NVRR kan het metadossier jeugdhulp worden benaderd: https://metadossierjeugd.nvrr.nl/. Op de introductiepagina wordt een uitleg gegeven over wat een metadossier is en hoe binnen het metadossier genavigeerd kan worden. Daarna kan via het hoofdmenu worden doorgeklikt naar de pagina’s:

  • ‘Onderzoeksopzet’ (met daaronder hoofdvragen-normen-onderzoeksvragen);

  • ‘Uitkomsten’ (met onderzoeksvragen-conclusies-aanbevelingen);

  • ‘Onderzoeksaanpak’;

  • ‘Wet- en regelgeving en beleid’;

  • ‘Betrokken partijen’;

  • ‘Onderzoeksbureaus’.

  Bij de eerste twee (Onderzoeksopzet en Uitkomsten) zijn de in de onderzoeken geadresseerde (hoofd)onderwerpen als filter opgenomen. Dat zijn de onderwerpen die vrijwel door alle rekenkamers op elk onderwerp worden onderzocht, zoals beleidskader, financiën, sturing, kaderstelling, controle, toezicht, informatievoorziening, organisatie, uitvoering, prestaties, resultaat, effectiviteit en efficiëntie. Daarnaast is er nog een voor de jeugdhulp specifiek onderwerp, zoals toegang tot de jeugdhulp. Dit filter op onderwerp kan verder worden verfijnd naar subthema, zodat bijvoorbeeld onder financiën gefilterd kan worden op budget, begroting/jaarverslag, uitgaven, inkoop en aanbesteding.

  Ook kan het filter worden verfijnd naar de individuele rekenkamer of selectie van rekenkamers. Er kan naar groep van rekenkamers en naar grootte van de gemeente worden gezocht. Is het filter eenmaal gekozen, dan kan dat in de webapplicatie bij de volgende query’s behouden blijven.

  De (hoofd)onderwerpen waarop gefilterd kan worden, zijn bij onderzoeksaanpak, wet- en regelgeving en beleid, betrokken partijen en onderzoeksbureaus anders dan op de pagina met onderzoeksopzet en uitkomsten. Bij onderzoeksaanpak zijn dat de onderzoeksmethoden zoals documentenonderzoek, interview, enquête, participerende observatie, bijeenkomsten en casestudie. Wel kan weer in het filter een individuele rekenkamer, selectie van rekenkamers of gemeentegrootte worden opgenomen.

  Op deze manier is via de query’s een systematische selectie mogelijk van de belangrijkste elementen van de rekenkamerrapporten over de jeugdhulp. Is een selectie gemaakt en zichtbaar op het scherm, dan kan deze als een ‘comma-seperated ­values’ (csv) bestand geëxporteerd worden. Dat is een in een spreadsheet te openen bestand waarin de waarden door een komma zijn gescheiden.

• Voor wie is het metadossier bedoeld?

  Over tal van beleidsvelden van decentrale overheden is al veel informatie bekend, ook over de jeugdhulp. Zo publiceert de VNG veel informatie op waarstaatje­gemeente.nl, verzamelt en publiceert het CBS statistische informatie over gemeenten en zijn er monitors op het sociaal domein. Dat zijn verzamelingen die gebaseerd zijn op informatie die door gemeenten en andere decentrale overheden wordt aangeleverd. Dan gaat het vaak om procesmatige gegevens die weinig zeggen over de decentrale beleidscontext en die weinig zeggen over de effectiviteit en efficiëntie van het uitgevoerde beleid. Dat is nu juist wat rekenkamers onderzoeken. En de bundeling van de opbrengst van die onderzoeken is een welkome aanvulling op de bestaande informatie.

  In de eerste plaats zijn de rapporten in het metadossier een inspiratiebron voor rekenkamers die jeugdhulp willen agenderen. Rekenkamers gaan vaak te rade bij rapporten van andere rekenkamers voor ideeën voor onderzoeksvragen, onderzoeksmethode, normenkader enzovoort. Voor het onderwerp jeugdhulp hoeven rekenkamers niet meer uitgebreid te zoeken, maar is het materiaal in het metadossier direct onder handbereik.

  In de tweede plaats zijn de rapporten interessant voor raadsleden, griffiers, ambtenaren, eventueel wethouders en mogelijk journalisten die zich in het onderwerp jeugdhulp willen verdiepen. Zo kunnen ze te weten komen welke conclusies en aanbevelingen rekenkamers voor de eigen en andere (vergelijkbare) gemeenten doen. In de applicatie van het metadossier is het, zoals hiervoor gemeld, mogelijk om gemeenten naar grootte en apart individuele gemeenten te selecteren.

  En in de derde en laatste plaats zijn er landelijke partijen die belangstelling zullen hebben voor de systematische ontsluiting van de kennis en ervaring van rekenkamers. Dat is onder andere de Algemene Rekenkamer, die incidenteel samen met decentrale rekenkamers de uitvoering van beleidsdossiers oppakt. Verder zijn dat landelijke toezichthouders op specifieke terreinen, de verschillende inspecties, zoals de Inspectie Gezondheid en Jeugd of de Arbeidsinspectie. Daarnaast de ministeries die met de metadossiers een beter zicht krijgen op de decentrale uitvoering van het beleid. Centrale en branchegerichte onderzoeksinstituten, zoals het CBS en het Nederlands Jeugdinstituut, toonden ook interesse. Al deze partijen hebben enthousiast gereageerd op dit initiatief van de NVRR voor de jeugdhulp.

• Inzichten uit het metadossier

  Het metadossier biedt ook interessante inzichten in de werkwijze van rekenkamers en de opbrengsten van het decentrale rekenkamerwerk. Bij het metadossier wordt een document gepubliceerd met de belangrijkste kenmerken en inzichten uit de rekenkameronderzoeken.

  Zo valt op dat 45% van de rapporten de centrale vraag stelt over de organisatie van de jeugdhulp en 43% over de uitvoeringspraktijk. Controle en kaderstelling wordt door 36% van de rekenkamers³x Van elke rekenkamer is maar één rapport opgenomen in de database. Een rekenkamer kan door de tijd heen meerdere keren hetzelfde onderwerp agenderen. Meestal gebeurt dat jaren nadat een eerder onderzoek is afgerond, bijvoorbeeld om de doorwerking van de aanbevelingen inzichtelijk te maken of omdat de actualiteit of raad/staten/bestuur daartoe een verzoek doet. geadresseerd. De effectiviteit van de uitvoering wordt door 40% van rekenkamers geproblematiseerd, terwijl de efficiëntie van de uitvoering maar door 17% van de rekenkamers wordt geadresseerd.

  Dat verschil in aandacht voor effectiviteit en efficiëntie zien we, uiteraard, ook terug in de aandacht voor de normen ten aanzien van beide onderwerpen. Twee derde van de rekenkamers hanteert bij onderzoek naar jeugdhulp normen voor effectiviteit, minder dan een derde hanteert normen voor efficiëntie. De meest gehanteerde normen gaan over informatievoorziening, beleidskaders, toezicht, uitvoeringspraktijk en effectiviteit.

  De conclusies worden gerangschikt naar de eerdergenoemde hoofdonderwerpen. Er zijn hoofdonderwerpen met één subthema (eigenlijk het hoofdonderwerp zelf) en hoofdonderwerpen met meerdere subthema’s. Aanbevelingen zijn meestal een uitvloeisel van de conclusies, dus ook hier zien we een onderscheid naar aanbevelingen op hoofdonderwerpen met één subthema en hoofdonderwerpen met meerdere subthema’s. Aanbevelingen over effectiviteit en efficiëntie sluiten de rij wat betreft aandacht van rekenkamers, terwijl rekenkamers daarover wel conclusies trekken. Schijnbaar is conclusies trekken makkelijker dan daarop aanbevelingen doen. Het voert in dit kader te ver om over de meer subtiele verschillen tussen conclusies en aanbevelingen in te gaan. Daarvoor verwijs ik graag naar het analysedocument bij het metadossier.

• Tips & tricks

  In het analysedocument zijn op basis van de inventarisatie van de rekenkamerrapporten nog tips & tricks geformuleerd. Zo worden er verwijzingen gegeven naar

  • rapporten die goed en prettig leesbaar zijn, rapporten die een duidelijke structuur hebben, rapporten met een publieksversie, rapporten die digitaal goed leesbaar zijn door gebruik van tabbladen;

  • rapporten waarin conclusies en aanbevelingen kort worden toegelicht;

  • rapporten met een afzonderlijk en duidelijk normenkader, met een relatie tussen normen en onderzoeksvragen en een operationalisatie van de gehanteerde normen;

  • rapporten waarin actoren specifiek worden geadresseerd in plaats van in het algemeen ‘de gemeente’.

  Specifiek voor rekenkameronderzoek naar de jeugdhulp worden tips gegeven en naar rapporten verwezen waarin

  • één specifiek onderwerp wordt onderzocht en dus geen sprake is van een te breed opgezet onderzoek;

  • vooronderzoek wordt gedaan om te constateren dat (sub)onderwerpen onderzoekbaar zijn;

  • effectiviteit en efficiëntie in duidelijke normen worden geoperationaliseerd;

  • ervaringen van jongeren en ouders in het onderzoek worden meegenomen;

  • naast de reguliere deskresearch en interviews ook andere en nieuwe onderzoeksmethoden worden toegepast;

  • openbare datasets worden gehanteerd om de bevindingen reliëf te geven;

  • rekenkamers een ontwikkelagenda voor jeugdbeleid publiceren of een processchema voor een backoffice voor de jeugdhulp.

• En verder

  De NVRR is van plan om door te gaan met de metadossiers, omdat er nog genoeg onderwerpen zijn die daarvoor in aanmerking komen. Het eerstvolgende metadossier gaat over het woonbeleid. Dat is een dossier dat de gemeentelijke en provin­ciale bestuurslaag raakt, en waarin dus ook rapporten van lokale en provinciale ­rekenkamers zijn opgenomen. Het metadossier woonbeleid zal uiterlijk in oktober 2022 worden gepubliceerd. Daarna staat nog voor 2022 het metadossier schuldhulpverlening op de rol. Nieuw is dat de NVRR in samenwerking met de VNG een metadossier digitalisering, ethiek en informatieveiligheid gaat opstellen. De planning is dat deze ook nog in 2022 wordt opgeleverd.

  We vragen de gebruikers om feedback op het metadossier en de webapplicatie. Op basis daarvan hebben we al een enkele verbetering aangebracht, zoals het jaartal van publicatie van het rapport opnemen. Het maakt voor de interpretatie van de conclusies en aanbevelingen uit of en wanneer de (landelijke) beleidscontext wijzigt.

  Op het moment dat het metadossier is gepubliceerd, is het eigenlijk alweer verouderd, omdat er steeds nieuwe rekenkamerrapporten over dat onderwerp worden opgesteld. Om de metadossiers actueel en bruikbaar te houden zullen we deze om de paar jaar met de nieuwste rapporten moeten gaan updaten.

  De analyse die we nu bij het metadossier publiceren, met de tips & tricks, blijft dicht bij de rapporten zelf. Onze verwachting is dat er met de gebundelde kennis uit de rekenkamerrapporten nog veel meer inzichten gegenereerd kunnen worden. Vragen als waar lopen veel rekenkamers in het onderzoek naar een specifiek onderwerp tegenaan, kunnen worden beantwoord. Dan kunnen we daar mogelijk oplossingen voor vinden. Ook vragen als welk probleem of vraagstuk wordt door de ­rekenkamerrapporten geadresseerd, dat eigenlijk op een heel ander bestuurs­niveau thuishoort, kunnen aan de orde komen. Dat betekent de meta-analyse moet worden gedaan met een helikopterview op de onderzochte rapporten. In 2022 heeft de NVRR dus opdracht gegeven om een meta-analyse op te stellen voor de jeugdhulp.

Literatuur

• Peters, K. & Van Zuydam, S. (2021). Decentraal rekenkameronderzoek in Nederland: een overzicht. Bestuurswetenschappen, 75(2), 5-22.

Noten

• 1 Het aantal van 44 rapporten die in het metadossier zijn opgenomen, is lager dan het aantal rapporten over jeugdzorg in de tabel 1. Niet alle rekenkamerrapporten uit die periode kwamen in aanmerking om opgenomen te worden in de database. Onderzoeken waarop rekenkamers hebben samengewerkt, hebben vaak dezelfde vraagstelling, conclusies en aanbevelingen. Dan zijn er bijvoorbeeld drie rapporten van drie rekenkamers, maar van die drie is er maar één in de database opgenomen. Daarnaast zijn er ook rekenkamerbrieven opgesteld, die niet gebaseerd zijn op eigen onderzoek. Deze zijn ook niet opgenomen in de database.
  Er is geen inhoudelijke toets gedaan op de kwaliteit van de rapporten. Om die reden zijn er dus geen rapporten afgevallen.

• 2 Een relationele database is opgesteld via het relationele model. Het relationele model is een manier om een verzameling van gegevens te structureren waar het voornamelijk gebruikmaakt van relaties binnen de gegevens. Het relationele model maakt het gemakkelijk om informatie op te halen met query’s.

• 3 Van elke rekenkamer is maar één rapport opgenomen in de database. Een rekenkamer kan door de tijd heen meerdere keren hetzelfde onderwerp agenderen. Meestal gebeurt dat jaren nadat een eerder onderzoek is afgerond, bijvoorbeeld om de doorwerking van de aanbevelingen inzichtelijk te maken of omdat de actualiteit of raad/staten/bestuur daartoe een verzoek doet.