Beleidsevaluatie richt zich steeds naar informatiebehoeften en technische mogelijkheden en is daardoor voortdurend in ontwikkeling. Daarbij wisselen de belangstelling voor kwantitatief en kwalitatief onderzoek elkaar enigszins af. Kwalitatieve en kwantitatieve informatie zijn en worden altijd wel verzameld in het kader van beleidsonderzoek, maar cijfermatige informatie is in belang toegenomen, met name met de ontwikkeling van technieken voor verzameling, analyse en rapportage van kwantitatieve data.

In de loop van de tijd wordt er niet alleen méér datamateriaal verzameld, maar ook gebeurt dat steeds systematischer en efficiënter. Het zwaartepunt verschuift daardoor in de loop van de afgelopen zes à zeven decennia steeds meer van eenmalige ‘single use’ onderzoeken naar meervoudige metingen en monitors en uiteindelijk, vrij recent, de ontsluiting voor onderzoek van bestaande administratieve en open data. Open data worden, voor zover ik dat kan overzien, voor het serieuzere beleidsonderzoek nog steeds maar matig gebruikt, administratieve data des te meer. Beleidsonderzoekers krijgen steeds meer databanken, bijvoorbeeld de microdata van het CBS, tot hun beschikking en gebruiken steeds betere technieken om er analyses op uit te voeren.

Tot hier zou gesproken kunnen worden van een succesverhaal. Maar successen hebben vaak ook een keerzijde. Analyse op bestaande data is goedkoper en meestal ook sneller dan het zelf verzamelen van data. Dus, als het even kan, worden bestaande data ingezet voor het analyseren of evalueren. Dat is terug te zien in sociaaleconomisch beleids- én wetenschappelijk onderzoek. Uiteraard verschilt dit per beleidsthema, maar ik durf de stelling aan dat de afgelopen twee decennia een toename laten zien van analyses op bestaande (dus voor andere doelen opgebouwde) databestanden, deels gebaseerd op administratieve data. Voor die analyses en evaluaties worden doorgaans regressieanalyses gebruikt. Dit is op zich mooie analysetechniek, maar er kunnen alleen samenhangen mee worden gemeten tussen variabelen waarvan data beschikbaar zijn. Data uit administratieve bestanden of grote surveys en monitors kunnen heel rijk en veelzijdig zijn, maar ze hoeven niet alle variabelen te dekken die ertoe doen voor het specifieke thema van een beleidsonderzoek. Administratieve bestanden zijn er immers qualitate qua niet voor bedoeld om er onderzoek mee te doen en surveys en monitors zijn doorgaans voor een specifiek doel opgezet. Een databestand dat gebaseerd is op een langlopend breed arbeidsmarktsurvey, kan bijvoorbeeld longitudinale gegevens bevatten voor een x-tal indicatoren voor arbeidsomstandigheden, maar in dat databestand kunnen belangrijke specifieke indicatoren ontbreken voor werkstress, onbetaald overwerk of een of ander actueel verschijnsel dat van belang is voor het krijgen van inzicht in arbeidsomstandigheden. Of het is in dat databestand niet goed mogelijk om die indicatoren te specificeren voor bijzondere groepen werkenden. Hierdoor is dit survey maar zeer beperkt bruikbaar voor specifiek onderzoek naar arbeidsomstandigheden.

Dat andere variabelen (dan die in het bestand) ertoe doen in de verklaring van de samenhang tussen variabelen weet de onderzoeker soms pas als aan het eind van een onderzoek blijkt dat de verklaarde samenhang heel laag is. Dat leidt dan tot duidingsparagrafen of onderzoeksverantwoordingen waarin de beperkingen van de data of de beperkingen van de dataset uiteengezet worden. Daarnaast kunnen er aan data validiteitsproblemen kleven. Dat komt bijvoorbeeld voor bij internationaal vergelijkend onderzoek. Achter variabelen met dezelfde naam kunnen in samengestelde datasets grote verschillen schuilgaan door verschillen in dataverzameling of verschillende interpretatie van begrippen.

Het doen van grootschalige kwantitatieve (regressie)analyses, zonder zicht op de werkelijkheid of kennis van het beleidsterrein, leidt tot heel afstandelijke evaluaties van een beleid, probleem of gewoon een samenhang. De onderzoeker kan tal van analyses doen op beschikbare data over een maatschappelijk verschijnsel zonder ook maar één burger, werknemer, langdurig werkloze, alleenstaande ouder, statushouder of stakeholder van dichtbij gezien of gesproken te hebben of meer algemeen ook maar enige praktijkkennis van een beleidsterrein of sociaaleconomisch verschijnsel te hebben. In die zin heeft het toegenomen gebruik van grote (al dan niet administratieve) databestanden ook een stap terug, een regressie, in het beleidsonderzoek veroorzaakt. Een stap weg van de werkelijkheid.

Met regressieanalyses wordt het beeld gecreëerd dat alles zo betrouwbaar en representatief mogelijk onderzocht is. Dat zijn echter statistische termen. Onderzoeksuitkomsten kunnen betrouwbaar en representatief zijn, maar hoeven daarmee nog niet valide te zijn. Om valide inzichten op te doen uit onderzoek is doorgaans méér nodig. Het meest voor de hand liggend is om kwantitatieve data en analyses te verrijken met kwalitatieve door toepassing van de zogenoemde mixed methods-benadering. Voor een dergelijke aanpak komt steeds meer belangstelling. Zo wordt in de meest recente Kennisagenda van het ministerie van SZW (2018: 56) opgemerkt dat er nog ‘methodologische winst’ te behalen valt ‘door in een onderzoek zowel kwalitatieve en kwantitatieve methoden in te zetten, en daarbij gevolgen, oorzaken en mechanismen zorgvuldig in kaart te brengen’.

Dat is op de eerste plaats waar te nemen in de opkomst c.q. het frequenter gebruik van gecombineerde dataverzamelings- en analysemethoden (zoals Qualitative Comparative Analysis, Q-methodology of Multi Criteria Mapping), waarin informatie kwantitatief en kwalitatief geïnterpreteerd en met elkaar in verband wordt gebracht. In deze technieken vullen kwalitatieve en kwantitatieve informatie elkaar aan, net als in een mixed mode-aanpak. Bij deze technieken worden samenhangen in data die langs verschillende weg zijn verzameld langs kwantitatieve weg geïdentificeerd en langs kwalitatieve weg geïnterpreteerd (Pattyn et al., 2015). Het zijn, net als puur kwalitatieve methoden en technieken van onderzoek (interviews, focusgroepgesprekken, storytelling, e.d.) zinvolle aanvullingen op puur kwantitatieve methoden zoals bijvoorbeeld regressieanalyses. Het zijn ook niet per se nieuwe technieken – de Q-methodologie is al zo’n tachtig jaar oud – maar het zijn wel technieken die momenteel steeds meer in de belangstelling staan in het beleidsonderzoek.

Op de tweede plaats is er de groeiende belangstelling voor participerende, interactieve en responsieve vormen van onderzoek. Het is tot op zekere hoogte een reactie op het grootschalige kwantitatieve, maar ook op het gangbare kwalitatieve onderzoek. Dit type onderzoek wordt gekenmerkt doordat het niet meer onderzoek over, maar mét is: met belanghebbenden, vaak aangeduid als stakeholders.¹xEen specifieke vorm van dit type onderzoek, het vierde generatie onderzoek, gaat zelfs een stap verder en wordt door Guba en Lincoln (1989) daarom een onderhandelingsmethode in plaats van een onderzoeksmethode genoemd. Dat kunnen degenen zijn die voordeel van iets (gaan) hebben, degenen die nadelen ervan (kunnen) ondervinden en beleidsmakers, professionals, uitvoeringspartners en anderen. Deze benaderingen voorzien in een behoefte om met beleidsonderzoek, maar ook met het beleid zelf ‘dichter bij degenen te staan waarover het gaat of waarvoor het bedoeld is’. Ook deze methoden van onderzoek zijn niet kraakvers en bestaan vaak al weer meer dan twee of drie decennia. Ook hier geldt echter dat de toepassing ervan in beleidsonderzoek toe lijkt te nemen. Lijkt, want noch voor de hiervoor beschreven gecombineerde dataverzamelings- en analysemethoden (QCA, Q-methodology of MCM) noch voor participerende, interactieve en responsieve vormen van onderzoek kan ik ‘bewijzen’ dat het gebruik ervan toeneemt in beleidsonderzoek. Toch lijkt het erop dat, al dan niet in reactie op de regressie in het beleidsonderzoek door een te grote gerichtheid op kwantitatieve secundaire analyses op bestaande databestanden, er een vernieuwing, een progressie, gaande is in de gerichtheid van, en daarmee de toepassing van onderzoeks- en analysemethoden binnen beleidsevaluatie. Er komt weer meer oog voor de wereld achter de cijfers, het hoe en waarom van beleid, en vooral voor de mensen in die wereld.²xOpvallend is dat in de rijksbrede operatie ‘Inzicht in Kwaliteit’, gericht op betere beleidsevaluatie, aandacht is voor actieonderzoek, lerend evalueren en het samen met stakeholders aan beleidsverbetering werken (Ministerie van Financiën, 2019). Er komt weer meer oog voor degenen voor wie beleid gemaakt wordt en waarover beleidsevaluatie gaat. Dat gaat effect hebben op hoe beleid gemaakt wordt en op hoe de interactie tussen beleid en stakeholders geëvalueerd kan en moet worden. Beleid en beleidsevaluatie laten elkaar niet los, en dat is maar goed ook.

Literatuur

• Boer, F. de. (2006). Mixed Methods: een nieuwe methodologische benadering? KWALON, 11(2), 5-10.

• Guba, E., & Lincoln, Y. (1989). Fourth generation evaluation. Beverly Hills, CA: Sage.

• Ministerie van Financiën. (2019). Verslag congres Operatie Inzicht in Kwaliteit. Den Haag, 4 november 2019.

• Ministerie van SZW. (2018). Kennisagenda 2019-2022. Den Haag.

• Pattyn, V., Gerrits, L., & Verweij, S. (2015). Qualitative Comparative Analysis: meer behorend bij de kwalitatieve dan de kwantitatieve benadering. KWALON, 20(3), 26-33.

Noten

• 1 Een specifieke vorm van dit type onderzoek, het vierde generatie onderzoek, gaat zelfs een stap verder en wordt door Guba en Lincoln (1989) daarom een onderhandelingsmethode in plaats van een onderzoeksmethode genoemd.

• 2 Opvallend is dat in de rijksbrede operatie ‘Inzicht in Kwaliteit’, gericht op betere beleidsevaluatie, aandacht is voor actieonderzoek, lerend evalueren en het samen met stakeholders aan beleidsverbetering werken (Ministerie van Financiën, 2019).