Welke kennis is nodig om zicht te krijgen op de te verwachten effecten van beleid? Hiervoor moet worden ingeschat of een beleidsinterventie effectief zal zijn en binnen een bepaalde context zal uitwerken zoals beoogd. Twee typen kennisclaims zijn hierbij van belang, namelijk die over de verklarende mechanismes tussen interventie en uitkomst, en die over de ondersteunende factoren die voorwaardelijk zijn voor de uitkomst. Dit standpunt wordt geïllustreerd aan de hand van twee voorbeelden van beleidsinterventies in de praktijk: de inzet van kleinere schoolklassen en de publieke registratie van zedendelinquenten.

Wie iets wil doen aan de vele grote problemen waar de wereld zich anno 2021 mee geconfronteerd weet, die heeft de best mogelijke antwoorden nodig op de vraag of een bepaalde interventie werkt of niet. In deze column wordt dan ook gepleit voor het hoog blíjven leggen van de lat voor zowel op effectiviteit gericht als responsief evaluatieonderzoek.

Dutch social policies are aimed at the integration and participation of all people. This creates challenges for persons with a mental vulnerability and their neighbourhoods. Five municipalities in the province of Flevoland asked us to help them improve the move from protected living to living in the neighbourhood. We used an arts-based participatory action research design and we followed ‘hot topics’, topics that sparked people’s energy and emotion, and which led to empowerment and participation. Focusing on these topics, which initially might not seem to be closely connected to the main research topic, might produce more information, and energy to take action on it, rather than rigidly sticking with the initial research topics. In this article, we focus on the first phases of the project. The emotions that people with mental vulnerabilities expressed when talking about their dogs, led us to the core of what really mattered to them in terms of inclusive living and participation. The dog functioned as an unexpected ‘hot topic’. In a symbolic sense, ‘the dog’ stands for a diverse range of lifeworld topics that can act as a creative catalyst for social change.

Vooraf

Participatief actieonderzoek en responsieve evaluatie staan volop in de belangstelling bij beleidsmakers en onderzoekers. Dit type beleidsonderzoek en -evaluatie beoogt democratisch, inclusief én impactvol te zijn. Het gaat om onderzoek mét in plaats van óver mensen. En het is actiegericht: onderzoek wil bijdragen aan concrete oplossingen door met betrokkenen gezamenlijke (verbeter)acties te ontwikkelen in de praktijk, en daarop te reflecteren en van te leren. Dit alles met het oog op sociale inclusie. Het zijn mooie idealen, maar wat betekent dit in de alledaagse, vaak weerbarstige onderzoekspraktijk?

Op 20 januari 2020 organiseerde prof. Abma daarover een symposium, getiteld ‘Responsive, Participatory Research: Past, Present and Future Perspectives’ (Vrije Universiteit, Amsterdam). De rode draad op het symposium was de vraag wat goed en ethisch verantwoord participatief onderzoek is, en wat dit vraagt van onderzoekers en beleidsmakers. Drie lezingen op deze conferentie zijn nadien omgewerkt tot essays om lezers van Beleidsonderzoek Online vanuit verschillende perspectieven beter kennis te laten maken met deze vorm van onderzoek:

Prof. Weerman en haar team focussen in hun bijdrage op het zich in de praktijk ontwikkelende onderzoeksdesign en het inzetten van creatieve methoden om participatie te bevorderen. Ze gaan na welke kwaliteitscriteria aan participatief actieonderzoek worden gesteld en hechten daarbij met name aan eisen ten aanzien van participatie, samen leren en verschil maken (zie BoO juli 2021). Ze benadrukken het belang van creativiteit en flexibiliteit.

Prof. Abma bespreekt in haar artikel de normatieve dimensies en de ethiek van participatief actieonderzoek (zie BoO september 2020). Ze illustreert met een voorbeeld uit de crisishulpverlening aan GGZ-cliënten dat participatief actieonderzoek niet slechts een methodisch-technische exercitie is, maar een sociaal-politiek proces waarbij bestaande machtsverhoudingen verschuiven om ruimte te geven aan nieuwe stemmen en kennis. Dit omvat het zien van en stilstaan bij ethisch saillante dilemma’s en morele reflectie.

De bijdrage van prof. Cook (zie BoO februari 2021) gaat over de weerbarstige praktijk van participatief actieonderzoek. Het doel is samen leren en voorbij geijkte oplossingen komen. Zij laat zien dat dit uitdagend is voor professionals die geconfronteerd worden met burgers die feedback geven en vragen om het (deels) loslaten van vaststaande professionele kaders. Er ontstaat dan ongemak en onzekerheid, maar zo beoogt en laat Cook overtuigend zien, deze ‘mess’ (niet meer goed weten wat goed en nodig is) is productief om te komen tot hernieuwde inzichten en innovaties.

(Introductietekst opgesteld door prof. T. Abma)

Wereldwijd staan overheden voor grote opgaven, zoals klimaatverandering en maatschappelijke ongelijkheid. Hoe kunnen zij zich beter toerusten voor deze opgaven? En welke rol kan evaluatieonderzoek hierbij spelen? Deze vragen staan centraal in het toegankelijk geschreven boek Changing bureaucracies: Adapting to uncertainty, and how evaluation can help (Abingdon/New York: Routledge 2021), onder eindredactie van Burt Perrin en Tony Tyrrell. Jedid-Jah Jonker bespreekt deze bundel en staat hierbij onder meer stil bij de relevantie van de inzichten uit het boek voor de Nederlandse overheid.

Participatory research is increasingly being perceived as a democratic and transformative approach to social situations by both academics and policymakers. The article reflects on what it means to do participatory research, what it contributes to broader knowledge building, and why mess may not only need to be present in participatory research but encouraged. The purposes of participation and mess as nourishment for critical enquiry and more radical learning opportunities are considered and illuminated using case study material from the Family Based Positive Support Project.

Vooraf

Participatief actieonderzoek en responsieve evaluatie staan volop in de belangstelling bij beleidsmakers en onderzoekers. Dit type beleidsonderzoek en -evaluatie beoogt democratisch, inclusief én impactvol te zijn. Het gaat om onderzoek mét in plaats van óver mensen. En het is actiegericht: onderzoek wil bijdragen aan concrete oplossingen door met betrokkenen gezamenlijke (verbeter)acties te ontwikkelen in de praktijk, en daarop te reflecteren en van te leren. Dit alles met het oog op sociale inclusie. Het zijn mooie idealen, maar wat betekent dit in de alledaagse, vaak weerbarstige onderzoekspraktijk?

Op 20 januari 2020 organiseerde prof. Abma daarover een symposium, getiteld ‘Responsive, Participatory Research: Past, Present and Future Perspectives’ (Vrije Universiteit, Amsterdam). De rode draad op het symposium was de vraag wat goed en ethisch verantwoord participatief onderzoek is, en wat dit vraagt van onderzoekers en beleidsmakers. Drie lezingen op deze conferentie zijn nadien omgewerkt tot essays om lezers van Beleidsonderzoek Online vanuit verschillende perspectieven beter kennis te laten maken met deze vorm van onderzoek:

Prof. Weerman en haar team focussen in hun bijdrage op het zich in de praktijk ontwikkelende onderzoeksdesign en het inzetten van creatieve methoden om participatie te bevorderen. Ze gaan na welke kwaliteitscriteria aan participatief actieonderzoek worden gesteld en hechten daarbij met name aan eisen ten aanzien van participatie, samen leren en verschil maken (zie BoO juli 2021). Ze benadrukken het belang van creativiteit en flexibiliteit.

Prof. Abma bespreekt in haar artikel de normatieve dimensies en de ethiek van participatief actieonderzoek (zie BoO september 2020). Ze illustreert met een voorbeeld uit de crisishulpverlening aan GGZ-cliënten dat participatief actieonderzoek niet slechts een methodisch-technische exercitie is, maar een sociaal-politiek proces waarbij bestaande machtsverhoudingen verschuiven om ruimte te geven aan nieuwe stemmen en kennis. Dit omvat het zien van en stilstaan bij ethisch saillante dilemma’s en morele reflectie.

De bijdrage van prof. Cook (zie BoO februari 2021) gaat over de weerbarstige praktijk van participatief actieonderzoek. Het doel is samen leren en voorbij geijkte oplossingen komen. Zij laat zien dat dit uitdagend is voor professionals die geconfronteerd worden met burgers die feedback geven en vragen om het (deels) loslaten van vaststaande professionele kaders. Er ontstaat dan ongemak en onzekerheid, maar zo beoogt en laat Cook overtuigend zien, deze ‘mess’ (niet meer goed weten wat goed en nodig is) is productief om te komen tot hernieuwde inzichten en innovaties.

(Introductietekst opgesteld door prof. T. Abma)

‘The institutionalisation of evaluation in Europe’ is een lijvige, Engelstalige bundel over de institutionalisering van de beleidsevaluatie in Europa, onder redactie van drie Duitse evaluatiedeskundigen. Het boek bestaat uit een inleidend hoofdstuk over het analytisch begrippenkader en de gevolgde methode, zestien landenhoofdstukken, geschreven door nationale experts en twee internationale organisaties, en tot slot een synthesehoofdstuk van de hand van de drie redacteuren. Centraal thema is de verankering van de beleidsevaluatie in het politiek-bestuurlijk systeem, de civiele samenleving en de beroepsgroepen. De bundel is de eerste in een reeks van vier boeken, die samen een ‘wereldkaart van evaluatiesystemen’ moeten opleveren. Elk hoofdstuk bevat een uitgebreid notenapparaat, literatuurverwijzingen, figuren en tabellen.

Volgens de auteurs van dit boek vertoont de huidige representatieve keuzedemocratie scheurtjes, om niet te zeggen barsten. Er is steeds minder dualisme tussen kabinet en Kamer. Keuzes worden gemaakt op basis van een relatief gesloten netwerk dat denkt in termen belangenuitruil en kleine stappen. Kennis uit onderzoek wordt in dat proces onderbenut. Besturen bestaat uit top-down processen. De politieke en ambtelijke top heeft een obsessie om altijd in control te willen zijn. Die regenteske en conservatieve benadering past volgens de auteurs echter steeds minder in een steeds complexere wereld. We moeten daarom streven naar een participatieve kennisdemocratie, waarin de beleidsambtenaar van de 21ste eeuw functioneert als een katalyserende spil in een proces van open en innovatieve beleidsontwikkeling.
Het is een waardevol boek met een belangrijke boodschap: veel kan en moet inderdaad anders. Enkele belangrijke thema’s komen in het boek echter onvoldoende aan de orde. In deze boekbespreking wordt hier dieper op ingegaan.