1 Inleiding

Bestuurders en beleidsmakers staan in het fysiek-ruimtelijke domein voor steeds complexere uitdagingen. Voorbeelden hiervan zijn de klimaatverandering en de energietransitie, het circulair maken en vergroenen van de economie, het verduurzamen en toegankelijk maken van de woningmarkt en het bevorderen van de verbinding tussen natuur, voedsel, landbouw en water. De aanpak van deze complexe vraagstukken vraagt om nieuwe vormen van samenwerking tussen overheden onderling en tussen overheden en niet-overheden, zoals het bedrijfsleven, maatschappelijke organisaties, burgers en kennisinstellingen. Er is een ontwikkeling te zien naar pluriformiteit, bottom-up sturing, netwerken met vele kleine en vooral lokale initiatieven. Deze ontwikkelingen hebben consequenties voor de organisatie van beleidsontwikkeling en -praktijk (Ministerie van EZ, 2017; Studiegroep IFV, 2020), maar ook voor de inrichting van de kennisinfrastructuur en onderzoekspraktijk (Kunseler & Verwoerd, 2019a; PBL, 2013; ROB, 2020; Verdaas & Hulsebosch, 2018; VNG 2019).

Het is de vraag hoe (beleids)onderzoekers het best kunnen reageren op deze ontwikkelingen. Alhoewel erkend wordt dat de ‘ivoren toren’ geen stand meer houdt, is de zoektocht naar de wijze waarop en mate waarin onderzoekers verbinding moeten leggen met de omgeving, nog volop gaande. Een reflexieve kijk op beleidsonderzoek helpt onderzoekers om afwegingen en keuzes te maken over de inrichting van deze wisselwerking (zie tekstkader 1). Publieke kennisorganisaties hebben een centrale rol in de driehoeksverhouding tussen wetenschap, beleid en samenleving (zie figuur 1). Hun activiteiten kenmerken zich door beleidsnabijheid, praktijkgericht onderzoek en het waarborgen van het publiek belang. Zij doen onderzoek naar – en leveren kennis over – veelal complexe maatschappelijke onderwerpen, zoals veiligheid, gezondheid, leefomgeving, cultureel erfgoed, welvaart en mobiliteit. Deze publieke kennisfunctie kent diverse soorten en maten. In Nederland zien we een breed spectrum van en een grote diversiteit aan publieke kennisorganisaties, waaronder planbureaus, rijkskennisinstellingen en regionale kennisinstellingen (Koens et al., 2016; Van Nispen & Scholten, 2014; ROB, 2020).
In dit artikel ligt de focus op de rol van kennisorganisaties op rijksniveau en de onderzoekers die daar werkzaam zijn. Het artikel kan echter ook voor provinciale of gemeentelijke kennisorganisaties en onderzoeksafdelingen of -bureaus interessant zijn, omdat zij ook met deze ontwikkelingen te maken hebben.

Kader 1: Reflexieve kijk op beleidsonderzoek
In de rationaliteitsopvatting van wetenschap in de ‘ivoren toren’ heeft een (beleids)onderzoeker oog voor de cognitieve aspecten van vraagstukken en wordt geprobeerd alle normatieve en machtsaspecten, die óók deel uitmaken van complexe vraagstukken, weg te filteren uit het kennisontwikkelingsproces. Dat is, zo wijst niet alleen de wetenschapsfilosofische discussie maar ook de praktijk uit, een onmogelijke opgave: een objectieve en waardenvrije wetenschap bestaat niet (Tromp, 2005; Turnhout et al., 2019). Desalniettemin is deze opvatting nog alom vertegenwoordigd, vanwege de heersende normen en principes in het wetenschapsbedrijf (Van der Hel, 2020). In dit artikel introduceren we een reflexieve kijk op kennisontwikkeling. Het begrip reflexiviteit heeft een (kennis)sociologische grondslag (Beck et al., 1994): kennis en de omgeving waarin de kennis gestalte krijgt en wordt toegepast zijn communicerende vaten. Zo is een kennisvraag bijvoorbeeld ingegeven door de thema’s die op de beleidsagenda staan. Andersom creëert kennis ook een beleidsmatige en politieke werkelijkheid. Een voorbeeld zijn de koopkrachtcijfers, die het jaarlijkse begrotingsdebat structureren. Door in termen van koopkracht te spreken wordt het welvaartsbegrip gereduceerd tot een economische maatstaf, wat zich vertaalt in beleid dat zich richt op het verlagen van werkloosheid en verhogen van consumentenvertrouwen, zodat de koopkrachtcijfers weer gaan stijgen. Kennis ontwikkelt zich in een context van continue afstemming en terugkoppelingen, die niet per se te voorzien of te voorspellen zijn, door nieuwe inzichten en veranderende relaties tussen actoren. Een reflexieve kijk op beleidsonderzoek gaat uit van continue dynamiek tussen kennisontwikkeling en beleidspraktijk. Beleidsonderzoekers kunnen ontwikkelingen in beleid en samenleving laten resoneren in het onderzoek, nog steeds met wetenschappelijke methoden en op onafhankelijke wijze, maar ook met aandacht voor de kleuring in (eigen en andermans) zienswijzen op probleem en oplossing en het krachtenveld waar het onderzoek deel van uitmaakt (Jasanoff, 2003).

Bij het Planbureau voor de Leefomgeving (PBL) hebben we verkend wat de consequenties en uitdagingen kunnen zijn van de geschetste ontwikkelingen voor de kennisfunctie van publieke kennisorganisaties en de inrichting van beleidsonderzoek (Kunseler & Verwoerd, 2019a). Dit artikel geeft een samenvatting en uitbouw van die verkenning. We illustreren de uitwerking aan de hand van de lerende evaluatie van het Natuurpact, een evaluatiestudie van het PBL waarin extra aandacht is voor de positionering en inrichting van het onderzoek vanwege de specifieke kenmerken van het natuurbeleid (zoals de verbreding van de beleidsambities van het versterken van biodiversiteit naar het verbinden van natuur en economie en natuur en samenleving, de decentralisatie van het natuurbeleid en de daarmee gepaard gaande veranderde bestuurlijke context). Bevoegd- en verantwoordelijkheden zijn verschoven van rijk naar provincies en worden gezamenlijk opgepakt met andere overheden en maatschappelijke partners (waaronder bedrijven, financiële sector, maatschappelijke organisaties, burgers). We gebruiken voorbeelden uit twee edities van deze evaluatie (PBL & WUR, 2017; 2020). De ervaringen met de eerste editie zijn onder meer gepubliceerd in een aanpalend artikel in dit tijdschrift (Folkert et al., 2018).

2 Ontwikkelingen op de kennis-beleid-interface

Complexe transitieopgaven

In het fysiek-ruimtelijke domein kenmerken veel actuele beleidsopgaven zich als transitieopgaven. Voorbeelden zijn klimaatverandering en verduurzaming van het energiesysteem, het vergroenen en circulair maken van de economie, het bevorderen van een vitaal platteland, het verduurzamen van de landbouw, het stimuleren van een natuurinclusieve samenleving, het bevorderen van een toegankelijke en duurzame woningmarkt en de ontwikkeling naar een postcorona-samenleving. De beweging naar een nieuw regime van instrumenten, samenwerkingen en spelregels wordt beleidsmatig ingezet – veelal op experimentele basis – zonder dat vooraf helder is welke doelen er op welke manier bereikt kunnen worden om bij te dragen aan de verandering. Het beleid vormt zich dan ook gaandeweg de uitvoering ervan. Beleidsontwikkeling kenmerkt zich als adaptief en experimenteel beleid (Voβ & Bornemann, 2011). Er is behoefte aan kennis die gedurende de rit voorziet in tijdige inzichten die het beleid verder kunnen helpen (Weterings & Verwoerd, 2020). Verbanden tussen uitkomsten en effecten en de inzet van beleid zijn echter lastig te duiden, vanwege het onvoorspelbare karakter van transitieopgaven. Onderzoekers hebben te maken met beperkingen van wetenschappelijke modellen en analyses om de dynamiek en onvoorspelbaarheid te adresseren.

Veranderend governancelandschap

Overheden trekken vaker samen op met niet-overheidspartijen (burgers, bedrijven, maatschappelijke organisaties en financiële sector) om zo gebruik te maken van ideeën en opvattingen die er leven, de kwaliteit van beleid te verbeteren, het draagvlak voor beleid te creëren en de uitvoering van beleid te bevorderen. De overheid zoekt een plaats als partner te midden van vele maatschappelijke netwerken. Gelijktijdig aan deze trend (die ook wel vermaatschappelijking of multi-actor governance wordt genoemd) zien we ook een ontwikkeling richting ‘multi-level governance’ ontstaan. Verschillende bestuurlijke overheidslagen trekken gezamenlijk op en verdelen verantwoordelijkheden en taken. In het geval van decentralisatie, regionalisering, europeanisering of internationalisering van beleidstaken verschuiven verantwoordelijkheden en bevoegdheden tussen overheidslagen en zijn overheden zoekende naar een passende verdeling en invulling van hun taken, verantwoordelijkheden en rollen (studiegroep IFV,2020). De aanpak van fysiek ruimtelijke vraagstukken vragen gezien de aard van de opgaven (complexe transitieopgaven) en het veranderende governance landschap steeds vaker om een gezamenlijke aanpak van meerdere overheidsniveaus en overheden en niet-overheden. Dit betekent dat beleid ten behoeve van de aanpak van transitieopgaven in de fysieke leefomgeving steeds vaker wordt ontwikkeld en uitgevoerd in continue afstemming en bijstelling met de partijen in het veld, die ook zelf een taak, rol en verantwoordelijkheid hebben. Voor beleidsonderzoek geldt dan eveneens dat tweerichtingsverkeer met deze partijen nodig is om systeemkennis samen te brengen met praktijkkennis, wat bijdraagt aan de kwaliteit van kennis en ook de impact en bruikbaarheid ervan. Er is in beleidsonderzoek behoefte aan het ontwikkelen van reflexieve onderzoeksmethoden en nieuwe indicatoren om de voortgang van processen, transities en integrale opgaven te kunnen volgen.

Kennisdemocratisering

Kennis en wetenschap hebben een prominente rol in onze kennissamenleving; de inzet van experts in de besluitvorming rondom de huidige coronacrisis is daar een voorbeeld van. Deze situatie illustreert het belang, maar ook de kwetsbaarheid van kennisorganisaties. Het gezag van een toegewezen publieke kennisorganisatie is niet vanzelfsprekend, en zij moet blijvend werken aan gezags- en autoriteitsopbouw (Hajer, 2009). De kwaliteit van het onderzoek kan worden betwist, wanneer dit onwelgevallige kennis betreft of wanneer het onderzoek niet aansluit bij voorkeuren, belangen of zienswijzen. Onder meer door toename van het aandeel hoger opgeleiden, digitalisering van de maatschappij en brede beschikbaarheid van (al dan niet betrouwbare) informatie kunnen burgers en politici hun onvrede makkelijk kenbaar maken en hebben zij een groot bereik, waardoor deze signalen ook snel worden opgepikt in de (klassieke en sociale) media (In ’t Veld, 2010). Democratisering van kennis stelt kennisorganisaties voor de uitdaging om in de publieke opinie de geloofwaardigheid van hun onderzoek te waarborgen. Dit gaat verder dan het inzetten van de wetenschappelijke route van navolgbaarheid van cijfers en analyses, transparantie over aannames en communicatie over onzekerheden. Aandacht voor de beeldvorming rondom en positionering van het onderzoek in de politieke en maatschappelijke realiteit ondersteunt de maatschappelijke en politieke ‘landing’ van het onderzoek (OVV, 2018).

3 Implicaties voor de inrichting van beleidsonderzoek

In het licht van deze ontwikkelingen is er een wereld te winnen wanneer onderzoekers verbindingen weten te leggen met de leefwereld van beleidsmedewerkers, bedrijven en burgers. Het kennen en begrijpen van die leefwereld is nodig om het beleidsonderzoek af te stemmen op de aard en context van de opgave. We noemen dit omgevingsbewust werken. Daarnaast helpt kwaliteitsbewust werken om het kwaliteitsbesef van beleidsonderzoekers beter aan te laten sluiten bij het dynamische krachtenveld waarin kennis een rol speelt. Zo is tegenwoordig niet alleen robuuste kennis doorslaggevend als het om het toekennen van kwaliteit gaat, maar ook publiek vertrouwen en relevantie.
In deze paragraaf lichten we toe hoe omgevingsbewust en kwaliteitsbewust werken gestalte kunnen krijgen in beleidsonderzoek. We baseren onze uitwerking op inzichten uit de kennissociologie, beleidswetenschappen en bestuurskunde.

3.1 Omgevingsbewust werken

Omgevingsbewust werken gaat over de inrichting en positionering van beleidsonderzoek in de omgeving. We onderscheiden drie invalshoeken of brillen om de omgeving rondom het onderzoek te verkennen. Elke bril brengt daarmee andere relevante zaken aan het licht. De eerste bril gaat over het karakteriseren van het vraagstuk. Het tweede perspectief gaat over de manieren waarop sturing plaatsvindt op het vraagstuk en verkent daarmee de politiek-bestuurlijke context. De derde bril richt zich op de vraag welke kennisinbreng legitiem wordt bevonden en daarmee richten we ons op de institutionele omgeving van beleidsonderzoek. Omgevingsbewust werken in beleidsonderzoek kan worden versterkt door ‘heen en terug’ te redeneren tussen de drie invalshoeken (zie figuur 2).

Verkennen van kenmerken van het vraagstuk

Een verkenning van de aard van een vraagstuk ondersteunt beleidsonderzoekers om passende onderzoeksactiviteiten te bepalen. Om te ontrafelen hoe een vraagstuk wordt gepercipieerd, is het onderscheid behulpzaam naar aspecten van het vraagstuk waarover actoren het eens zijn: ‘zo zit het in elkaar’ (matters of fact) en naar aspecten waarover ze het oneens zijn (matters of concern) (Latour, 2004). Zo kan er overeenstemming zijn over de wetenschappelijke basis van een beleidsmaatregel voor rekeningrijden om files tegen te gaan, terwijl het idee om veel-gebruikers zwaarder te belasten omstreden kan blijven. De matters of fact bevinden zich op kennisniveau, terwijl de matters of concern op waarde- en politiek niveau zitten. Omgekeerd kan ook: het bestrijden van een ziekte als kanker wordt alom aangemoedigd, maar wetenschappelijke overeenstemming over het ultieme medicijn of behandeling bestaat (nog) niet (Loeber, 2018). Om beleidsrelevante kennis aan te leveren over matters of facts passen onderzoeksactiviteiten die gericht zijn op de inhoud en uitvoerbaarheid van beleid. Wanneer sprake is van matters of concern, kan een onderzoeker als onafhankelijke partij de verschillende argumenten en wensen of waarden van actoren structureren. Onderzoek kan zo bijdragen aan het leggen van verbindingen, gericht op een constructieve dialoog. Bij complexe transitieopgaven is vaak gelijktijdig sprake van matters of fact en concern, of zijn ze gelaagd of verweven, zoals ook het voorbeeld van de lerende evaluatie van het Natuurpact in tekstkader 2 laat zien.

Kader 2: Karakter van de natuuropgave vraagt om lerende evaluatie
Het Rijk en de provincies hebben in het Natuurpact afspraken gemaakt over de ambities en financiering van het Nederlandse natuurbeleid tot 2027. Ze zijn daarbij drie ‘ambities’ overeengekomen: het vergroten van biodiversiteit, het versterken van de maatschappelijke betrokkenheid bij de natuur en het verstevigen van de relatie tussen natuur en economie. Met de afspraken in het Natuurpact is het natuurbeleid verbreed van biodiversiteit naar het versterken van de relatie tussen natuur en de samenleving en natuur en de economie. Dit zijn nieuwe opgaves waarbij provincies volop experimenteren hoe ze dit vorm moeten geven.
De natuuropgave kenmerkt zich zowel door matters of fact als concern. Voor de biodiversiteitsambitie gelden Europese biodiversiteitsverplichtingen uit de Vogel- en Habitatrichtlijn (VHR) en de Kaderrichtlijn Water (KRW) als referentie en basis voor natuurbeleid (matter of fact). De uitwerking ervan is echter ingewikkeld en complex, ook omdat de biodiversiteitsopgave op gespannen voet staat met landbouwbelangen, wat in de stikstofcrisis overduidelijk tot uiting komt (matter of concern). De verbredingsambities zijn niet concreet uitgewerkt in concrete doelen en bijbehorende beleidsstrategieën, zodat zowel op kennis- als waarde-niveau nog veel diverse perspectieven en argumenten circuleren (matters of act en concern). De meervoudigheid van het natuurbeleid is de inhoudelijke reden waarom het PBL voor een lerende evaluatie heeft gekozen. Lerend evalueren sluit aan bij leerbehoeften van de beleidsbetrokkenen in het lopende proces van beleidsontwikkeling en -bijstelling en biedt inzicht in de voortgang ten aanzien van (tussentijdse) doelen en de werking van de beleidsaanpak (Folkert et al., 2018).

Verkennen van de politiek-bestuurlijke context

De tweede invalshoek die we bespreken om de omgeving rondom een opgave te begrijpen, betreft de politiek-bestuurlijke context. De omgeving bestaat uit bestuurders en beleidsmedewerkers bij de rijksoverheid en andere overheden, en andere partijen zoals het bedrijfsleven, maatschappelijke organisaties en burgers. Hoe deze partijen zich tot elkaar verhouden en wat dat betekent voor de vormgeving van beleid, heeft ook consequenties voor de inrichting van een passende kennisfunctie.

De diversiteit aan combinaties van sturingsvormen en onderlinge relaties tussen actoren is groot. In de beleidspraktijk is vaak sprake van gelijktijdige of achtereenvolgende inzet van sturingsvormen in een beleidsdossier (Van der Steen et al., 2014; 2015). Juist die variëteit en wisselende combinaties maken dat de kennisbehoefte ook divers is. Zo ligt bij prestatiesturing, bijvoorbeeld op 49% reductie in broeikasgassen in 2030 (t.o.v. 1990) als onderliggend doel van het Klimaatakkoord, de nadruk op het meten van (voortgang in) prestaties en de evaluatie van doeltreffendheid en doelmatigheid van beleidsmaatregelen om de beoogde doelen te behalen. Om afgesproken maatregelen vervolgens tot uitvoer te brengen is er weer behoefte aan andere kennis, zoals inzicht in afruilen en synergiën tussen sectoren en domeinen om alliantievorming te ondersteunen, of aan inzicht in de voortgang in netwerkafspraken via procesmonitoring. In het licht van de beweging richting multi-level en multi-actor governance kunnen kennisbehoeften bovendien variëren per schaalniveau, per actor en per perspectief. Zo kan er enerzijds behoefte zijn aan inzicht in voortgang in prestaties ten behoeve van beleidsverantwoording op rijksniveau, terwijl er anderzijds behoefte kan zijn aan inzicht in de werking van beleid en handelingsruimte ten behoeve van beleidsleren op het niveau van meer lokale overheden (VNG, 2019). Tekstkader 3 illustreert hoe de politiek-bestuurlijke context van de lerende evaluatie van het Natuurpact relevant en bepalend is voor de keuze van het type onderzoek en de inrichting ervan.

Kader 3: Nieuwe bestuurlijke context vraagt om een lerende evaluatie
Provincies en het Rijk willen leren van elkaars ervaringen met het natuurbeleid. De aanleiding hiervoor is de decentralisatie van het natuurbeleid van het Rijk naar de provincies en de verbreding van het natuurbeleid naar natuur en samenleving en economie, waardoor ook de sturing is aangepast naar meer faciliterende en netwerkende vormen. Grondeigenaren, burgers en maatschappelijke organisaties kregen een rol en verantwoordelijkheid in het provinciale natuurbeleid. De decentralisering en vermaatschappelijking van het natuurbeleid en als gevolg daarvan verschuiving van taken, bevoegd- en verantwoordelijkheden en rollen tussen overheden onderling (Rijk en provincies) en tussen overheden en niet-overheden maakten dat er veel te leren viel van de nieuwe bestuurlijke context met nieuwe inhoudelijke opgaven, waarbij provincies op hun eigen manier hun natuurbeleid uitwerken en uitvoeren, zodat de behoefte om te leren van elkaars ervaringen aanwezig was. Een lerende evaluatie was in deze context dan ook passender dan een traditionele evaluatie, ook omdat de effecten van het prille beleid nog niet zichtbaar waren, laat staan meetbaar. Een lerende aanpak hielp de beleidsbetrokkenen om inzicht te krijgen in de werking en potentiële effectiviteit van beleidsstrategieën bij provincies. Met een lerende evaluatie beoogden de onderzoekers dan ook de kwaliteit, bruikbaarheid en impact van het onderzoek te vergroten (Folkert et al., 2018; Verwoerd et al., 2019).

Verkennen van rol en positie van onderzoekers

Zelfs wanneer een beleidsonderzoek zodanig is ingericht dat het past bij het karakter van het maatschappelijke vraagstuk en de politiek-bestuurlijke context, zoals besproken in voorgaande paragrafen, betekent dit niet automatisch dat het onderzoek als legitiem wordt gezien door de partijen in de arena en met vanzelfsprekend gezag kan worden vervuld. De vrijheidsgraden die een beleidsonderzoeker heeft om bepaalde expertrollen en kennisfuncties uit te oefenen, hangt samen met de institutionele rol en positie van de onderzoeksinstantie in het betreffende beleidsveld. Zo is het in klimaatonderzoek gangbaar dat cijfers en kwantitatieve analyses de boventoon voeren, terwijl in ruimtelijk beleid ontwerpend en kwalitatief onderzoek vaker wordt ingezet. Er is veelal sprake van een gegroeide relatie tussen (afdelingen van een) onderzoeksinstantie en specifieke beleidsvelden, waardoor ook kennisfuncties geïnstitutionaliseerd kunnen zijn. Dit kan tot uiting komen in mandaat en missie van een kennisorganisatie en in wettelijke kaders zijn vastgelegd. Om als onderzoeker of kennisorganisatie verbreding of vernieuwing van de publieke kennisfunctie te bewerkstelligen, is het dan ook nodig om daarvoor institutionele ruimte te creëren. Het kan helpen om de wettelijke opdracht van een kennisorganisatie te verruimen of nieuwe structuren te organiseren (ROB, 2020), maar het vraagt ook om een leren-door-doen-mentaliteit van onderzoekers die durven te verkennen hoe zij een kennisrelatie kunnen opbouwen met nieuwe spelers in het beleidsveld (Kunseler, 2017). Tekstkader 4 illustreert hoe zo’n proces is doorlopen in de lerende evaluatie van het Natuurpact met de verzoekers bij de provincies.

Kader 4: Creëren van een legitieme evaluatierol in provincieland
Om een legitieme evaluatierol en positie te bemachtigen in provincieland was het voor PBL-onderzoekers van belang dat zij zich bewust waren van de gevoeligheden die met decentralisatie van het natuurbeleid samenhingen. De provincies waren niet bekend met het PBL en beschouwden het PBL in eerste instantie als verlengstuk van het Rijk: ‘onbekend maakt onbemind’. Ze waren bang om door een slecht evaluatieresultaat, en het debat hierover in de Tweede Kamer, hun net verworven verantwoordelijkheden voor het gedecentraliseerde natuurbeleid te verliezen. Voor participatie van de provincies als essentiële stakeholders zijn vertrouwen en eigenaarschap essentieel, en dat ontbrak nu juist aan het begin van de evaluatie. Om de provincies te betrekken bij de evaluatie zijn de onderzoekers eerst gaan verkennen wat provincies als kansen en bedreigingen zagen voor de evaluatie om daarop te kunnen voortbouwen. Om te werken aan legitimiteit voor deze evaluatie bij provincies hebben de onderzoekers ingezet op ambassadeurs bij provincies. Ze kozen hierbij voor personen die aanzien genoten op bestuurlijk en/of ambtelijk niveau en die het belang van onderzoek, in het bijzonder van een lerende evaluatie, inzagen. Daarnaast is op verzoek van PBL het overleg met de verzoekers van de evaluatie verbreed van Rijk en IPO, naar vertegenwoordigers van de provincies (de ambtelijke werkgroep natuurbeleid) om zo directe betrokkenheid en communicatie tussen onderzoek en beleidspraktijk te realiseren, wat het commitment, eigenaarschap, vertrouwen en de bekendheid bij provincies met PBL en het onderzoek heeft versterkt, en van toegevoegde waarde is geweest voor inhoud, landing en bruikbaarheid van het onderzoek (Folkert et al., 2018).

3.2 Kwaliteitsbewust werken

Kwaliteitsbewust werken gaat over het waarborgen van de kwaliteit van beleidsonderzoek. Kwaliteitswaarden die in samenhang van belang zijn, betreffen: de geloofwaardigheid, relevantie en legitimiteit (vrij vertaald naar credibility, saliency en legitimacy, aangedragen door Cash et al., 2003). We lichten onafhankelijkheid uit als vierde kwaliteitswaarde. Alhoewel meestal beschouwd als onderdeel van geloofwaardigheid, merken we dat onafhankelijkheidsborging met het oog op de beleidsnabijheid van dit type onderzoek apart aandacht verdient. Om deze kwaliteitswaarden te waarborgen is meer dan voorheen wisselwerking nodig gedurende het onderzoeksproces met actoren in de omgeving van het onderzoek (zie figuur 3). In de volgende paragrafen worden deze waarden en de borgingsstrategieën toegelicht.

Waarborgen van geloofwaardigheid

Het waarborgen van geloofwaardigheid verloopt via traditionele kwaliteitsstandaarden en -procedures, zoals reproduceerbaarheid, validering en peer review. Doel hiervan is de navolgbaarheid van de geproduceerde kennis te garanderen en expert-collega’s te betrekken bij deze kwaliteitstoets. Wanneer onderzoek dicht op de praktijk wordt uitgevoerd, is het betrekken van praktijkdeskundigen bij deze kwaliteitstoets ook zinvol en nodig, en kunnen kwaliteitsprocedures worden aangevuld en versterkt via extended peer review en maatschappelijke toetsing. In dit geval zijn het niet alleen expert-collega’s die kritisch naar de analyse kijken (en zo de wetenschappelijke robuustheid waarborgen), maar juist ook vertegenwoordigers uit de onderzochte praktijk. Zij kunnen toetsen of de kennis recht doet aan de maatschappelijke realiteit en of de kennis robuust is ten aanzien van de diverse opvattingen over het vraagstuk, en niet alleen de denkkaders van opdrachtgever en /of onderzoeksteam reflecteert. In de lerende evaluatie van het Natuurpact zijn hiertoe bestaande reviewwerkwijzen aangepast. Zo zijn extended peers bij de interne PBL-seminars betrokken om feedback te geven op de planning of inhoud en is een brede maatschappelijke klankbordgroep ingericht om de robuustheid van het onderzoek te toetsen aan diverse perspectieven en om alert te zijn op tunnelvisies of groepsdenken in het onderzoek. Nieuwe kwaliteitsstrategieën zijn ontworpen, waaronder bilaterale consultaties en groepsreviews met beleidsbetrokkenen, waarvan de laatste nader is toegelicht in tekstkader 5.

Kader 5: Groepsreview als extended peer review
Een van vele interactiemomenten in de lerende evaluatie betrof het gezamenlijk bespreken van tussentijdse onderzoeksresultaten om deze inhoudelijk te verrijken in een zogenoemde groepsreview. Deze review-sessies zijn niet alleen van belang geweest voor onderling leren, maar ook voor inhoudelijk leren. Het ging hierbij om bijeenkomsten waar telkens drie provincies en (lokale) maatschappelijke organisaties vertegenwoordigd waren. Deze groepsreviews zijn belangrijk geweest voor het leren, de inhoudelijke kwaliteit en de landing van de resultaten. Deze sessies hebben de onderzoekers zo ingericht dat er een veilige omgeving ontstond voor deelnemers om ervaringen te delen met collega’s uit ander provincies en het Rijk. Onderzoekers waren transparant over de aanpassingen die ze op basis van input van stakeholders wel of niet hebben doorgevoerd. De criteria en de onderbouwing van de aanpassingen zijn vastgelegd in verslagen die met de betrokkenen zijn gecommuniceerd. Zo hebben de onderzoekers naar de provincies toe aangegeven wat ze met hun input op de groepsreview hebben gedaan en op basis van welke criteria en informatie ze hier wel of niet iets mee hebben gedaan. De onderzoekers hebben daarbij bovendien verschillende bronnen geraadpleegd (triangulatie) om verschillende opvattingen in evenwicht te brengen en tot betrouwbare resultaten te komen (Folkert et al., 2018).

Waarborgen van onafhankelijkheid

Het waarborgen van onafhankelijkheid gaat over meerdere aspecten in het onderzoekproces: onafhankelijkheid in de positionering, oordeelsvorming en beeldvorming van het onderzoek (OVV, 2018). Door randvoorwaarden te stellen aan het verrichten van onderzoek kunnen onderzoekers hun werk naar eigen inzicht inrichten en uitvoeren. Ze waarborgen onafhankelijkheid in positie bijvoorbeeld door hun eigen onderzoeksagenda vast te stellen. Onafhankelijkheid in de oordeelsvorming vergt de vereiste vaardigheden en houding om te komen tot een eigenstandig oordeel. Het organiseren van rolverdeling en tegenspraak in het onderzoeksteam (zie tekstkader 6) en het bespreekbaar kunnen maken van integriteitskwesties, bijvoorbeeld via moreel beraad, helpen hierbij. Onafhankelijkheid in de beeldvorming vereist aandacht voor verwachtingsmanagement en het verantwoorden van keuzes en aannames in het onderzoeksproces. Door als onderzoeker ‘gepaste afstand’ te bewaken tot de onderzochte beleidspraktijk en deze afstand te etaleren kan op alle drie de elementen onafhankelijkheid worden bewerkstelligd. Gepaste afstand (niet per definitie gelijk aan fysieke afstand) valt te realiseren met ‘harde’ maatregelen – via gedragscodes en wettelijke bepalingen – en ‘zachte’ maatregelen, zoals politieke sensitiviteit en een gevoel voor de beleidscontext, een duidelijke rolverdeling en rolvastheid, zoals ook geïllustreerd in tekstkader 6. Hoe effectief harde manieren van waarborging daadwerkelijk in de praktijk zijn, is in belangrijke mate afhankelijk van hoe ze doorwerken in en ondersteund worden door zachte praktijken van borging (Verwest et al., 2019). In de regel zetten publieke kennisorganisaties sterk in op harde maatregelen, en kan ontwikkeling op het zachte vlak meer worden aangemoedigd (Diercks et al., 2018).

Kader 6: Rolverdeling en rolvastheid in het Natuurpact-team
In de lerende evaluatie van het Natuurpact (tweede editie) was de afbakening van onderzoeksvragen in het offertetraject te smal om de aard van de opgaven en aanbevelingen uit de eerste editie op te pakken. Naast de externe geldstroom heeft PBL dan ook eigen budget ingezet om de vraagstelling te verbreden en te verdiepen, zodat landbouwanalyses onderdeel werden van de evaluatie. Zo is onafhankelijkheid in positionering gerealiseerd; daarnaast was dit vanuit het inhoudelijke vraagstuk een logische stap om te doen. Immers, in de eerste editie van de lerende evaluatie Natuurpact was geconcludeerd dat de transitie van de landbouw een belangrijke bijdrage aan het realiseren van natuurdoelen zou kunnen leveren. In de (interne) beeldvorming werd de onafhankelijkheid van het PBL in twijfel getrokken. Een lerende evaluatie zorgt ervoor dat de onderzoekers (evaluatoren) meer dan bij reguliere ex-post evaluatie interactiemomenten hebben met beleidsbetrokkenen, zodat een schijnbaar risico op beïnvloeding aanwezig is. Door expliciet te maken hoe de onafhankelijkheid in de oordeelsvorming is gewaarborgd, hebben de PBL-onderzoekers de zorgen grotendeels kunnen ondervangen. Zij hebben de rollen in het onderzoek verdeeld. Onderzoekers die het leerproces faciliteerden en vertrouwensrelaties opbouwden met de beleidspraktijk om zodoende kennis ten behoeve van de evaluatie te vergaren, hebben niet zelf de conclusies op basis van de inbreng uit leersessies getrokken. Dit is gedaan samen met onderzoekers die niet aanwezig waren bij de leersessies. Ook zijn zij rolvast gebleven wanneer er een beroep werd gedaan op het ‘kleuren’ van de bevindingen. De eindverantwoordelijkheid voor de inhoud van de rapportage lag bij het PBL (Folkert et al., 2018).

Waarborgen van legitimiteit

Het waarborgen van legitimiteit gaat over het verwerven van publiek gezag en vertrouwen in het kennisinstituut, zodat het onderzoek geaccepteerd kan worden. Tijdens het onderzoeksproces vergt dit inzet op het creëren van draagvlak voor het onderzoek en betrokkenheid bij het onderzoeksproces. Dit vraagt van onderzoekers vaardigheden om een integere vertrouwensband op te bouwen en oog te hebben voor de diverse invalshoeken op een vraagstuk die er leven onder degenen die erbij betrokken zijn of er effect van ondervinden. Tekstkader 7 illustreert hoe dit in de lerende evaluatie van het Natuurpact is aangepakt. Alleen wanneer alle betrokkenen zich gehoord voelen in het onderzoek en er vertrouwen in hebben dat onderzoekers onbevooroordeeld en op integere wijze met hun zienswijzen omgaan, is het aannemelijk dat ze bereid zijn (inzichten uit) het onderzoek aan te nemen en te gebruiken bij de ontwikkeling van hun beleid.

Kader 7: Transparant en verrassingsvrij werken
In de lerende evaluatie hebben de onderzoekers aan het vertrouwen gewerkt door actief op afstemming in te zetten in alle evaluatiefasen en transparant te zijn over de te maken keuzes in het onderzoek en de gevolgde methoden en de gebruikte gegevens. Dit heeft als voordeel dat de beleidsbetrokkenen de conclusies van de evaluatie kennen, accepteren en gebruiken bij de ontwikkeling van hun beleid. Daarnaast zijn er afspraken gemaakt met het Rijk en de provincies om verrassingsvrij en voorspelbaar te werken. Dit betekende dat gevoelige resultaten altijd worden besproken voordat ze gepubliceerd worden. Er vindt hoor en wederhoor plaats, waarbij bij nieuwe feitelijke informatie de resultaten kunnen wijzigen, maar ook dat resultaten kunnen worden bevestigd als de onderbouwing voor aanpassingen ontbreekt (Folkert et al., 2018). Dit heeft bijgedragen aan het vertrouwen tussen provincies, Rijk en de onderzoekers, hoewel dit geen beoogd resultaat was van het onderzoek. Ook onderling tussen Rijk en de provincies heeft gezamenlijke betrokkenheid bij de evaluatie bijgedragen aan het versterken van vertrouwen en samenwerking (Verwoerd et al., 2017).

Waarborgen van relevantie

Het waarborgen van relevantie vraagt om afstemming met de verzoekers en doelgroepen over de verwachtingen over het doel en de aanpak van het onderzoek. Relevant onderzoek doen betekent telkens opnieuw aansluiting vinden bij de belevingswereld en handelingsruimte van de beoogde doelgroep, niet alleen qua inhoud, maar ook met betrekking tot het schaalniveau van de kennis, de tijdigheid, de formulering, en hierover verwachtingen uit te wisselen. Het bewerkstelligen van relevantie vergt aandacht voor de instrumentele kant (bruikbaarheid van kennis), maar ook voor de politieke en bestuurlijke gevoeligheden die kunnen spelen. Onderzoek kan ook relevant zijn als het bijdraagt aan het creëren van nieuwe inzichten (conceptuele waarde), onderling begrip (affectieve waarde) en netwerkopbouw (Verwoerd et al., 2020). Daarbij is het aannemelijk dat wat relevant is zich, naarmate het beleid zich verder ontwikkelt, mee ontwikkelt. Dit vraagt om een onderzoeksontwerp waarbinnen ruimte is voor iteratie, zonder dat het onderzoek onuitvoerbaar wordt. Het bewaren van een goede balans hierin is niet altijd makkelijk, zoals het voorbeeld in tekstkader 8 illustreert.

Kader 8: Balans tussen provinciale en landelijke analyses
Provinciale beleidsmakers hadden vooral behoefte aan inzichten op het meest concrete niveau, het niveau waarop in de beleidspraktijk de strategieën tot uitvoering en resultaten komen in concrete gebieden in hun provincie. Veel provincies wilden graag inzicht in de ontwikkeling van de beleidsstrategieën in hun provincie en in de faal- en slaagfactoren daarbij. Ze wilden ook graag effecten op soorten en ecosystemen op provincieniveau of op gebiedsniveau. De opzet van het onderzoek was echter gericht op een landelijke analyse over de provincies heen en voorzag hier maar ten dele in. Tijdens de uitvoering van het onderzoek hebben de onderzoekers hier wel zoveel mogelijk op proberen in te spelen. De onderzoekers, die een vertrouwensrelatie opbouwden met stakeholders in de beleidspraktijk, voelden zich geroepen hun vragen te beantwoorden. Het onderzoek is naar aanleiding hiervan uitgebreid naar een analyse van de beleidsontwikkeling per provincie en een inschatting van de slaag- en faalfactoren daarbij in elke provincie. Deze vraag was veel groter dan voorzien omdat vanwege de decentralisatie de provinciale analyses in twaalfvoud moesten worden gemaakt. Bovendien moesten de onderzoekers deze in interactie met de beleidspraktijk vormgeven. Deze ervaring geeft aan dat het belangrijk is om het onderzoek goed af te bakenen om het hanteerbaar en uitvoerbaar te houden en helder te zijn over de verwachtingen van wat het oplevert (Folkert et al., 2018). Gedurende een onderzoeksproces kunnen zich bovendien ontwikkelingen voordoen die implicaties hebben voor de analyses. Zo speelden de klimaatopgave, de stikstof- en coronacrisis op tijdens de lerende evaluatie van het Natuurpact (tweede editie). Het is onmogelijk hieraan voorbij te gaan, terwijl het ook niet haalbaar is om analyses en bevindingen substantieel te herzien. Het is voor onderzoekers dan zoeken naar een balans om de relevantie van deze ontwikkelingen op passende wijze te duiden in het evaluatierapport.

4 Reflexiviteit in onderzoeksprocessen versterken

Met inzet op omgevingsbewust en kwaliteitsbewust werken kunnen beleidsonderzoekers leren inspelen op de ontwikkelingen op de kennis-beleid-interface (zie paragraaf 2). Zij leren hun omgeving en de verwachtingen ten aanzien van het onderzoek kennen. Zij worden zich bewust van de rol en positie van kennis in een onvoorspelbare en dynamische omgeving, om daar vervolgens tijdig op in te kunnen spelen met omgevingsanalyses en kwaliteitsstrategieën (paragraaf 3). Op deze manier leren onderzoekers werken volgens een reflexieve kijk op beleidsonderzoek (zie tekstkader 1). Door reflexiviteit als uitgangspunt te nemen van het vak van beleidsonderzoek wordt het omgaan met onzekerheid, normativiteit en onvoorspelbaarheid meer vanzelfsprekend en minder spannend. Ook komt deze manier van werken de impact en kwaliteit van het onderzoek ten goede, omdat kennis de beleidsontwikkeling op lerende wijze kan verrijken, met wetenschappelijk gefundeerde en onafhankelijke uitspraken over de werking en de effectiviteit van het beleid.

Bovenstaande tekstkaders over de lerende evaluatie van het Natuurpact zijn illustratief voor het leerproces dat beleidsonderzoekers doorlopen om zich de nieuwe aanpakken en vaardigheden die met omgevingsbewust en kwaliteitsbewust werken gepaard gaan, eigen te maken. Dit is een kwestie van ‘leren door doen’ gedurende het onderzoeksproces, zodat zij werkende weg een omgang met de uitdagingen vinden en lessen trekken (Pallett & Chilvers, 2013; Verwoerd et al., accepted). Deze manier van werken kan voor andere onderzoekers echter nog ‘ver van hun bed’ zijn, omdat zij domweg niet in aanraking komen met de ‘buitenwereld’, het niet gewoon zijn om verbinding te leggen en zelfs vinden indruisen tegen de mores van goed onderzoek doen: onderzoek moet vrij van invloed of inmenging van buitenaf tot stand komen om de objectieve kwaliteit ervan te waarborgen. Deze mores is sterk ingebed in maatschappelijke verwachtingen ten aanzien van de rol van kennis in beleid en samenleving. In het publieke debat lijkt geen ruimte voor een genuanceerd antwoord waarin onvermijdelijk onzekerheid schuilt (Chouinard, 2013). Het gevolg is dat onderzoekers onder druk komen te staan om stellige uitspraken te doen waardoor de roep om objectieve kennis die feiten aandraagt, volop aanwezig blijft. De neiging om het onderzoek te isoleren van maatschappelijke dynamiek is dan ook niet alleen terug te voeren op routinematige manieren van werken bij kennisorganisaties zelf, maar ook op heersende opvattingen over de aard van kennis en de expertrol van publieke kennisorganisaties in beleid en samenleving (Kunseler, 2017; Turnhout et al., 2016).

5 Conclusies en aanbevelingen voor beleidsonderzoekers, kennisorganisaties en kennisverzoekers

Hoe kan omgevings- en kwaliteitsbewust werken zich als het ware ontwikkelen tot tweede natuur van beleidsonderzoekers? We stellen dat dit proces verloopt via leren, experimenteren en het opdoen en uitwisselen van ervaringen met een reflexieve kennispraktijk, zodat omgevings- en kwaliteitsbewust werken werkende weg het ‘nieuwe normaal’ wordt (Pallett & Chilvers, 2013; Verwoerd et al., accepted). De weg hiernaartoe vergt inspanningen van beleidsonderzoekers zelf, van de organisaties waarin ze werkzaam zijn en van de beleidsmedewerkers die als verzoeker of anderszins betrokken zijn bij beleidsonderzoek.

Beleidsonderzoekers

Om reflexiviteit in beleidsonderzoek te cultiveren dienen beleidsonderzoekers naast inhoudelijk deskundige in hun vakgebied ook vaardig te zijn in het aangaan en onderhouden van relaties en gevoel te hebben voor de verwachtingen, zienswijzen en waarden van de betrokken partijen (Turnhout et al., 2019). Toch is de reflex nog vaak om kennis in isolatie te ontwikkelen, omdat dit van hen wordt verwacht of omdat dit de veilige en makkelijke weg is. Wanneer beleidsonderzoekers voeling ontwikkelen met de beleidspraktijk en leren om het eigen onderzoek in dit licht te bezien, kunnen zij hun impact versterken. Voeling met de beleidspraktijk helpt onderzoekers om zichzelf en hun onderzoek te kunnen positioneren en verwachtingen te kunnen managen. Ook wanneer het onderzoeksproces nauwelijks om wisselwerking met de buitenwereld vraagt – zoals in geval van een modelmatige exercitie – is het cruciaal om te weten in welk daglicht het onderzoek wordt gezet en als onderzoeker (en kennisorganisatie) zelf regie te pakken om verwachtingen waar nodig te expliciteren, te corrigeren of bij te stellen. Zo kunnen beleidsonderzoekers laten zien en verantwoorden hoe kennis tot stand komt en welk werk daarachter schuilgaat. Onderzoekers die enige bescheidenheid tentoonspreiden ten aanzien van het eigen werk, komen betrouwbaarder en krachtiger over. Expliciet zijn over de kwaliteit en scope van het onderzoek maakt helder wat de zeggingskracht is en wat de beperkingen zijn. Vanuit die transparantie en bescheidenheid is het mogelijk om in gesprek te zijn, ook met critici.

Kennisorganisaties

Reflexieve thema’s zoals rolvastheid, oog voor de omgeving en de eigen positie daarin, moeten landen en ingebed raken in de taal en cultuur van een kennisorganisatie. Ervaringsgerichte kennisuitwisseling tussen onderzoekers dient vanuit deze organisaties te worden gefaciliteerd. Het PBL heeft daartoe een Communities of Practice ingericht voor zijn medewerkers. Kwaliteitsbewust werken wordt aangemoedigd via uitwisseling van ervaren risico’s en kwaliteitsstrategieën tussen medewerkers. Omgevingsbewust werken krijgt aandacht via kennisdeling tussen onderzoekers die nieuwe kennisrelaties bij decentrale overheden aangaan. Via het delen van ervaringen kunnen medewerkers lerend vermogen opbouwen om in te spelen op een veranderend speelveld (Kunseler & Verwoerd, 2019b). Door zulke ervaringen ook tussen diverse kennisorganisaties te delen, zoals in een gezamenlijk leerwerktraject voor onderzoekers van deze organisaties, kan het lerend vermogen van het publieke kennisdomein als geheel worden versterkt (Ministerie van IenW, 2020).

Kennisverzoekers

Verzoekers aan beleidszijde kunnen met kennisorganisaties verkennen hoe de inrichting van de kennis-beleid-interface beter kan worden afgestemd op de complexe beleidsopgave die voor ligt. Ook kunnen zij faciliteren dat er middelen en arrangementen worden ingericht om kennis dichter bij beleid te brengen. Zo hebben ook medeoverheden behoefte aan toegang tot kennis van publieke kennisorganisaties, maar daar is de huidige kennisinfrastructuur nog niet goed op ingericht (ROB, 2020; VNG, 2019). Kennis die beter benut kan worden in beleid, en toegesneden is op vragen en behoeften, is ook in het belang van beleidsmedewerkers. Om een open en ‘ademende’ relatie met kennisorganisaties aan te kunnen gaan zijn aan beleidszijde ook vaardigheden nodig om kennisontwikkeling te initiëren, te sturen, en eraan deel te kunnen nemen (Faasse et al., 2020). Daarbij komt dat de kennis ook lerend moeten kunnen worden ingezet in beleidsontwikkeling en niet alleen dient om de doelmatigheid en doeltreffendheid van het beleid te verantwoorden. Het is voor beleidsmedewerkers niet vanzelfsprekend om zich een lerende houding gedurende het proces van beleidsontwikkeling en -uitvoering aan te meten. Zij zitten gevangen in een afreken- en verantwoordingscultuur en moeten politiek ‘scoren’. Het delen van lessen brengt in het publieke debat daardoor soms eerder risico’s dan kansen met zich mee (OIiK, 2019). De uitdaging is om leerprocessen onderdeel te maken van verantwoording en kennis te benutten om constructief én in gezamenlijkheid te reflecteren op voortgang en tussentijdse resultaten van beleid (Schulz et al., 2020).

Met dit artikel hopen we beleidsonderzoekers, kennisorganisaties en kennisverzoekers ideeën en suggesties mee te geven voor het toepassen van omgevingsbewust en kwaliteitsbewust werken. De coronacrisis en stikstofcrisis laten eens te meer zien hoe belangrijk, maar ook hoe kwetsbaar, kennis voor beleid kan zijn. Het is dan ook cruciaal dat de kennis-beleid-interface door alle betrokkenen vaardig en vakkundig wordt onderhouden.