Bevorderen van verantwoorde onderzoekspraktijken door ZonMw

• Maatschappelijke uitdagingen en de rol van praktijkgericht onderzoek

  We leven in een periode waarin meerdere systemen niet langer houdbaar blijken: van de financiële wereld tot zorg en veiligheid, van energie, klimaat en water tot grondstoffen en biodiversiteit, en van fysieke tot wetenschappelijke infrastructuur. Om deze uitdagingen duurzaam aan te pakken zijn op alle fronten innovatie van processen, diensten en producten, nieuwe verbindingen en meer horizontale manieren van organiseren, besturen en participeren nodig. In dit domeinoverstijgende proces, dat wel wordt aangeduid met de term governance of netwerkmanagement, ligt de nadruk op kennisdeling en de kwaliteit van onderliggende sociale relaties of sociaal kapitaal (Ehlen, 2015). Een belangrijke aanjager voor verandering is het thema Societal Impact of Science (maatschappelijke impact), dat vertegenwoordigd is in alle wetenschappelijke vakgebieden en maatschappelijke sectoren, nationaal en internationaal.¹x Zie ter illustratie de Wetenschapsvisie 2025 van het ministerie van Onderwijs, Cultuur en Wetenschap, theinternationalschoolonria.com en aesisnet.com. Naar analogie van de Nationale Wetenschapsagenda stelt de Adviesraad voor wetenschap, technologie en innovatie recent dat het tijd is voor een Nationale ‘Impactagenda’ om concrete oplossingen aan te dragen voor de maatschappelijke uitdagingen waar we voor staan (Corbey, 2016).

  Het idee dat wetenschappelijke kennis, en het onderzoek waarop ze gefundeerd is, de need-to-know overstijgt en tevens maatschappelijk nut of handelingspotentie (need-to-act) heeft, is onder de noemer ‘praktijkgericht onderzoek’ nog belangrijker geworden dan voorheen (Van Dijkum & Tavecchio, 2014). Bekend is dat gelijkwaardige en systematische interactie tussen wetenschap, praktijk en beleid voor, tijdens en na het traject van kennisontwikkeling de meeste kans biedt op bruikbaar onderzoek (Merkx, 2012). Aan de kant van de aanbieder (onderzoeker) faciliteert interactie het beter inspelen op specifieke behoeften en omstandigheden. Aan de kant van de gebruiker faciliteert interactie de ontwikkeling van kenniscompetenties. Aan beide kanten faciliteert interactie het opbouwen en onderhouden van een kennisrelatie die zowel recht doet aan de professionele autonomie van de kennisaanbieder als aan de accountability die vanuit vraag- en verantwoordingsoptiek van diezelfde kennisaanbieder mag worden verwacht (Reijmerink, 2014). De termijnen waarop in de publieke sector wordt (samen)gewerkt aan het oplossen van complexe maatschappelijke problemen, zijn per definitie relatief lang, waardoor het onderscheid tussen fundamenteel en toegepast onderzoek minder van belang is en de inhoudelijke breedte, veelzijdigheid en reflexiviteit van wetenschapsbeoefening des te meer.²x Complex wil – zeer kort gesteld – zeggen dat het vraagstukken of problemen betreft die verschillende actoren aangaan, met meerdere onderling samenhangende oorzaken die op elkaar inspelend soms leiden tot onvoorspelbare gebeurtenissen. In samenhang met het criterium maatschappelijke relevantie of bruikbaarheid moet de maatschappelijke stem (ook) sterker doorklinken in de kwaliteitseisen voor wetenschappelijk onderzoek. Dit laat de geldigheid en betrouwbaarheid van kennis onverlet. Ook (aspecten van) efficiency en integriteit worden vandaag de dag geacht waarde aan onderzoek toe te voegen (NIHR, 2016). Op het gebied van het gezondheidsonderzoek, dat hier centraal staat, is dit vooral ingegeven door empirisch bewezen ‘sloppy science’ en de gewenste vermindering van ‘research waste’.³x Verwezen wordt naar de serie artikelen die het internationaal toonaangevende medisch-wetenschappelijk tijdschrift The Lancet hierover in januari 2014 publiceerde: www.thelancet.com/series/research.

• Maatschappelijke impact als doel van praktijkgerichte kennisprogrammering

  Ook ZonMw zal als landelijke programmeur van praktijkgericht gezondheidsonderzoek haar veerkracht moeten vergroten en soepel leren schakelen wil zij onderdeel zijn van de oplossing en niet van het probleem.⁴x ZonMw is de Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie en werkt op het snijvlak van onderzoek, beleid en praktijk aan een zo goed mogelijke gezondheid van mensen in Nederland. ZonMw stimuleert en financiert onderzoek, ontwikkeling en implementatie. Commissies met externe deskundigen geven leiding aan de verschillende inhoudelijke programma’s. In haar nieuwe beleidsplan 2016-2020 (ZonMw, 2016) legt ZonMw de nadruk op het bereiken van impact in wetenschap en samenleving en het bijdragen aan innovaties. Meer dan ooit wil ZonMw haar onderzoeksprogramma’s vormgeven samen met de partijen voor wie de kennis bedoeld is. Samenwerking in alle fasen van de kennis- en innovatiecyclus is het uitgangspunt, waardoor het daadwerkelijk gebruik van de ontwikkelde kennis in praktijk en beleid wordt geborgd. Dit impliceert dat wordt nagedacht over wie de relevante eindgebruikers zijn en de waarden die zij aan onderzoeksresultaten hechten. Hierbij dient te worden opgemerkt dat ZonMw verantwoordelijk is voor kennisontwikkeling en -verspreiding; de implementatie van kennis is primair een taak van de relevante eindgebruiker.

  In het licht van de maatschappelijke uitdagingen is het referentiekader dat van een ‘sociaal contract’ tussen wetenschap en samenleving waarbij stakeholders verschillende belangen hebben, verschillende factoren van invloed zijn en de systeemdynamiek de uitkomsten bepaalt. De hiervan afgeleide propositie luidt dat om impact te hebben, kennis waarde heeft voor en gewaardeerd wordt door de gebruikers ervan in onderzoek, praktijk en beleid. Dit komt idealiter ten minste tot uitdrukking in directe benutting van bestaande kennis (gebruik) door stakeholders om vanuit hun reële behoeften praktische oplossingen te realiseren.⁵x Weloverwogen niet benutten is ook gebruik, maar zonder impact. Voor de programmeur van kennis, zoals ZonMw, die zich als opdrachtnemer van de overheid in de bijzondere positie bevindt als diens gedelegeerd opdrachtgever, brengt dit overigens een extra verantwoordelijkheid met zich mee. Namelijk voorkómen dat uitkomstgerelateerde implementatiedoelstellingen op de onderzoekswerkvloer tot perverse effecten leiden, zoals het uitlokken van niet-integer gedrag bij het indienen van voorstellen of in de fase van data-analyse. Hetzelfde geldt voor monitoring en evaluatie (zoals transactiekosten). Dit leidt tot een onderliggend appèl op ‘goed opdrachtnemer/-geverschap’: georganiseerde samenwerking tussen de opdrachtgevende overheid en opdrachtnemende kennisinstellingen in kwestie. Wij verwijzen daarvoor naar een eerder in dit tijdschrift gepubliceerd artikel (Reijmerink, 2014).

  Dat onderzoeksprogramma’s en -projecten (maatschappelijke) impact moeten hebben en uitkomsten de betreffende praktijk in staat stellen beter afgewogen keuzes te maken en het handelen goed te onderbouwen bij het realiseren van een doelmatige allocatie van schaarse middelen in de samenleving is één ding, het meetbaar en zichtbaar maken ervan een ander. Het eerste vergt (inter)actieve knowledge brokering, het ander vergt het in kaart brengen van de impact en ontsluiting van (bewezen) goede praktijkvoorbeelden. In internationale termen kan dit worden aangeduid als achieving impact (bereiken van impact), measuring impact (meten van impact), en demonstrating impact (aantonen van daadwerkelijke impact). Via feedbackloops dragen de uitkomsten bij aan advancing impact (impact verbeteren). De kennisprogrammeur die deze return on society (ROS)-cyclus op orde heeft, versterkt daarmee zijn bestaansrecht.

  In dit artikel wordt ingezoomd op de wijze waarop ZonMw aannemelijkerwijs bijdraagt aan het bereiken van impact van gezondheidsonderzoek, de eerste fase van de ROS-cyclus⁶x In een vervolgartikel zal worden stilgestaan bij impact assessment. , door het bevorderen van verantwoorde onderzoekspraktijken gericht op meer maatschappelijke relevantie, wetenschappelijke kwaliteit, efficiency en integriteit. Doel is nieuwe en relevante (meta)kennis aan te leveren voor spelers in het wetenschapssysteem – waaronder onderzoeksfinanciers, kennisinstellingen, tijdschriftredacties en onderzoekers – die samenwerken met verschillende partijen om tot benutting en doorwerking van kennis in praktijk en beleid te komen. Schematisch voorgesteld ziet dat er als volgt uit (zie figuur 1).

  Procesmodel Impact van onderzoek
  * Gericht op meer maatschappelijke relevantie, wetenschappelijke kwaliteit, efficiency en integriteit

• Toetsing van ZonMw-programmeerpraktijken

  Praktijkgerichte onderzoeksprogrammering heeft betrekking op alle activiteiten die op programmaniveau worden uitgevoerd ten behoeve van de projecten van het desbetreffende programma en is bedoeld om doelen te bereiken als: samenhang tussen projecten, benutting van bestaande kennis en data, doelmatige uitvoering en daarmee ook doelmatige besteding van het onderzoeksbudget, kwaliteit van de uitvoering, betere benutting van resultaten en kenniscumulatie (Dekker & Van Hoesel, 2015). Het gaat daarbij om de hele programmeercyclus, bestaande uit een voorbereidende fase, uitvoeringsfase en evaluatiefase. Programmeringsactiviteiten zijn:
  

  • inventarisatie van kennisbehoeften en -lacunes;

  • raadplegen van bestaande kennis;

  • prioriteitstelling en planning;

  • begeleiding en monitoring van projecten;

  • metaonderzoek, methodologisch en inhoudelijk;

  • terugkoppeling van uitkomsten naar stakeholders;

  • kennisopslag en -distributie (naar Dekker & Van Hoesel, 2015).

  In 2015 heeft ZonMw proactief een formatieve (zelf)evaluatie uitgevoerd naar de eigen rol en verantwoordelijkheid in het bewerkstelligen van impact van onderzoek vanuit het perspectief van de afnemers van wetenschappelijke kennis (Reijmerink & Oortwijn, 2016). Het evaluatieperspectief was moreel geladen: verantwoord programmeren als bijdrage aan maatschappelijke impact. De centrale vraagstelling luidde: wat gaat er goed en wat kan eventueel beter als het gaat om (het bevorderen van) maatschappelijke relevantie, wetenschappelijke kwaliteit, efficiëntie en integriteit van gezondheidsonderzoek? De resultaten zouden onder meer kunnen worden gebruikt voor optimalisering van het programmeer- en onderzoeksproces, met name het tegengaan van de vijf hoofdbronnen van verspilling van onderzoeksgeld:
  

  • weinig relevante onderzoeksprioriteiten/-vragen;

  • tekortschietende opzet, uitvoering en analyse van onderzoek;

  • inefficiënte aansturing en management van onderzoek;

  • ontoegankelijke onderzoeksmethoden en -protocollen;

  • onvolledig gepubliceerde onderzoeksresultaten.⁷x Naar www.thelancet.com/series/research.

  Hiertoe is op basis van desk research, internationale vergelijking, interviews en reflectie (zowel individueel als collectief) met de direct betrokkenen binnen ZonMw (n = 26) een toetsingskader ontworpen en gevalideerd. Het kader is opgebouwd rond de vier onderling samenhangende dimensies van verantwoorde onderzoekspraktijken (maatschappelijke relevantie, wetenschappelijke kwaliteit, integriteit en efficiëntie) en vervolgens toegepast op een representatieve vertegenwoordiging van lopende⁸x Peildatum juli 2015. ZonMw-onderzoeksprogramma’s (n = 16, 4 per programmakader). Zie tabel 1.

  Tabel 1 Overzicht ZonMw-programma’s

  Programmakader	Programma
  Wetenschap en Innovatie	TOP subsidies 2015 Translationeel Onderzoek Meer Kennis met Minder Dieren IMDI
  Preventie	5e Programma Preventie Zwangerschap en Geboorte IZB2/Non-alimentaire zoönosen (tevens pilot) Onderzoeksprogramma Sport 2013-2016
  Zorg en Welzijn	Zorg voor Jeugd Nationaal Programma Ouderenzorg Landbouw & Zorg Memorabel
  Kwaliteit en Doelmatigheid	Veiligheid in de Zorg (tevens pilot) Tussen Weten en Doen II DoelmatigheidsOnderzoek 2013-2015/2016-2018 Citrienfonds

  De toetsingscriteria zijn als volgt gedefinieerd:
  

  1. Maatschappelijke relevantie: het bijdragen van kennis aan het vinden van passende oplossingen voor maatschappelijke uitdagingen (Ministerie van Onderwijs, Cultuur en Wetenschap, 2014). Belangrijk is de expliciete aandacht voor de rol van belanghebbenden: zowel bij de articulatie van onderzoeksvragen, de beoordeling, uitvoering en evaluatie van het onderzoek als bij de vertaling van onderzoek naar praktische oplossingen en beleidsimplicaties (Bensing & Oortwijn, 2006).

  2. Wetenschappelijke kwaliteit: de bruikbaarheid van de resultaten van onderzoek voor de wetenschappelijke gemeenschap binnen een of meerdere disciplines (‘peers’). Externe standaarden zijn in het algemeen: ‘aantoonbare productiviteit’ (productie van wetenschappelijke kennis, zoals artikelen), ‘aantoonbaar gebruik’ (gebruik van de gepubliceerde kennis door anderen, bijvoorbeeld via citaties) en ‘aantoonbare blijken van erkenning’ (erkenning en waardering door externen, bijvoorbeeld eervolle benoemingen, prijzen) (KNAW, 2013).

  3. Integriteit: het (toezien op) correct en integer uitvoeren van onderzoek. Hierbij gaat het om de volgende uitgangspunten: eerlijkheid en zorgvuldigheid, betrouwbaarheid, controleerbaarheid, onpartijdigheid, onafhankelijkheid en verantwoordelijkheid (VSNU, 2013).

  4. Efficiëntie: het onderzoek(sprogramma) moet zo passend mogelijk zijn ingericht in het licht van de (steeds sneller) te genereren kennis. Centraal daarbij staat het (bevorderen en bewaken van het) leren van en voortbouwen op al (systematisch) verzamelde kennis en gedeelde ervaringen om kennisstagnatie en verspilling van middelen en moeite tegen te gaan in steeds sneller veranderende toepassingscontexten.

  De operationalisatie van bovenstaande criteria is tot uitdrukking gebracht in indicatoren die zo volledig mogelijk de (dynamische) context weerspiegelen waarin ZonMw inmiddels twintig jaar opereert. Daarbij is het volgende van belang:
  

  • Indicatoren kunnen van verschillende orde zijn en hun onderscheid kan gradueel zijn.

  • Indicatoren kunnen zowel een inhoudelijk als procesmatig of procedureel karakter hebben.

  • Afhankelijk van de doelstelling van het programma, de wijze van programmeren en de fase in het programmeerproces zijn indicatoren meer of minder van toepassing.

  • De volgorde van weergave van indicatoren is willekeurig.

  In tabel 2 worden per criterium de indicatoren weergegeven, en een toelichting per indicator.

  Tabel 2 Overzicht indicatoren

  Maatschappelijke relevantie
  Criterium	Toelichting
  Stakeholderparticipatie	Systematische en niet-vrijblijvende interactie tussen onderzoekers en kennisgebruikers in praktijk of beleid geldt als de meest kritische succesfactor of belangrijkste verklarende variabele voor benutting en doorwerking van kennis (Reijmerink, 2014). Dit impliceert dat vóór, tijdens en na het proces van kennisontwikkeling actief aansluiting wordt gezocht bij de (steeds sneller veranderende) kennisagenda’s, behoeften en handelingsperspectieven van relevante actoren (burgers, patiënten, (zorg)professionals/aanbieders, onderwijsinstellingen, besluitvormers, bedrijfsleven, etc.).
  Cofinanciering/PPS	Opdrachtgevers en economische situatie vragen om cofinanciering van programma’s/projecten. Binnen ZonMw bestaan diverse cofinancieringsconstructies (met gemeenten, zorgverzekeraars, bedrijfsleven etc.) en worden nieuwe constructies ontwikkeld, onder meer in het kader van het topsectorenbeleid. Cofinanciering kent diverse doelen, zoals het creëren van focus en massa qua onderwerp en stroomlijning van geldstromen, en gezamenlijke taakstellende verantwoordelijkheid. Daarnaast kan het een middel zijn om meer commitment van partijen te krijgen om ook na afloop van een project met de resultaten verder te gaan. Maar cofinanciering is niet altijd wenselijk (Meurs, 2013) en de inzet ervan vergt (dus) bewuste afweging.
  Diversiteit van commissiesamenstelling	Om maatschappelijke relevantie te waarborgen in de aanbesteding van onderzoek is het zaak dat er in programmacommissies een goede balans is tussen expertise (in termen van functie en positie) afkomstig uit onderzoek, praktijk en beleid. Zo hanteerde de voormalige Canadian Health Services Research Foundation (thans Canadian Foundation for Healthcare Improvement) het beginsel van evenredige vertegenwoordiging.
  Positieve gezondheid	In het concept positieve gezondheid (Huber, 2014) wordt gezondheid beschouwd als het vermogen om je aan te passen en je eigen regie te voeren, in het licht van de sociale, fysieke en emotionele uitdagingen van het leven. Als zodanig is gezondheid een middel om op een meer persoonlijke manier te werken aan zes onderscheiden hoofddimensies: lichaamsfuncties, mentaal welbevinden, kwaliteit van leven, sociaal-maatschappelijke participatie, dagelijks functioneren en een spiritueel-existentiële dimensie. Vooral patiënten blijken een dergelijke positieve benadering van gezondheid belangrijk te vinden. Binnen onderzoek komt dit bijvoorbeeld tot uitdrukking in het gebruik van patiëntgerelateerde uitkomstmaten.
  Participatieve (praktijkgerichte) infrastructuur	Duurzame samenwerkingsverbanden (werkplaatsen, kennispleinen, consortia of andere netwerkconstructies) waarin vragen uit het veld (praktijk, beleid) expliciet vertrekpunt zijn voor kennisontwikkeling, komen ten goede aan interactie en kennisbenutting (ZonMw, 2014). Specifieke aandachtspunten zijn kennisuitwisseling, scholing en onderwijs.
  Impact/meerwaarde van kennis in praktijk en beleid	Zichtbare en aantoonbare benutting en doorwerking worden steeds nadrukkelijker de basis voor waardering van kennis bij overheid en samenleving (Raad voor Gezondheidsonderzoek, 2007). Het impliceert een proactieve visie op en aanpak van implementatie, bijvoorbeeld via geoormerkt budget, en monitoring op basis van voor de gebruiker relevante proces- en productindicatoren.
  Wetenschappelijke kwaliteit
  Criterium	Toelichting
  Mixed methods designs voor complexe interventies	Triangulatie of combinatie van (valide) kwantitatieve en kwalitatieve onderzoeksmethoden (bijvoorbeeld gevalsbeschrijvingen). Dit draagt bij aan de kwaliteit van onderzoek naar (toenemend) complexe, multicausale problemen die specifiek inzicht vergen in contextuele en werkzame factoren.
  Praktijkgericht (hbo-)onderzoek	Van oudsher is onderzoek een zaak van wetenschappelijke kennisinstellingen, met name universiteiten. De afgelopen jaren is er sprake geweest van een ontwikkeling van het hbo als onderwijsinstelling naar het hbo als kennisinstelling waarin onderzoek een structurele plaats krijgt. Dit sluit aan bij de maatschappelijke behoefte aan professionals die kunnen reflecteren op hun handelen en kunnen bijdragen aan het ontwikkelen van toepasbare kennis voor het werkveld. Werken vanuit de praktijk vergt een ontwerpgerichte aanpak en andersoortige onderzoeksmethodologie, waarbij onderzoekers en professionals intensief samen optrekken bij het verbeteren van de werkpraktijk.
  Grensverleggend onderzoek	Innovatief, grensverleggend onderzoek wordt doorgaans geassocieerd met fundamenteel onderzoek dat vaak de basis vormt van nieuwe interventies (ICT, stamcel-/gentherapie, etc.). Het kan ook worden geassocieerd met onconventioneel onderzoek op bijvoorbeeld het (onontgonnen) gebied van zeldzame ziekten, complementaire zorg, complexe zorginterventies of het stelsel van de gezondheidszorg. Naast potentie voor toepassing heeft grensverleggend onderzoek ook waarde voor bijvoorbeeld de ontwikkeling van onderzoeksmethoden en vernieuwing van wetenschappelijke vraagstellingen.
  Interdisciplinaire samenwerking en kennisontwikkeling	Het wetenschapssysteem is ingedeeld naar (mono)disciplines die sterk bepalend zijn voor loopbanen, publicaties en methodieken. Die indeling staat bijna altijd haaks op de (steeds complexere) vragen zoals die in praktijk en beleid worden ervaren en omschreven. Die vragen zijn doorgaans interdisciplinair en intersectoraal van aard; voor hun beantwoording is kennis uit meerdere wetenschappelijke disciplines vereist. Denk bijvoorbeeld aan onderwerpen als doelmatigheidsonderzoek, wetsevaluatie, multimorbiditeit, samenwerking in de eerstelijnszorg of eHealth. De selectie van onderzoekers (groepen, organisaties, infrastructuren) die buiten de (hen) bekende kennisdomeinen kunnen treden (systeemdenken), wordt daarmee steeds belangrijker. Daarnaast moet voor interdisciplinaire samenwerking expliciet tijd én geld worden vrijgemaakt: het kost veel energie en investering.
  Internationale samenwerking en kennisontwikkeling	Steeds meer onderzoeksterreinen bestrijken een breder gebied dan de landelijke grenzen. In Europees verband en wereldwijd vindt samenwerking plaats en worden strategische doelstellingen geformuleerd en afgestemd met als doel integratie met nationaal beleid. De vraag staat centraal op welke wijze onderzoeksprojecten vanuit ZonMw-programma’s zich (hebben) kunnen aansluiten bij deze internationale ontwikkelingen en welke lessen daaruit getrokken kunnen worden.
  Diversiteit van het beoordelingsproces	Probleemgestuurd en/of nieuw onderzoek vergt beoordelings- en selectieprocedures waarin de stem van praktijk, beleid en onconventionele wetenschappers wordt meegenomen naast die van de (conventionele) wetenschap. Voldoende heterogeniteit in de operationalisering van de gehanteerde beoordelingscriteria (relevantie en kwaliteit) en de samenstelling van beoordelingspanels draagt bij aan een betere (balans tussen) interne en externe validiteit, evenals een ‘open debat’ met de projectindieners (ZonMw, 2014).
  Variëteit van (overdracht van) output	Kennisproductie wordt doorgaans uitgedrukt in (aantal Engelstalige) wetenschappelijke presentaties, publicaties en promoties. In navolging van Hanney et al. (2004) wordt daarnaast een onderscheid gemaakt in het gebruik van onderzoeksresultaten in praktijk en beleid (bijvoorbeeld vertaling van onderzoek in een richtlijn, ter voeding van debat of het voorkómen van maatschappelijke kosten).
  Integriteit
  Criterium	Toelichting
  Transparantie	Openheid van onderzoek wordt bevorderd door zorgvuldige registratie van protocollen en protocolwijzigingen, data, resultaten en compliance met de principes van ‘open access’ en ‘open data’.
  Replicatie(onderzoek)	Het streven naar herhaalbaarheid van onderzoek (door derden) vergt dat men ordelijk en controleerbaar te werk gaat en toevalstreffers vermijdt. Het is dus zaak de methode van onderzoek nauwkeurig te beschrijven. Via replicatie(onderzoek) wordt dit expliciet getoetst, waardoor de (te trekken) conclusies worden versterkt.
  Tegengaan van publicatiebias	Openheid over en waardering voor zogenoemde mislukte projecten: projecten die geen ‘welgevallig’ (veelal positief) resultaat opleveren dan wel niet de beoogde doelstelling halen (veelal als gevolg van inclusieproblemen, in diverse verschijningsvormen) en om die reden worden beschouwd als falend maar waar (achteraf) veel van geleerd kan worden, onder meer voor de vraagstelling en opzet van nieuw onderzoek.
  Educatie en kwaliteitszorg	Door het bevorderen van verantwoorde onderzoekspraktijken op de werkvloer wordt de weerbaarheid van (groepen) individuen vergroot voor de dagelijkse methodologische, psychologische en sociologische dilemma’s en gevoeligheden van het wetenschapssysteem. Dat kan bijvoorbeeld door middel van gerichte trainingen en audits.
  Nevenfuncties/belangenverstrengeling	Factoren die het gebruik van onderzoek in praktijk en beleid bevorderen, zijn onder andere de geloofwaardigheid en onafhankelijkheid van de onderzoeker en de beoordelaar van het onderzoek. Diens reputatie moet onomstreden zijn en de discussie dient te worden gevoerd op basis van feiten en cijfers, niet erover. Nevenfuncties en zakelijke belangen van onderzoekers (vooral – ondernemende – hoogleraren) en beoordelaars van onderzoek kunnen leiden tot – de schijn van – (financiële) belangenverstrengeling, zeker in tijden van commercialisering van wetenschap. Dat dient te allen tijde te worden voorkomen zoals ook is vastgelegd in diverse (ZonMw) gedragscodes.
  Efficiëntie
  Criterium	Toelichting
  Gebruik van bestaande data/eResearch/citizen science	Inzet, koppeling en gebruik van bestaande databases (datamanagement), nieuwe informatietechnologie en sociale media (bijvoorbeeld Google Search-analyse om griepepidemieën te volgen). Nieuw is ‘citizen science’, gericht op slimme inzet van burgers bij onderzoek (Naci & Ioannidis, 2015).
  Stimuleren van systematische reviews/kennissyntheses	Het zichtbaar maken van de state-of-the-art – bestaande wetenschappelijke inzichten en theorievorming – waarop (al dan niet) kan worden voortgebouwd, zowel voor de programmering als uitvoering van onderzoek.
  Passend bewijs	Vanuit het oogpunt van tijd, geld, relevantie en uitvoerbaarheid is het zaak methodenpluriformiteit toe te staan bij de evaluatie van effectiviteit van interventies en actief te zoeken naar alternatieven voor gerandomiseerde klinische trials (zoals impactanalyses, casestudies, modellen en observationeel onderzoek).
  Omgang met (potentiële) inclusie- en/of implementatieproblemen	Oog hebben voor mogelijke probleemoplossingen: onderzoek door/in meerdere centra/instellingen, betere organisatie van inclusie, alternatieve designs gebruikmakend van bestaande data, eerder stoppen bij tegenvallende inclusie, organiseren van (inter)organisationele betrokkenheid en samenwerking, inschakelen van implementatie-expertise, etc.
  Doelmatige inrichting van eigen processen	Bij kennisprogrammering voor praktijk en beleid gaat het om activiteiten die uitstijgen boven het niveau van individuele projecten. Belangrijke doelen zijn in dat verband: het aanbrengen van inhoudelijke samenhang en synergie binnen en tussen programma’s; het realiseren van een doelmatige besteding van tijd en geld voor onderzoek; het voortbouwen op lessen uit eerdere rondes (indien van toepassing).

  De definitie van complexe interventies is meestal gebaseerd op het werk van de Medical Research Council in het Verenigd Koninkrijk (2006): ‘Complex interventions are characterised by the number of interacting components within the experimental and control interventions, the number and difficulty of behaviours required by those delivering or receiving the intervention, the number of groups or organisational levels targeted by the intervention, the number and variability of outcomes, and the degree of flexibility or tailoring of the intervention permitted.’
  Een uitdrukking hiervan is het in 2014 opgerichte Nationaal Regieorgaan Praktijkgericht Onderzoek SIA, ondergebracht bij NWO. De tweede geldstroom voor hbo-onderzoek heeft hiermee een volwaardige plaats in het nationale kennissysteem gekregen.
  Van al het ZonMw-onderzoek blijkt een derde af te wijken van de aanvankelijke opzet (Timmermans, 2015; Boonacker et al., 2011).
  Enkele voorbeelden van ‘2.0-onderzoek’ zijn gelukswijzer.nl, transparencyls.com en gapminder.org.

• Verantwoord programmeren in de ZonMw-praktijk

  Aan de hand van het toetsingskader zijn de geselecteerde ZonMw-programma’s kritisch doorgelicht door twee onderzoekers, onafhankelijk van elkaar. Vervolgens zijn de bevindingen gevalideerd in een interne workshop bij ZonMw. In antwoord op de centrale vraagstelling leverde dat diverse beproefde inzichten op over en voor ‘verantwoord programmeren’. Hierna wordt systematisch verslag gedaan van de opgedane algemene inzichten.⁹x Voor inzicht in de concrete onderzoeksbevindingen wordt verwezen naar de betreffende eindrapportage: www.zonmw.nl/fileadmin/documenten/BVO/Eindrapportage.pdf.

  Toetsingskader

  Het toetsingskader werkt goed en sluit aan bij (inter)nationale initiatieven gericht op adding value in research (Moher et al., 2015). Het kader kan zowel op (ZonMw) organisatieniveau als op programmaniveau retrospectief en prospectief worden toegepast voor (het goed doordenken en expliciteren van) interne sturing en externe (publieke) verantwoording.¹⁰x Hiervoor is een apart format ontwikkeld: het ZonMw-Toetsingskader Verantwoord Programmeren: www.zonmw.nl/fileadmin/documenten/BVO/ToetsingsKaderProgrammeerpraktijken.pdf. Daarbij is het zaak kritisch te blijven op de wijze waarop aan ieder criterium invulling wordt gegeven en het principe comply or explain te hanteren (afwijken indien gerechtvaardigd). Waar spanning is aangetroffen tussen de verschillende criteria, is deze grotendeels terug te voeren op spanning tussen het programmeringsdoel van nieuwe, innovatieve kennisontwikkeling en dat van gecoördineerde, praktijkgerichte kennisopbouw (Reijmerink & Oortwijn, 2016).

  Maatschappelijke relevantie wordt goed meegenomen

  Uit de evaluatie blijkt dat maatschappelijke relevantie in de meeste programma’s goed is uitgewerkt. In de gehele kennisketen, ‘van vraagarticulatie tot valorisatie’, behoeft het duurzaam inzetten door ZonMw van belanghebbenden/ervaringsdeskundigen echter verbetering. Een opdracht die ruimte laat voor invulling door stakeholders en een meer actieve rol van ZonMw (het geven van goede voorbeelden op de website en voorlichtingsbijeenkomsten over hoe je als onderzoeker de praktijk het beste kan betrekken), faciliteert het proces van vraagsturing.

  Wetenschappelijke kwaliteit is redelijk goed uitgewerkt

  Wetenschappelijke kwaliteit is redelijk goed uitgewerkt binnen ZonMw-programma’s. Er dient meer aandacht te worden geschonken aan de maatschappelijke eis van (meer) diversiteit van de wetenschapsbeoefening in het gezondheidsonderzoek. Dat kan bijvoorbeeld door het betrekken van belanghebbenden/ervaringsdeskundigen bij de beoordeling van de onderzoekstechnische aspecten van kwaliteit (waarop thans de nadruk ligt).¹¹x Deze zijn terug te brengen tot helderheid en haalbaarheid van doel-/vraagstelling en plan van aanpak van het onderzoek en wetenschappelijke track record van de onderzoeker. Om ruimte te houden voor innovatief, grensverleggend onderzoek is het belangrijk dat een programmaopdracht niet volledig is ingevuld.

  Efficiëntie kan beter worden uitgewerkt

  Het criterium efficiëntie is momenteel minder goed uitgewerkt. Interne kennisdeling, afstemming en uniforme toepassing zijn verbeterpunten als het gaat om aspecten als hergebruik van informatie, kennissyntheses, passend bewijs en omgang met inclusie-/implementatieproblemen. Een specifiek aandachtspunt betreft negatieve efficiency: implementatie van bewezen effectieve (ZonMw) interventies wordt doorkruist door de (snelle) ontwikkeling van nieuwe interventies (zoals bij eHealth).

  Integriteit is nog onderbelicht

  Integriteit is nog onderbelicht (wat gezien de relatief recente aandacht ervoor niet vreemd is) en behoeft een inhaalslag in het licht van ‘verantwoord programmeren’. Transparantie – een belangrijke voorwaarde voor replicatie en evaluatie – kan worden bevorderd door het volledig en volgens richtlijnen publiceren van (tussentijdse) resultaten en het openbaar maken van protocollen en data (volgens het principe ‘ja mits’). In de zorg voor kwaliteit is het van belang dat ZonMw, commissies en projectleiders niet verstrikt raken in systeembureaucratie en dat de wederzijdse professionele rollen, verantwoordelijkheden en verwachtingen duidelijk zijn.

  Om impact in kaart te brengen moet worden ingezet op monitoring en informatievoorziening

  ZonMw-breed is zowel op het niveau van projecten als programma’s meer aandacht gewenst voor een goede monitoring en informatievoorziening (informatiemanagement). Zo wordt een programma-/onderzoeksvoorstel niet altijd uitgevoerd zoals bedoeld. Dit past bij een meer (realistische) ontwerpgerichte, interactieve wijze van kennisontwikkeling, maar kan een adequate uitvoering van onder meer evaluaties en replicatiestudies bemoeilijken. Aanbevolen wordt eventuele tussentijdse wijzigingen systematisch en toegankelijk vast te leggen. Met het oog op advancing impact is, in combinatie met het criterium maatschappelijke relevantie, tevens meer aandacht gewenst voor de monitoring van de resultaten van projecten/programma’s na afloop ervan op factoren die impact bevorderen.

• Conclusie

  Het ontwikkelde toetsingskader is een eerste stap om te komen tot verantwoord programmeren. Om als kennisprogrammeur de goede prikkels voor verantwoord onderzoek te blijven geven met een balans tussen expliciete(re) subsidievoorwaarden en administratieve lastendruk, is periodieke herhaling van een ZonMw-brede en integrale exercitie als de onderhavige aangewezen. Daarbij dient te worden aangesloten bij (inter)nationale ontwikkelingen op dit terrein. Wij pleiten tevens voor structureel (eigen budget voor) metaonderzoek (research on research), gericht op empirische onderbouwing van gestolde praktijktheorieën over het bevorderen van verantwoorde onderzoekspraktijken. Aansluitend bij de ZonMw-missie dat kennis gericht is op het teweegbrengen van betere zorg en gezondheid, dient daarbij een relatie te worden gelegd met de maatschappelijke impact van onderzoek. Vanwege de heterogeniteit en ambiguïteit van de materie vergt dit van onderzoekers een doelzoekende, interpretatieve en iteratieve werkwijze.

Literatuur

• Bensing, J., & Oortwijn, W. (2006). De maatschappelijke waarde van wetenschappelijk onderzoek. Kwaliteit in Beeld, 2, 7-9.

• Boonacker, C.W.B., Hoes, A.W., Van Liere-Visser, K., Schilder, A.G.M., & Rovers, M.M. (2011). A comparison of subgroup analyses in grant applications and publications. American Journal of Epidemiology, 174(2), 219-225.

• Corbey, D. (2016). Nederland heeft een Nationale ‘Impactagenda’ nodig. Op 1 augustus 2016 ontleend aan http://www.awti.nl/actueel/columns/colum/2016/nederland-heeft-een-nationale-impactagenda-nodig?utm_source=e-mailnieuwsbrief&utm_medium=email&utm_campaign=AWTI+e-mail+alert

• Dekker, B., & Van Hoesel, P. (2015). Markt en organisatie van beleidsonderzoek. De Nederlandse situatie, met aandacht voor Vlaanderen, Duitsland en de EU. In P.H.M. van Hoesel, J.W.M. Mevissen & B. Dekker (red.), Kennis voor beleid. Beleidsonderzoek in Nederland (pp. 193-223). Assen: Van Gorcum.

• Ehlen, C. (2015). Co-creation of innovation: investment with and in social capital. Maastricht: Datawyse.

• Hanney, S., Grant, J., Wooding, S., & Buxton, M. (2004). Proposed methods for reviewing the outcomes of health research: the impact of funding by the UK’s ‘Arthritis Research Campaign’. Health Research Policy and Systems, 2(1), 4-10.

• Huber, M. (2014). Towards a new, dynamic concept of health: Its operationalisation and use in public health and healthcare, and in evaluating health effects of food. Enschede: Ipskamp Drukkers.

• KNAW. (2013). Naar een raamwerk voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek. Amsterdam: KNAW.

• Medical Research Council. (2006). Developing and evaluating complex interventions: new guidance. Op 1 september 2016 ontleend aan http://www.mrc.ac.uk/documents/pdf/complex-interventions-guidance/

• Merkx, F. (2012). Samenwerken aan werkzame kennis: Methoden en technieken voor kenniscocreatie. Den Haag: Rathenau Instituut.

• Meurs, P. (2013). Publiek-private weerbarstigheid. Op 1 augustus 2016 ontleend aan http:/mediator.zonmw.nl/mediator-3-december-2013/publiek-private-weerbarstigheid/

• Ministerie van Onderwijs, Cultuur en Wetenschap. (2014). Wetenschapsvisie 2025: Keuzes voor de toekomst. Den Haag: Ministerie van Onderwijs, Cultuur en Wetenschap.

• Moher, D., Glasziou, P., Chalmers, I., Nasser, M., Bossuyt, P.M., Korevaar, D.A., Graham, I.D., Ravaud, P., & Boutron, I. (2015). Increasing value and reducing waste in biomedical research: who’s listening? The Lancet, 387(10027), 1573-1586.

• Naci, H., & Ioannidis, J.P.A. (2015). Evaluation of wellness determinants and interventions by citizen scientists. JAMA, 314(2), 121-122.

• NIHR. (2016). Adding value in research framework. Op 1 augustus 2016 ontleend aan http://www.nets.nihr.ac.uk/__data/assets/image/0006/86361/adding-value-in-research-framework.png

• Raad voor Gezondheidsonderzoek. (2007). Onderzoek dat ertoe doet: De responsiviteit van universitair medische centra op vraagstukken in volksgezondheid en gezondheidszorg. Den Haag: Raad voor Gezondheidsonderzoek.

• Reijmerink, W. (2014). Goed opdrachtnemer/-geverschap in de ZonMw-praktijk. Beleidsonderzoek Online, DOI:10.5553/Beleidsonderzoek.000414

• Reijmerink, W., & Oortwijn, W. (2016). Naar een Toetsingskader Verantwoord Programmeren: Projecteindrapport Inventarisatie ZonMw-programmeerpraktijken. Den Haag: ZonMw.

• Timmermans, M. (2015). Een slang die zichzelf in staart bijt. Op 1 augustus 2016 ontleend aan http://www.observantonline.nl/Home/Artikelen/articleType/ArticleView/articleId/4359/Een-slang-die-zichzelf-in-staart-bijt

• Van Dijkum, C., & Tavecchio, L. (2014). Praktijkonderzoek in ontwikkeling: Nieuwe inzichten en voorbeelden. Den Haag: Boom Lemma uitgevers.

• VSNU. (2013). Factsheet integriteit: Wetenschappelijke integriteit; onder de loep! Den Haag: VSNU.

• ZonMw. (2014). Interactieve kennisprogrammering: Leerervaringen uit het programma Gezondheidszorgonderzoek. Den Haag: ZonMw.

• ZonMw. (2016). Kennis maken op maat, samen met betrokken partners: Beleidsplan ZonMw 2016-2020. Den Haag: ZonMw.

Noten

• 1 Zie ter illustratie de Wetenschapsvisie 2025 van het ministerie van Onderwijs, Cultuur en Wetenschap, theinternationalschoolonria.com en aesisnet.com.

• 2 Complex wil – zeer kort gesteld – zeggen dat het vraagstukken of problemen betreft die verschillende actoren aangaan, met meerdere onderling samenhangende oorzaken die op elkaar inspelend soms leiden tot onvoorspelbare gebeurtenissen.

• 3 Verwezen wordt naar de serie artikelen die het internationaal toonaangevende medisch-wetenschappelijk tijdschrift The Lancet hierover in januari 2014 publiceerde: www.thelancet.com/series/research.

• 4 ZonMw is de Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie en werkt op het snijvlak van onderzoek, beleid en praktijk aan een zo goed mogelijke gezondheid van mensen in Nederland. ZonMw stimuleert en financiert onderzoek, ontwikkeling en implementatie. Commissies met externe deskundigen geven leiding aan de verschillende inhoudelijke programma’s.

• 5 Weloverwogen niet benutten is ook gebruik, maar zonder impact.

• 6 In een vervolgartikel zal worden stilgestaan bij impact assessment.

• 7 Naar www.thelancet.com/series/research.

• 8 Peildatum juli 2015.

• 9 Voor inzicht in de concrete onderzoeksbevindingen wordt verwezen naar de betreffende eindrapportage: www.zonmw.nl/fileadmin/documenten/BVO/Eindrapportage.pdf.

• 10 Hiervoor is een apart format ontwikkeld: het ZonMw-Toetsingskader Verantwoord Programmeren: www.zonmw.nl/fileadmin/documenten/BVO/ToetsingsKaderProgrammeerpraktijken.pdf.

• 11 Deze zijn terug te brengen tot helderheid en haalbaarheid van doel-/vraagstelling en plan van aanpak van het onderzoek en wetenschappelijke track record van de onderzoeker.