Margit van Wessel, Wenny Ho en Peter A. Tamás: Narrative Assessment: een nieuwe methode voor de evaluatie van pleitbezorging

• 1 Introductie

  Veel organisaties gebruiken pleitbezorging om te werken aan maatschappelijke doelen. Pleitbezorging, in het Engels advocacy, definiëren we hier als elke actie gericht op bepleiten, verdedigen, mobiliseren of steunen ten behoeve van een gedeelde visie of behoefte, of een gedeeld belang of recht. Monitoring en evaluatie om kennis te creëren over pleitbezorging en de effectiviteit ervan is nodig om te kunnen plannen, leren en voor een eventuele koerswijziging. In veel gevallen is het ook nodig om te communiceren over pleitbezorging of verantwoording af te leggen.
  Het monitoren en evalueren van pleitbezorging staat bekend als notoir moeilijk. Causale verbanden tussen acties en resultaten zijn bijvoorbeeld moeilijk vast te stellen. Beïnvloeding vindt vaak achter gesloten deuren plaats en het kan riskant zijn om er openlijk over te praten. Of het doelwit van pleitbezorging is niet bereid te vertellen hoe het al dan niet is beïnvloed. Daarnaast wordt verandering zelden veroorzaakt door de acties van een partij alleen, maar dragen diverse omstandigheden, ontwikkelingen en andere partijen daaraan bij. Een laatste complicatie is dat beleidsmakers en publieke of private instituties continu bewegende doelen zijn, die voortdurend blootstaan aan combinaties van verschillende invloeden. Pleitbezorgers moeten dan ook weten hoe te bewegen in deze onvoorspelbare dynamieken, die zowel kansen kunnen bieden als plotselinge barrières kunnen opwerpen (Arensman et al., 2018; Jones, 2011; Rogers, 2008; Van Wessel, 2018).
  Er bestaan wel algemene inzichten over hoe effectief te handelen, bijvoorbeeld dat een analyse van de politieke context de basis voor pleitbezorging is; dat het effectief is om te werken met kansen die zich voordoen en coalities te vormen; en dat relatie-ontwikkeling essentieel is voor lobby (zie bijv. Elbers & Kamstra, 2020). Geen van deze inzichten is echter een voldoende voorwaarde voor succes, en er bestaat geen hard bewijs welke pleitbezorgingsstrategie wanneer het effectiefst werkt.
  Pleitbezorgingsstrategieën zijn dan ook vaak niet gebaseerd op ‘harde’, ‘bewezen’ kennis over wat werkt. Voor effectieve pleitbezorging verlaten pleitbezorgers zich veelal op contextgebonden inschattingen van mogelijkheden. Hierdoor is veel strategisch belangrijke kennis over pleitbezorging tacit, d.w.z. de kennis is vaak geworteld in de praktijk en contextgebonden van aard. Ze bestaat en ontwikkelt zich in de hoofden van pleitbezorgers en in interacties met mede-pleitbezorgers en andere belanghebbenden.
  Narrative Assessment is ontwikkeld door Wageningen University en Hivos als antwoord op de genoemde uitdagingen in monitoring en evaluatie van pleitbezorging. Het is een constructivistische methode gericht op het creëren van verhalen over pleitbezorging. Centraal in deze methode staan plausibele verhalen over pleit­bezorgingsprocessen, prestaties en uitdagingen vanuit het perspectief van pleit­bezorgers. Een pleitbezorger en een getrainde Narrative Assessment-facilitator co-creëren deze verhalen, en werken systematisch aan plausabiliteit. De verhalen worden ingezet voor leren, monitoring, evaluatie en communicatie. Narrative ­Assessment, in ontwikkeling sinds 2017, is inmiddels opgepakt door een aantal Nederlandse en internationale maatschappelijke organisaties op het gebied van ­milieu en ontwikkeling. Onder andere in Cordaid is de methode gebruikt om kennis over effectieve pleitbezorging in moeilijke contexten (Nigeria, Centraal-Afrikaanse Republiek, Burundi, Zuid-Soedan en Afghanistan) te verdiepen. De geproduceerde verhalen zijn beschikbaar (zie Van Wessel et al., 2021b).

• Narrative Assessment-verhalen

  Een verhaal is een verslag van gebeurtenissen die zich uitvouwen in de tijd, samengebracht in een samenhangend geheel. Dit geheel brengt bepaalde interpretaties van menselijk handelen in praktische, concrete situaties over vanuit het standpunt van de verteller. Verhalen fungeren tegelijkertijd als uitleg, rechtvaardiging en instructie. Een verhaal schept orde in een verschuivende, onvoorspelbare en ondoorzichtige omgeving.
  Narrative Assessment-verhalen verschillen van de verhalen gericht op public relations management die we vaak zien. Die verhalen vertellen vaak over successen en behaalde resultaten. Narrative Assessment-verhalen kunnen over successen gaan, maar richten zich op het zichtbaar maken van het proces van pleitbezorging dat daarachter ligt. Ze maken daardoor de ins & outs van pleitbezorging in een bepaalde context navolgbaar. Deze verhalen worden verteld vanuit het perspectief van de pleitbezorger. Ze geven het werk van pleitbezorgers op een interpreteerbare, persoonlijke manier weer door de relatie te verduidelijken tussen vaardigheden en kennis van pleitbezorgers en de gekozen acties en resultaten. Narrative Assessment-verhalen stellen pleitbezorgers dus centraal, en hun tacit kennis en vaardigheden, opgedaan en gedeeld door leren in actie (Argyris & Schön, 1978). De verhalen gaan dus over de relatie tussen inzet van kennis en vaardigheden in een veranderingsproces in complexe en dynamische contexten.

  Een aandachtspunt hierbij is geloofwaardigheid (plausibiliteit). Want zijn dergelijke verhalen niet uitermate subjectief? Een belangrijk kenmerk van Narrative ­Assessment is dat het de plausibiliteit van verhalen centraal stelt. Door verhalen te creëren op een manier die deze plausibiliteit test en versterkt, probeert Narrative Assessment tegemoet te komen aan evaluatieve kwaliteitscriteria die objectiviteit benadrukken. Dit helpt om verhalen te creëren die zowel collega’s informeren en inspireren, alsook om ze acceptabeler te maken in de ogen van bijvoorbeeld evaluatoren en donoren dan de meer gebruikelijke eerdergenoemde ‘succesverhalen’. Later in de tekst gaan we dieper in op de vraag hoe plausibiliteit te ontwikkelen.

• Een nieuwe manier om rigoureus zijn

  Een evaluatie wordt vaak gezien als kwalitatief goed als voldaan aan vereisten van feitelijkheid en objectiviteit. Verhalen worden vaak weggezet als subjectief, en dat ze dus niet voldoen aan die vereisten. Narrative Assessment biedt een alternatieve kijk op de zaak, door verhalend evalueren te vestigen in de traditie van narratief onderzoek. Om dit te verhelderen moeten we eerst de risico’s verduidelijken die verbonden zijn aan verhalen als bron van informatie.
  Een verhaal brengt betekenis en samenhang aan in een wanordelijke en dubbelzinnige werkelijkheid. Een verhaal is daarmee een geïdealiseerd verslag van wat er is gebeurd, dat bepaalde aspecten naar voren haalt en andere verbergt. Een verhaal schrijft oorzakelijk verband toe zonder veel in te gaan op andere mogelijke interpretaties. Hierdoor geven verhalen betekenis en richting in een situatie die in werkelijkheid ingewikkeld en deels onbepaald is (Wagenaar, 2014). Dit brengt risico’s met zich mee met betrekking tot geloofwaardigheid. Terwijl verhalen betekenis en samenhang opleggen aan ongeordende situaties, kunnen ze dit doen op manieren die het programma, de pleitbezorger of prestaties positief neerzetten en ideale beelden presenteren die ongeloofwaardig kunnen zijn. Om deze risico’s tegen te gaan bevat een Narrative Assessment kritisch onderzoek naar alternatieve interpretaties, ondermijnende hiaten, onjuistheden en schijnbaar lege claims in verhalen om de plausibiliteit van verhalen te toetsen en maximaal te versterken. Plausibiliteit wordt bepaald door de levensechtheid van verhalen – hun kwaliteit van geloofwaardigheid. Narrative Assessment-verhalen worden daarom geconstrueerd door de pleitbezorger als hoofdauteur en de Narrative Assessment-facilitator in de rol van ‘kritische vriend’. De facilitators moeten op zoek gaan naar details, de consistentie van verklaringen beoordelen en ervoor zorgen dat het duidelijk is hoe het verhaal is ingebed in zijn context, met betrekking tot die meer objectieve realiteit (bijvoorbeeld van een bepaalde politieke context of gebeurtenis). Narrative Assessment is daarmee gestoeld op theorie van narratief onderzoek (Loh, 2013) zoals eerder uiteengezet in dit artikel. Narrative Assessment-facilitators spelen dus een cruciale rol in het testen en versterken van de geloofwaardigheid van verhalen, en uiteindelijk de kwaliteit ervan.
  Dit pleidooi voor inzetten op plausibiliteit is daarbij mede gestoeld op de ervaring dat objectief bewijs voor pleitbezorgingsresultaten vaak niet of moeilijk verkrijgbaar is. Personen en instellingen die beïnvloed zijn, zullen dit bijvoorbeeld niet altijd willen of kunnen bevestigen, om politieke en andere redenen. Hen benaderen met vragen hierover kan de relatie met pleitbezorgers bovendien beschadigen, en is daarom niet altijd wenselijk. Hier komt bij dat methoden die inzetten op meer objectieve onderbouwing (door bijvoorbeeld vele en externe bronnen te raadplegen), kostbaar zijn en daarom vaak niet binnen bestaande evaluatiebudgetten zijn in te passen. Narrative Assessment is daarom ook ontwikkeld om waardevolle inzichten te verwerven met relatief weinig kosten.

• 2 Hoe Narrative Assessment-verhalen kunnen helpen

  Narrative Assessment-verhalen verduidelijken hoe het proces van pleitbezorging werkt en hoe het zich verhoudt tot de uitkomsten ervan. Daarvoor gaan de verhalen in op wat er is gebeurd, en het hoe en waarom van keuzes van pleitbezorgers in het licht van de dynamieken in de context. Verhalen kunnen betrekking hebben op alle situaties waarmee pleitbezorgers te maken hebben. Deze verhalen kunnen zeer uiteenlopend zijn. Ze kunnen bijvoorbeeld gaan over hoe ondanks de beperkte politieke ruimte voor actie onverwachte kansen gegrepen werden, of over de acties van pleitbezorgers om om te gaan met het dwarsbomen door machtige tegenstanders. Belangrijk hier is dat in Narrative Assessment-verhalen teleurstellingen en mislukkingen geen negatieve zaken zijn die je liever verbergt of niet vertelt; ze vormen betekenisvolle onderdelen van de verhalen: juist door inzichtelijk te maken hoe er is omgegaan met uitdagingen en teleurstellingen, wordt een rijk verhaal gecreëerd vol inzichten en lessen.
  Daardoor maken de verhalen het voor pleitbezorgers mogelijk om te delen wat ze daadwerkelijk doen en bereiken, omdat ze hen in staat stellen hun kennis zichtbaar te maken, van andere actoren, de context en van de verandering waarin ze een rol speelden.
  Daarnaast laten verhalen de in praktijk gestoelde ervaringen (lived experiences) van pleitbezorgers zien. Daardoor zijn de verhalen een levensechte weergave van de aard en betekenis van het pleitbezorgingswerk (Costantino & Greene, 2003; Ho, 2007).
  Later in dit artikel gaan we dieper in op de toegevoegde waarde van Narrative ­Assessment voor intern en extern gebruik.

• 3 De uitvoering van een Narrative Assessment

• Het opzetten van een Narrative Assessment

  Het bepalen waarover de Narrative Assessment moet gaan, gebeurt in samenspraak van pleitbezorgers, programmamanagers, Monitoring & Evaluatie-staf, en mogelijk andere belanghebbenden (vanuit de moederorganisatie, bondgenoten en partners). We onderscheiden vier elementen waarover besluiten dienen te worden genomen.

  Voor wat en voor wie? Het is belangrijk het doel zo duidelijk mogelijk te specificeren. Als de betrokkenen samen een specifieke richting kiezen, weten ze waar ze zich op moeten concentreren tijdens de Narrative Assessment. Het doel kan bijvoorbeeld zijn om te leren waarom bepaalde delen van een programma in een bepaald jaar veel succesvoller waren dan andere; of hoe een bepaalde pleitbezorgingsstrategie bijdroeg aan een opmerkelijk succes.

  Wat? Het kiezen van het programma of het deel dat moet worden gedekt. Bijvoorbeeld:

  • een bepaald pleitbezorgingstraject dat tot het hart van een programma behoort dat geëvalueerd gaat worden;

  • de onverwachte uitkomsten (goed of slecht) van een nieuwe strategie in een campagne;

  • tegenslagen in een landenprogramma en de rol van contextverandering daarin.

  Wie? Narrative Assessment draait vaak om een verzameling gerelateerde verhalen (bijvoorbeeld van verschillende maatschappelijke organisaties die samenwerken in een landenprogramma; van verschillende pleitbezorgers die rechtstreeks samenwerken aan een campagne; van verschillende landenteams die aan één thema in een programma werken). Afhankelijk van het doel van de Narrative Assessment worden pleitbezorgers en andere direct betrokkenen die de beste kennis van het pleitbezorgingsproces hebben, geselecteerd voor een interview. Alleen degenen die relevante ervaringen uit de eerste hand hebben met wat er is gebeurd, zijn relevante deelnemers.

  Wanneer? Verhalen die direct na belangrijke gebeurtenissen worden verzameld verschillen qua reikwijdte van verhalen die ontwikkelingen over een langere periode bestrijken. Ze zullen minder gedetailleerd zijn, maar kunnen de onderlinge verbanden tussen grotere ontwikkelingen laten zien.

• Het maken van Narrative Assessment-verhalen

  Het maken van een Narrative Assessment-verhaal bestaat uit vier hoofdstappen:

  1. uitnodigen van te interviewen personen;

  2. Narrative Assessment-interviews voorbereiden;

  3. het afnemen van Narrative Assessment-interviews;

  4. verhalen destilleren uit de interviews.

• Stap 1: Uitnodigen van te interviewen personen

  Er zijn twee soorten Narrative Assessment-verhalen. Sommige kunnen worden verteld door een enkele pleitbezorger, terwijl andere verhalen over een collectieve inspanning of een langere geschiedenis vertellen, waarbij in de loop van de tijd verschillende mensen betrokken zijn. In dat geval dienen meerdere interviews geïntegreerd te worden in een groter verhaal of grotere verhalen. Hierover is meer te lezen in de handleiding voor Narrative Assessment (Van Wessel et al., 2021a).

  Het benaderen van de te interviewen personen dient te gebeuren op een manier die de relevantie en aard van de oefening duidelijk maakt. Narrative Assessment is een speciale ervaring voor veel pleitbezorgers voor wie het misschien de eerste keer is om vanuit een diep persoonlijk perspectief over hun werk te praten. Over het algemeen zullen mensen graag hun verhalen delen, maar het zal nuttig zijn om uit te leggen wat deze speciale aard is, wat het doel is van de Narrative Assessment en wat er van hen wordt verwacht, ook in termen van tijdsinvestering (tot 1,5 uur van hun tijd plus het nakijken van het verhaal op juistheid). Hoe geïnterviewden worden uitgenodigd voor interviews, heeft twee belangrijke effecten. Ten eerste: als het goed gedaan wordt, raken de uitgenodigden geïnteresseerd in deelname. Ten tweede zal de presentatie van de Narrative Assessment hun verwachtingen ervan vormgeven, wat van invloed kan zijn op wat ze gaan delen tijdens het interview. Overigens vindt deelname altijd plaats op basis van informed consent.

• Stap 2: Narrative Assessment-interviews voorbereiden

  De te interviewen persoon voorbereiden op het vertellen van een verhaal. De facilitator begint met het uitleggen wat Narrative Assessment is, het doel van het assessment en het vraagstuk dat aanleiding is voor het interview. Veel te interviewen personen zullen gewend zijn om te rapporteren, maar dit levert geen Narrative Assessment-verhalen op. De verhalen die Narrative Assessment zoekt, zijn persoonlijk: ze moedigen pleitbezorgers aan persoonlijke kennis en ervaringen in hun werk te delen, vanuit hun persoonlijke perspectief en beleving, en in de vorm van een verhaal dat zich uitvouwt in de tijd. Daarom vereist Narrative Assessment een mentale stap voor de te interviewen persoon. Hoewel veel mensen buiten het werk vaak verhalen delen, kan een voorbereidend gesprek hierover helpen om deze mentale verschuiving tot stand te brengen en te ondersteunen.

  Een gevoel krijgen voor het verhaal. Hoewel het doel van het verhaal al zal worden gedefinieerd in stap 1, dienen de te interviewen persoon en facilitator in beeld te krijgen wat het verhaal van die persoon zal zijn. Samen doorlopen zij stappen om het vertellen van het verhaal voor te bereiden. Het is van cruciaal belang om op zijn minst enig gevoel voor het verhaal te ontwikkelen voordat het interview begint. Alle verhalen hebben een plot. Ze zijn een verslag van onderling verbonden ontwikkelingen in de loop van de tijd, waarbij actoren handelen, wat tot enig gevolg leidt. Er is iets betekenisvols in wat er gebeurd is voor de te interviewen persoon, en dit vormt de reden om het verhaal te vertellen: de hoofdboodschap. Deze hoofdboodschap bepaalt het plot. Bijvoorbeeld: er is iets geleerd, iets geslaagd of mislukt om redenen die de te interviewen persoon begrijpt. De facilitator moet dit in gedachten houden, omdat de persoon in sommige gevallen de boodschap van het verhaal misschien niet helemaal heeft uitgedokterd vóór het interview. Daardoor kan het gesprek rommelig zijn, met nodige heen-en-weer- en soms ook zij­sporen.
  Hoewel de hoofdboodschap nog niet precies helder hoeft te zijn, is het belangrijk voor beide partijen om enig idee te hebben van waar die boodschap over gaat, en de eerste fase van het interview exploreert dit. Dit kan de geïnterviewde namelijk helpen te bepalen wat er in het verhaal verteld moet worden. De exacte aard van de boodschap zal zich verder ontwikkelen door het vertellen van het verhaal en door ondersteunende vragen van de facilitator. Deze interactie kan de eerste keer zijn dat de geïnterviewde diep nadenkt over wat er is gebeurd en de betekenis ervan. Voorafgaand aan het vertellen van het verhaal onderzoeken de geïnterviewde en de facilitator de hoofdboodschap totdat de geïnterviewde vindt dat ze deze voldoende hebben gedefinieerd om het verhaal te kunnen vertellen. Een eenvoudige manier om dit te doen is om met de geïnterviewde vast te stellen waar het verhaal over gaat. Er zijn twee elementen die beide moeten worden besproken:

  Wat is het thema van het verhaal: de set van dingen die gebeurd zijn waarover gesproken zal worden. Bijvoorbeeld: hoe we onze strategie veranderden van het proberen om gesprekken te voeren met de overheidsinstantie naar het organiseren van protest.

  Waar gaat het verhaal over (de hoofdboodschap). Bijvoorbeeld: wat we onderweg hebben geleerd waardoor we ons realiseerden dat we onze strategie op een bepaalde manier moesten aanpassen.

  Zodra het thema en de boodschap voldoende duidelijk zijn, dienen de tijd en reikwijdte afgebakend te worden. Als de tijdlijn te lang is en het aantal en de soorten acties te veel en complex, is er weinig kans om een verhaal te maken met voldoende detail en context om inzichtelijk en overtuigend te zijn. Enige discussie tussen de geïnterviewde en de facilitator is nodig om een duidelijk idee te krijgen van waar en wanneer het verhaal begint en welke details op te nemen of uit te sluiten. De afbakening van tijd en reikwijdte moet zo zijn dat er voldoende interviewtijd is om op belangrijke details in te gaan, dingen te verduidelijken of te verdiepen, zoals cruciale keerpunten bij gebeurtenissen, uitleg van de strategie en redenatie van dat moment.

  De tijdlijn vaststellen. Samen met de geïnterviewde bepaalt de facilitator het startpunt van het verhaal en nodigt deze de geïnterviewde uit om vanaf dat moment te beginnen. Om dit mogelijk te maken kan de facilitator vragen stellen zoals: Wat was voor jou een belangrijk startpunt in de tijd voor dit verhaal? Wanneer denk je dat dit verhaal moet beginnen? Hoe is dit begonnen? De facilitator zal de geïnterviewde vervolgens op dat startpunt lokaliseren door hen gedetailleerde vragen over die situatie te stellen.

• Stap 3: Het afnemen van Narrative Assessment-interviews

  Als het verhaal voldoende is afgebakend, weet de geïnterviewde globaal welk verhaal verteld zal gaan worden en kan het Narrative Assessment-interview beginnen. Het stellen van veel vragen tijdens het vertellen van het verhaal zal in eerste instantie niet nodig zijn en zelfs contraproductief zijn, omdat het de aandacht kan verschuiven naar wat de facilitator vraagt. De geïnterviewde kan daardoor worden afgeleid van het opbouwen van het verhaal vanuit het eigen perspectief. Er zijn gedurende het interview vijf taken voor de facilitator, die we hieronder bespreken.

  Co-constructie van het verhaal

  De belangrijkste taak van de facilitator is om de geïnterviewde aan te moedigen om het verhaal stap voor stap te vertellen, in het moment te blijven en vanuit de eigen positie te spreken, terwijl het verhaal zich in de loop van de tijd ontvouwt.

  Een Narrative Assessment-verhaal is opgebouwd uit de volgende elementen, die de facilitator in het oog houdt:

  1. Het bevat een element van transformatie (iets belangrijks is veranderd).

  2. Het presenteert deze transformatie als een beweging in de tijd.

  3. Het bevat acties waardoor deze transformatie plaatsvindt.

  4. Actoren (van wie er één de geïnterviewde is) voeren het uit.

  5. Deze acties vinden plaats in een specifieke, goed beschreven context.

  Deze vijf elementen worden samengebracht in een plot (mogelijk met crises en keerpunten). Deze plot heeft een punt: een hoofdboodschap om mee te nemen uit het verhaal.

  Tijdens het vertellen kan de facilitator de geïnterviewde helpen om te onderzoeken wat behoort tot het verhaal. Ook al is de hoofdboodschap duidelijk, tijdens het vertellen kan een geïnterviewde een tijdlang in verschillende richtingen bewegen en verschillende ontwikkelingen verkennen zonder precies duidelijk te hebben of ze in het verhaal passen. Terwijl de facilitator dergelijke verkenningen ondersteunt, kan deze de geïnterviewde helpen om te beoordelen wat wel of niet deel van het verhaal uitmaakt, door vragen te stellen als: ‘Dus hoe is dit (actor, actie, enz.) van belang voor het verhaal voor jou?’

  Helpen om het verhaal plausibel te maken

  Een belangrijke taak van de Narrative Assessment-facilitator is om de plausibiliteit van het verhaal te versterken. De facilitator moet aandacht besteden aan de volgende drie aspecten van het verhaal en waar nodig vragen stellen om de plausibiliteit te toetsen en te versterken. Deze aanpak is gebaseerd op theorie van narratief onderzoek (Loh, 2013):

  Detail. Detail maakt verhalen inzichtelijk en plausibel. Narrative Assessments vragen om details die verder gaan dan conventionele rapportage. Een belangrijke rol voor de facilitators is om tijdens het interview om details te vragen, zoals: Kun je wat preciezer zijn over hoe dat is gebeurd? Hoe heb je die uitnodiging gekregen? Wat maakt dat je denkt dat de minister je tijdens die vergadering serieuzer nam dan voorheen? Het stellen van vragen hierover zal vaak nodig zijn, omdat geïnterviewden anders hun verhalen op een algemeen niveau zullen houden.

  Context. Verhalen die de praktijk duidelijk in een context plaatsen, zijn plausibeler omdat ze zijn ingebed in een realiteit. Dit helpt om te begrijpen waarom dingen zich ontvouwden zoals ze verteld worden. Een verhaal is ook plausibel als de verhaalde omstandigheden overeenkomen met de werkelijkheid. Facilitators moeten geïnterviewden aanmoedigen om hun verhaal in zijn context te plaatsen en vragen te stellen als: ‘Waarom paste de strategie die je koos bij de situatie daar?’ Geïnterviewden nemen hun context vaak als vanzelfsprekend aan, dus het stellen van vragen daarover zal vaak nodig zijn.

  Consistentie. Verhalen zijn plausibeler wanneer ze intern consistent zijn en consistent zijn met wat bekend is uit andere bronnen over de context. Een kerntaak van de facilitator is het testen van de consistentie van het verhaal. Facilitators zullen dan ook effectiever zijn als ze kunnen beoordelen of het verhaal past in de context zoals de geïnterviewde het vertelt. Dit geeft facilitators mogelijkheden om gedetailleerde vragen te stellen. Het is dus van belang dat de facilitator de context kent. Als dat niet het geval is, zal deze zich moeten voorbereiden op het Narrative Assessment-interview door zich in te lezen en/of informele gesprekken te voeren met personen die deze contextkennis wel hebben.

  De realiteit is dat pleitbezorgers belang kunnen hebben bij het op een bepaalde manier presenteren van wat er gebeurd is. Dit kan voor anderen een aanleiding zijn om verhalen af te doen als loze claims. Hiaten en stiltes in wat een geïnterviewde vertelt, kunnen gebeurtenissen bedekken die op de een of andere manier problematisch zijn voor het verhaal, waardoor ze bijzonder belangrijk zijn om te exploreren. Het is dus belangrijk als facilitator om kritische vragen te stellen om zwak­heden in consistentie, of beweringen die vragen oproepen te onderzoeken en zo details uit te pluizen. Op deze wijze kan de plausibiliteit van het verhaal worden getoetst en versterkt. Een voorbeeld van een kritische vraag is: ‘Wat is er gebeurd waardoor je dacht dat het jouw organisatie was die het belangrijkste verschil maakte? We weten dat andere maatschappelijke organisaties ook probeerden dit ministerie te beïnvloeden.’ De zo verkregen extra informatie kan helpen claims te onderbouwen, scherper af te bakenen, of juist te besluiten dat een geloofwaardig verhaal op bepaalde punten niet mogelijk is.

  Reflecteren en verfijnen

  Nadat de geïnterviewde het verhaal heeft verteld, heeft de facilitator vaak nog vragen over inconsistenties, context of hiaten. Het verhaal kan dan waar nodig wordt versterkt door op bepaalde punten in het verhaal terug te komen. De facilitator kan vragen stellen als: ‘Kunnen we teruggaan naar het moment waarop …?’ Het stellen van vragen over hetgeen in eerste instantie verteld is, kan verdere herinneringen oproepen en bijdragen aan versterking van het verhaal of reflectie op bepaalde elementen. De facilitator moet tijdens het interview, wanneer het verhaal wordt verteld, voortdurend kijken of dergelijke vragen zich voordoen en ze stellen op een moment dat ze de geïnterviewde niet zullen sturen op een manier die hen ‘uit hun verhaal haalt’. Dit is vaak nadat de geïnterviewde het verhaal een eerste keer heeft verteld. Na zo’n eerste vertelling zal het duidelijker zijn wat de belangrijke elementen van het verhaal zijn en welke aspecten hiervan mogelijk verdere aandacht of verdieping nodig hebben. Ook kan het zijn dat de geïnterviewde iets van belang niet heeft gedeeld, en, getriggerd door de vragen van de facilitator, dat heroverweegt.

  In dit stadium is het ook mogelijk om de geïnterviewde te vragen om te kijken welke delen van het verhaal of de verhalen die ze hebben gedeeld, linken aan de hoofdboodschap en de wijze waarop ze dat doen.

  Aanvullen en afsluiten

  De facilitator dient aan het eind van het interview ook te vragen of er tijdens het gesprek iets naar voren is gekomen dat gevoelig ligt, of dat zelf proactief te duiden. Als iets als gevoelig geïdentificeerd wordt, moeten de facilitator en de geïnterviewde beslissen hoe met deze informatie om te gaan. Hierover wordt meer uitgelegd in de handleiding.

  Opnemen

  Om verhalen in al hun rijkdom vast te leggen, is het belangrijk om het interview op te nemen en te transcriberen. Aangezien de kwaliteit van een Narrative Assessment afhangt van details en de relevantie van deze details mogelijk pas later duidelijk wordt, is het over het algemeen niet mogelijk om alleen op het geheugen van de interviewer te vertrouwen.

• Stap 4: Verhalen destilleren uit de interviews

  Interviewtranscripties bestrijken algauw 10 tot 20 pagina’s. Degenen die een verhaal schrijven, hebben als taak de transcripties of notities van het interview om te zetten in een verhaal dat betekenisvol en to the point is. Hoewel de verhalen gemakkelijk genoeg moeten zijn om te begrijpen en boeiend te zijn, moeten ze daarbij ook recht doen aan het verhaal zoals verteld door de geïnterviewde. Dit vereist het samenvatten van het verhaal met behoud van belangrijke ontwikkelingen en belangrijke aspecten van de context, waarbij zoveel mogelijk het exact gesprokene wordt opgenomen in het verhaal. Het houdt ook in dat de geïnterviewde centraal staat in het verhaal als de hoofdpersoon wiens kennis en ervaring gedurende het hele verhaal worden gepresenteerd. Tegelijkertijd moet het verhaal ook kritische details bevatten en consistent zijn.

  Verhalen kunnen zich ontwikkelen vanuit een enkel interview. Het is ook mogelijk om verhalen te ontwikkelen over programma’s, geïmplementeerd door verschillende organisaties of individuen, of grotere evenementen die verhalen bevatten en verbinden die door verschillende pleitbezorgers worden verteld (zie Van Wessel et al., 2021b voor een voorbeeld). Dit zijn verschillende soorten verhalen, die verschillende vormen van bewerking vereisen, zoals uiteengezet in de handleiding (Van Wessel et al., 2021a).

• Gebruik van de verhalen

  Narrative Assessment-verhalen worden gecreëerd voor een vooraf gedefinieerd doel. Het doel bepaalt de focus van de verhalen, maar ook het gebruik ervan. Een reeks verhalen kan worden ingebracht voor periodieke teamreflecties, gezamenlijk leren en plannen, rapportages en communicatie met diverse publieken.

• Het verrijken van collectieve reflectie, leren en plannen

  Narrative Assessment-verhalen kunnen worden gebruikt om collectieve reflectie, zingeving en leren te ondersteunen. Door middel van deze activiteiten kan Narrative Assessment ook besluitvorming ondersteunen. Verhalen kunnen worden gedeeld en besproken tijdens workshops ter ondersteuning van:

  • reflectie met betrekking tot interventies, het omgaan met uitdagingen en het handelen naar kansen;

  • reflectie op bewijs van successen of mislukkingen en de implicaties daarvan;

  • dialoog over de weg vooruit, bijvoorbeeld door een Theory of Change te verfijnen op basis van de beoordeling van de effectiviteit van strategieën.

  Voorbeeld: Reflectie- en planningsbijeenkomst Green and Inclusive Energy-programma van Hivos

  
  Introductie
  Het Green and Inclusive Energy-programma maakte deel uit van een breder initiatief dat werd uitgevoerd door een consortium van Hivos, IIED en Article 19. Het programma pleitte voor een transformatie naar inclusieve, gedecentraliseerde, hernieuwbare energiesystemen. Het werkte op drie verschillende niveaus: landniveau (Indonesië, Zimbabwe, Malawi, Kenia, Tanzania en Nicaragua – later vervangen door Guatemala), regionaal (Midden-Amerika) en mondiaal niveau. Voor het programmamanagement gebruikte het programma Outcome Harvesting (een methode om uitkomsten van programma’s te verzamelen en onderbouwen, zie Wilson-Grau, 2018) en Theory of Change (zie Van Es et al., 2015). Kleine teams werkten samen met partners in de landen, geleid door een gezamenlijke Theory of Change. De reflectie- en planningsbijeenkomst volgde op een eerste cyclus van Outcome Harvesting.

  
  Stap 1: Narrative Assessment-interviews
  Ter voorbereiding op de jaarlijkse reflectie- en planningsbijeenkomst van het programma werden Narrative Assessment-interviews gehouden met pleitbezorgers in alle landen, over de resultaten waaraan zij hadden bijgedragen. Elke pleitbezorger selecteerde één of meer programma-uitkomsten voor het interview, eerder verzameld via Outcome Harvesting. Belangrijke gespreksonderwerpen waren pleitbezorgingsdynamiek, om de relaties tussen het bereikte resultaat en de beïnvloedende factoren te onderzoeken; het onderzoeken van besluitvorming en onderliggende aannames; en partnerschaps- en samenwerkingsvraagstukken.

  
  Stap 2: Narrative Assessment-verhalen
  Uit de interviewtranscripten werden gemeenschappelijke thema’s geïdentificeerd door de Narrative Assessment-facilitators, en overeengekomen met de programmamanager (die in dit geval de ‘eigenaar’ was van de jaarlijkse reflectie- en planningsvergadering) en de commissie. Rond elk thema werden vervolgens verhalen uit de transcripten gedestilleerd. Dit resulteerde in elf verhalen van 0,5 tot 1,5 pagina’s, georganiseerd rondom vier themaclusters: werken met de overheid; inclusiviteit in pleitbezorging; werken met partners; en innovatieve pleitbezorgingsbenaderingen. Elk verhaal bevatte de zes eerdergenoemde verhaalelementen: transformatie, een beweging in de tijd, acties waardoor deze transformatie plaatsvindt, een specifieke setting, een plot (vaak met crises en keerpunten) en een boodschap. Een themacluster omvatte vaak verhalen uit meer dan één land of niveau.

  
  Stap 3: Het ontwerp van de reflectieworkshop
  Met de verhalen als basis werd samen met de commissie een workshop ingericht. De deelnemers aan de workshop bestonden uit medewerkers van ­Hivos en partnerorganisaties met verschillende rollen, waaronder ook degenen met wie een verhalend interview was gehouden. Reflectie en zingeving vond plaats door vier groepen, georganiseerd rond de themaclusters. Deze gesprekken werden gemodereerd door een facilitator, om de groepen te helpen te focussen op:

  • het verbinden van de verhalen en het naar boven halen van overeenkomsten;

  • zingeving aan wat er naar voren kwam.

  Voor aanvang van de workshop ontvingen de deelnemers alle elf verhalen en de Outcome Harvesting-uitkomsten die aan de basis ervan lagen.

  
  Stap 4: De reflectieworkshop
  Elke groep werkte met haar clusterverhalen rond reflectievragen als:

  • Wat resoneert met je eigen werk en denken?

  • Wat vertellen deze verhalen ons over onze strategieën?

  De facilitator hielp de groep om diepere niveaus van reflectie te bereiken, door te helpen aspecten van verhalen die naar voren kwamen te koppelen of te vergelijken, en door patronen te identificeren. Op deze manier kon de groep gezamenlijk analyseren wat er werd verteld en hieraan inzichten ontlenen.
  Er waren twee rondes groepswerk, zodat elke deelnemer twee themaclusters kon bespreken. De inzichten uit het groepswerk werden vervolgens in een plenaire vergadering gedeeld voor gezamenlijke reflectie met betrekking tot verhalen en thema’s, en de bepaling van implicaties voor de Theory of Change van het programma.

  
  Evaluatie van het gebruik van Narrative Assessment-verhalen in de reflectieworkshop
  Voor een reflectiebijeenkomst bleken de Narrative Assessment-verhalen van toegevoegde waarde te zijn, omdat de pleitbezorgers vonden dat de verhalen hielpen om het juiste perspectief te creëren: ze konden niet alleen het eindresultaat begrijpen, maar ook de context eromheen, en de uitdagingen waarmee ze waren geconfronteerd. Ze voelden dat het exploreren van de pleitbezorgingsdynamiek hen in staat stelde om eindelijk eens aan anderen uit kunnen leggen wat ze doen en een menselijk gezicht aan hun werk te geven. Ze stelden dat deze Narrative Assessment-verhalen ‘onze eigen verhalen zijn, geen verhalen die we gewend zijn om aan donateurs te vertellen’.
  Degenen die geïnterviewd waren, vonden dat dit echt nuttig was, omdat het hen dwong om de tijd te nemen om na te denken. De kritische vragen die werden gesteld, hielpen om een goed denkproces te genereren.
  De verhalen maakten hun werk ook begrijpelijker voor elkaar. Laten zien hoe pleitbezorgers omgingen met mislukkingen en uitdagingen, op kansen insprongen, strategieën ontwikkelden en door dieptepunten en hoogtepunten gingen, versterkte niet alleen het leren, maar ook wederzijdse empathie en het inzicht in hun eigen werk als onderdeel van een gezamenlijke inspanning.
  Het samenbrengen van veel verhalen uit het hele programma hielp om de ontwikkeling van nieuwe inzichten te stimuleren. Uit de verhalen kwamen gemeenschappelijke thema’s naar voren, bijvoorbeeld over leiderschap en over flexibel en adaptief zijn als pleitbezorger. Het hebben van verhalen uit het hele programma versterkte ook een teamgevoel; een gevoel dat men niet alleen de kar trekt. De reflectiebijeenkomst bracht ook inzichten met implicaties voor de Theory of Change van het programma.

• Rapporteren bij een tussentijdse en eindevaluatie

  Auteurs en lezers van rapporten over programma’s hebben vaak dezelfde klachten hierover. Rapporteren is vaak een tijdrovende klus, terwijl het lezen en verwerken van rapporten ondankbaar kan zijn. De inhoud is soms moeilijk te begrijpen, ook doordat de betekenis en relevantie van wat is gedaan, bereikt of niet is bereikt, vaak slecht over te brengen is. Narrative Assessment biedt een manier om rapportage bij een tussentijdse en eindevaluatie zinvoller te maken. Inzichten uit verschillende verhalen kunnen worden samengebracht in rapporten om de aard van het werk over te brengen, in het licht van een context. Inzichten die voortkomen uit gezamenlijke reflectie op die verhalen, kunnen vervolgens worden geïntegreerd in rapporten om de aard van het werk en de relevantie van resultaten betekenisvoller over te brengen. Ze kunnen bijvoorbeeld:

  1. een robuuste, plausibele uitleg geven over hoe resultaten zijn bereikt (het proces);

  2. resultaten situeren in uitdagende contexten, en daarmee een juiste (contextspecifieke) interpretatie van programma’s en hun prestaties mogelijk maken;

  3. recht doen aan contextueel relevante kennis en capaciteiten;

  4. het werk situeren in een langer lopend proces.

• Communicatie

  Narrative Assessment-verhalen kunnen een stevige en aantrekkelijke basis vormen voor communicatie naar diverse interne en externe doelgroepen. Ze kunnen bijvoorbeeld:

  1. manieren van werken tonen die representatief zijn voor een programma;

  2. de belangrijkste prestaties in het licht van de context voor het voetlicht brengen;

  3. de capaciteiten van diverse organisaties erkennen;

  4. diversiteit in stemmen zichtbaar maken;

  5. verbinding met en tussen pleitbezorgers versterken;

  6. inzicht bieden in pleitbezorging als een uitdagend proces, vaak over een langere termijn;

  7. in het licht van een gezamenlijk toekomstvisie een idee geven van de relevantie van toekomstige pleitbezorging en het belang van ondersteuning daarvan.

• 4 De toegevoegde waarde van Narrative Assessment

  Realistische en gecontextualiseerde sensemaking. Een Narrative Assessment-­proces versterkt de sensemaking door pleitbezorgers, door hen te helpen na te denken over hun strategie en inzet van hun kennis en vaardigheden. Middels een Narrative Assessment kunnen pleitbezorgers soms voor het eerst onder woorden brengen wat de ware aard van het werk is op een wijze die gedeeld kan worden met collega’s of externe belanghebbenden zoals donoren. De verhalen maken strategische overwegingen van pleitbezorgers en de aannames die hieraan ten grondslag liggen zichtbaar en expliciet. Evaluatievragen over effectiviteit en de verklaring daarvan kunnen bijvoorbeeld vanuit het perspectief van pleitbezorgers worden beantwoord en daarmee andere vormen van kennis (zoals meer kwantitatieve informatie) aanvullen en verdiepen. Een Narrative Assessment-verhaal koppelt de resultaten van pleitbezorging aan de succeservaringen, dilemma’s, frustraties en uitdagingen van pleitbezorgers. Het probeert verbanden uit te leggen en er betekenis aan te geven. Dit maakt het mogelijk om op basis van meer realistische kennis van ‘hoe het ging en waarom’ te reflecteren op aannames, gebruikte strategieën en contextuele ontwikkelingen, en het vermogen van teams te verbeteren om te analyseren wat werkt in een context. Specifieke evaluatievragen kunnen worden gesteld en beantwoord met dit doel, zoals: hoe hebben wij in onze lobbystrategie ingespeeld op kansen en wat droeg daarin bij aan effectiviteit? Uiteindelijk kan dit pleitbezorgers en de teams en programma’s waarin ze werken, helpen versterken, door het delen van kennis die anders vaak verborgen blijft, het opbouwen van wederzijds begrip en het erkennen van diversiteit. Ook kan het donoren en andere externe publieken helpen om pleitbezorging en de resultaten en uitdagingen hierbij beter te begrijpen.

  Teambuilding en strategische verbinding. Het delen van Narrative Assessment-verhalen kan andere pleitbezorgers in samenwerkingsverbanden inspireren. Het kan zichtbaar maken hoe collega’s bijvoorbeeld kansen creëerden of omgingen met uitdagingen onder vergelijkbare moeilijke omstandigheden. Het kan ook helpen om teamcohesie en solidariteit op te bouwen, omdat verhalen van collega’s die in vergelijkbare omstandigheden werken laten zien dat ze niet alleen zijn. Het delen en samen reflecteren op de verhalen kan ook leiden tot de ontwikkeling van begrip tussen pleitbezorgers die werkzaam zijn in verschillende politieke arena’s. Dit kan uiteindelijk ten goede komen aan gezamenlijke strategievorming.

  Lokaal eigenaarschap en versterking van stemmen. Narrative Assessment-verhalen zijn verslagen van pleitbezorgers, vanuit hun perspectief, en ingebed in hun context. Ze maken lokale kennis zichtbaar waardoor de inzet en waarde ervan in een bepaalde context expliciet kan worden gewaardeerd. Dit versterkt lokaal eigenaarschap van pleitbezorging.

  Betrokkenheid en steun. Een gebruikelijke wijze van rapporteren over pleitbezorging is gericht op resultaten. Gebrek aan directe impact op maatschappelijke doelen in de vorm van tastbare resultaten kan gemakkelijk worden verward met gebrek aan succes of relevantie. Pleitbezorgingsprestaties zijn vaak kleine tussen­stappen die alleen betekenis krijgen in het licht van een grotere toekomstige uitkomst. Dit kan de waardering van pleitbezorging door een algemeen publiek sterk reduceren. Het duidelijk maken van wat resultaten van pleitbezorging kunnen betekenen voor de samenleving en de inzet die daarvoor nodig was, vereist speciale aandacht. Dit komt niet alleen omdat beleidsprocessen soms technocratisch of bureaucratisch lijken. De resultaten van pleitbezorging zijn vaak tussentijds van aard en vereisen verdere beleidsbeïnvloeding om te komen tot een daadwerkelijke verandering voor mensen, zoals een verbeterde toegang tot schoon water of een leefbaar loon. Narrative Assessment-verhalen kunnen bijdragen aan het realistischer en dus waarderender maken van zowel interne als externe communicatie (met bijvoorbeeld donoren, achterban en het bredere publiek) door de betekenis van deze tussentijdse pleitbezorgingsresultaten en de daarvoor benodigde inzet te expliciteren.

• 5 De theoretische inbedding van Narrative Assessment

• Narrative Assessment en andere M&E-methoden

  Veelgebruikte narratieve Monitoring & Evaluatie-methoden zoals Most Significant Change (Dart & Davies, 2003), Outcome Mapping (Jones & Hearn, 2009) en Out­come Harvesting (Wilson-Grau, 2018) richten zich op resultaten. Narrative Assessment richt zich op het proces dat leidt tot de gerapporteerde resultaten, inclusief uitdagingen en mislukkingen. Het kan daardoor inzichten verdiepen door voort te bouwen op bevindingen van andere Monitoring & Evaluatie-methoden. Narrative Assessment kan worden gebruikt om in te zoomen op geselecteerde aspecten of ontwikkelingen in een pleitbezorgingsprogramma die vragen oproepen of verdere studie en communicatie verdienen. Op deze manier vult Narrative Assessment andere gebruikte programmamonitoring- en evaluatiemethoden aan en verdiept deze. Het is dus een aanvullende methode.

  Daarnaast onderscheidt Narrative Assessment zich van andere M&E-benaderingen door te werken vanuit drie uitgangspunten.
  Ten eerste worden de inspanningen van pleitbezorgers in een uitdagende en continu veranderende omgeving vaak tegengewerkt of geholpen door krachten die veel invloedrijker zijn dan hun acties. Kleine pleitbezorgingsinspanningen kunnen bijdragen aan grote veranderingen, terwijl enorme inspanningen nodig kunnen zijn om een negatieve ontwikkeling slechts te vertragen of te beperken. In pleitbezorgingswerk zijn deze normaliter onzichtbare dynamieken de sleutel tot het – met een zekere mate van plausibiliteit – vaststellen van causale relaties tussen pleitbezorgingsinspanningen en -resultaten. In andere methoden is hiervoor geen aandacht. Dit ondermijnt een begrip van hoe resultaten werden bereikt. Narrative Assessment maakt de anders grotendeels onzichtbare dynamiek van de context van pleitbezorging tot een expliciet aandachtspunt.
  Ten tweede maken Narrative Assessment-verhalen het mogelijk om de complexe en tegenstrijdige signalen van een wanordelijke wereld te verbinden en te interpreteren (Polletta et al., 2011; Roe, 1994; Wagenaar, 2014). De verhalen brengen dilemma’s en uitdagingen naar voren waarmee pleitbezorgers worden geconfronteerd, en geven aandacht aan de manieren waarop ze daarop hebben gereageerd door het expliciteren van de inzet van hun ervaringen, vaardigheden en kennis. Dit zorgt voor inzichtelijke beschrijvingen van pleitbezorgingswerk in relatie tot pleitbezorgingsresultaten.
  Ten derde gaat Narrative Assessment niet alleen over verhalen. Het gebruikt wetenschappelijke criteria van narratief onderzoek om gerichte vragen te stellen, de relevantie van mislukkingen en prestaties te identificeren, claims kritisch te onderzoeken en de plausibiliteit van verhalen te testen en te ontwikkelen, waardoor hun hun betrouwbaarheid en geloofwaardigheid worden versterkt. Dit wordt verder uitgewerkt in de volgende sectie.

• Hoe Narrative Assessment zich verhoudt tot bestaande methoden

  Hoewel Narrative Assessment een alternatieve benadering biedt, bouwt het ook voort op bestaande benaderingen en methoden voor monitoring en evaluatie. We bespreken de twee belangrijkste.

  Narratieve methoden

  Verschillende bestaande methoden voor monitoring en evaluatie omvatten verhalen, zoals Performance Story Reporting (Vanclay, 2015), Most Significant Change (Dart & Davies, 2003) en Sensemaker (Guijt et al., 2022). Deze methoden zijn echter niet specifiek aangepast aan monitoring en evaluatie van pleitbezorging. Ze houden zich niet bezig met het feit dat pleitbezorging meestal niet leidt tot directe impact, maar dat de resultaten stappen vormen in een langer proces van verandering. Deze stappen kunnen het best worden begrepen vanuit een Theory of ­Change-perspectief, en worden het best toegankelijk door de pleitbezorgers zelf in te schakelen om hun strategische manoeuvres te begrijpen in de context waarin ze plaatsvinden.
  Bestaande methoden helpen ook niet om pleitbezorging zelf begrijpelijk te maken. In complexe situaties met veel onbekende factoren en soms snelle veranderingen bestaat er een belangrijke relatie tussen pleitbezorgingsresultaten en de aard en kwaliteit van de inzet van kennis en vaardigheden van pleitbezorgers in een bepaalde context. De aard en kwaliteit van die inzet, met bijkomende analyses van strategische opties en overwegingen, inschattingen en afwegingen van kansen op succes, kosten en risico’s, kan alleen kan worden overgebracht door middel van verhalen die daar expliciet aandacht aan besteden.
  Tot slot is belangrijk hierbij dat bij bestaande methoden die verhalen gebruiken, het communicatieve potentieel van verhalen niet wordt geoptimaliseerd, met name de rol van protagonisten als helden in een verhaal, de uitdagingen die zij onder ogen moeten zien en hun omgang daarmee, de mislukkingen en frustraties die hen ten deel vallen. Geen van de bestaande methoden werkt hiermee, terwijl deze in Narrative Assessment juist een belangrijk aspect kunnen zijn. Evenmin gaan bestaande narratieve methoden adequaat in op de risico’s van narratieve methoden. Resulterende verhalen gaan te vaak mee in de tendens om bepaalde aspecten, handelingen of gebeurtenissen te idealiseren, te benadrukken of te bagatelliseren, zonder toetsing.

  Theory of Change

  Van programma’s kan worden verwacht dat ze hun effectiviteit verbeteren door zich aan te passen aan veranderende omstandigheden in plaats van vast te blijven houden aan geplande acties (Rogers, 2008). Theory of Change wordt geprezen als een potentieel nuttige aanpak door het articuleren van aannames en paden van verandering. Theory of Change kan een fundamenteel startpunt zijn voor monitoring en evaluatie van pleitbezorging omdat het helpt de complexiteit te verwoorden van de veranderingsprocessen waaraan pleitbezorgingsprogramma’s proberen bij te dragen, en de gecompliceerde aard van interventies. Narrative Assessment is op twee manieren nauw verbonden met Theory of Change. Ten eerste vindt de constructie van betekenis bij het creëren van verhalen plaats in het licht van de Theory of Change waarmee een pleitbezorger impliciet of expliciet werkt. Ten tweede kunnen Narrative Assessment-verhalen worden gebruikt om reflectie op de Theory of Change van een programma te voeden. Met betrekking tot de Theory of Change van een programma kunnen pleitbezorgers bijvoorbeeld in Narrative Assessment-­verhalen verwoorden hoe uitkomsten passen bij ontwikkelingen in de context, wat helpt bij het nadenken over en verantwoorden van gebruikte strategieën en acties in het licht van de voortgang van het programma.
  Bij het monitoren en evalueren van pleitbezorging zijn resultaten vaak alleen stappen in de richting van de gewenste verandering. Programma’s zijn vaak gericht op normatieve en wettelijke kaders, die vaak raken aan meerdere zaken, bijvoorbeeld met betrekking tot mensenrechten, biodiversiteit, gender en reproductieve gezondheid en rechten, of mitigatie van klimaatverandering. Tijdspaden in pleit­bezorgingsgerichte Theories of Change beslaan vaak een langere periode dan de duur van de programma’s. Daarom moet relevantie van een programma vaak worden getheoretiseerd. Uitkomsten kunnen beter als relevant worden geaccepteerd wanneer ze plausibel kunnen worden geconstrueerd als stappen in lange reis in de context van vele andere stappen, inclusief toekomstige. Verhalen kunnen helpen om resultaten in een dergelijk kader te plaatsen.

• 6 Tot slot

  Pleitbezorging is geen lineair proces. Attributie of zelfs het exact bepalen van de contributie van behaalde resultaten is vaak niet haalbaar. Daarbij komt dat resultaten meestal ook nog eens tussentijds zijn en niet tastbare ‘impact’ belichamen. Monitoring en evaluatie van pleitbezorging is dan ook notoir moeilijk. Narrative Assessment leunt op kwalitatieve onderzoeksprincipes door het zichtbaar maken van hoe pleitbezorging werkt, waardoor proces en betekenis van uitkomsten beter begrepen en op waarde geschat kunnen worden.
  Narrative Asssessment onderzoekt interpretaties, ondermijnende hiaten, onjuistheden en schijnbaar lege claims in verhalen van pleitbezorgers. Dit bewust en kritisch toetsen en versterken van de plausibiliteit van verhalen is een belangrijke strategie om risico’s tegen te gaan die worden geassocieerd met verhalende methoden.
  Hier komt bij dat in Narrative Assessment problemen, obstakels en frustraties niet weggestopt worden. Ze vormen een integraal onderdeel van de verhalen. Daardoor zijn Narrative Assessment-verhalen niet alleen realistischer dan de gebruikelijke verhalen die gebruikt worden voor bijvoorbeeld communicatie. Ook ondersteunt het gebruik van Narrative Assessment-verhalen gezamenlijk leren en team building.
  Ten slotte: bij het ontwikkelen en werken met Narrative Assessment hebben we diverse uitdagingen geïdentificeerd. Deze hebben met name betrekking op de vaardigheden die het van de evaluator vereist. Het gaat hier om het aanmoedigen van het vertellen van persoonlijke verhalen, het definiëren van het verhaal samen met de geïnterviewde, het faciliteren van het vertellen van het verhaal door de manier van interviewen, en het destilleren van verhalen uit transcripties. Met het oog hierop hebben we een website ontwikkeld waarop we diverse hulpmiddelen aanbieden. Zie www.narrativeassessment.org. Ook zullen we geregeld on-demand webinars over Narrative Assessment organiseren.

Literatuur

• Arensman, B., Van Waegeningh, C., & Van Wessel, M. (2018). Twinning ‘Practices of Change’ with ‘Theory of Change’: Room for emergence in advocacy evaluation. American Journal of Evaluation, 39(2), 221-236.

• Argyris, C., & Schön, D. (1978). Organizational learning: A theory of action approach. Reading, MA: Addison Wesley.

• Costantino, T.E., & Greene, J.C. (2003). Reflections on the use of narrative in evaluation. American Journal of Evaluation, 24(1), 35-49.

• Dart, J., & Davies, R. (2003). A dialogical, story-based evaluation tool: The most significant change technique. American Journal of Evaluation, 24(2), 137-155.

• Elbers, W., & Kamstra, J. (2020). How does organisational capacity contribute to advocacy effectiveness? Taking stock of existing evidence. Development in Practice, 30(5), 599-608.

• Guijt, I., Gottret, V., Hanchar, A., Muckenhirn. R., Bang, S., & Sorra, C. (2022). The power of listening: A practical guide for using Sensemaker. Catholic Relief Services and Oxfam. Rugby: Practical Action Publishing. https://practicalactionpublishing.com/book/2622/the-learning-power-of-listening

• Ho, W. (2007). Sense-making in turbulent times: everyday strategic changing by Indian NGDOs. PhD thesis, University of Amsterdam.

• Jones, H. (2011). A guide to monitoring and evaluating policy influence. London: Overseas Development Institute.

• Jones, H., & Hearn, S. (2009). Outcome mapping: A realistic alternative for planning, monitoring and evaluation. London: Overseas Development Institute.

• Loh, J. (2013). Inquiry into issues of trustworthiness and quality in narrative studies: A perspective. The Qualitative Report, 18(33), 1-15.

• Polletta, F., Chen, P.C.B., Gardner, B.G. et al. (2011). The sociology of storytelling. Annual Review of Sociology, 37, 109-130.

• Roe, E. (1994). Narrative policy analysis: Theory and practice. Durham and London: Duke University Press.

• Rogers, P.J. (2008). Using program theory to evaluate complicated and complex aspects of interventions. Evaluation, 14(1), 29-48.

• Vanclay, F. (2015). The potential application of qualitative evaluation methods in European regional development: Reflections on the use of performance story reporting in Australian natural resource management. Regional Studies, 49(8), 1326-1339.

• Van Es, Y., Guijt, I., & Vogel, I. (2015). Theory of Change thinking in practice: A stepwise approach. Hivos. Retrieved from: http://www.theoryofchange.nl/sites/default/files/resource/hivos_toc_guidelines_final_nov_2015.pdf

• Van Wessel, M. (2018). Narrative Assessment: A new approach to evaluation of advocacy for development. Evaluation, 24(4), 400-418.

• Van Wessel, M., Ho, W.W.S., & Tamas, P.A. (2021a). Narrative Assessment: A new method for monitoring, evaluating, learning and communicating about advocacy. WUR/Hivos. https://library.wur.nl/WebQuery/wurpubs/fulltext/564132

• Van Wessel, M., Ho, W.W.S., Marty, E., & Tamas, P.A. (2021b). Advocacy in context: Stories from South Sudan, Nigeria, Burundi, Central African Republic and Afghanistan. Cordaid. https://library.wur.nl/WebQuery/wurpubs/fulltext/543871

• Wagenaar, H. (2014). Meaning in action: Interpretation and dialogue in policy analysis. Routledge.

• Wilson-Grau, R. (2018). Outcome harvesting: Principles, steps, and evaluation applications. Charlotte: Information Age Publishing.