‘Living-in’-the-web, digitaal beleid en evaluatieonderzoek; over wat er zo’n beetje is en wat (veel) beter kan

In minder dan twintig jaar heeft digitalisering ons leven ingrijpend veranderd. Laatstelijk sprak Christian van ’t Hof in zijn boekje Check in Check Out over ‘living in the web’, een verschijnsel dat ook wel aangeduid wordt met de uitdrukking ‘the ubiquitous web’. Ontelbare aantallen apps (wie kende het woord 10 jaar geleden, afgezien van een enkeling die van ‘killer apps’ gehoord had), honderden digitale interventietherapieën om vetzucht, roken en depressies tegen te gaan, onderwijs via de elektronische leeromgeving, ‘augmented reality’ (waarbij de virtuele realiteit en de fysieke realiteit elkaar overlappen) en wiki’s zijn even zovele voorbeelden van de veranderingen. Het web is dus inderdaad alomtegenwoordig… Bob Dylan schreef het al:‘the times they are a-changin’…

En daar blijft het niet bij. Immers, er zijn ook andere razendsnel tot stand gekomen innovaties in de wereld van het overheidsbeleid zichtbaar die alles met digitalisering te maken hebben. Wat – denkt u – heeft het beleid van de Nederlandse minister van Buitenlandse Zaken om bij te dragen aan een ‘panic button’ op mobiele telefoons, die gebruikt kan worden om het adressenbestand te wissen als mensen, zoals laatstelijk in Noord-Afrika, verzet tegen regimes plegen, opgepakt worden te maken met het ‘three strikes’-beleid van de Franse (en binnenkort wellicht ook de Italiaanse) overheid om digitale piraterij aan te pakken, of met het net-neutraliteitsbeleid, met DPI (‘deep packet inspection’) of met het e-inclusiebeleid van de Europese Unie?

In de eerste plaats dat het om beleidsmaatregelen gaat, die rechtstreeks ingrijpen in de digitale wereld. Dat is bijvoorbeeld het geval bij het ‘three strikes’-beleid waarbij internetgebruikers worden afgesloten of afgeknepen (throttling) als zij zich te buiten gaan aan illegaal downloaden en in dit gedrag volharden, ondanks herhaalde waarschuwingen. Bij ‘deep packet inspection’ wordt de inhoud van het berichtenverkeer digitaal op contentgeanalyseerd en gescreend, bijvoorbeeld door opsporingsinstanties en niet alleen om (cyber)pedo’s op te sporen. De ‘panic button’ wordt aangestuurd via een app en maakt onderdeel uit van een zogenoemde ‘circumvention policy … to support the development of new tools that enable citizens to exercise their rights of free expression by circumventing politically motivated censorship’.¹xhttp://www.state.gov/secretary/rm/2010/01/135519.htm en http://www.rijksoverheid.nl/documenten-en-publicaties/toespraken/2011/03/24/speech-by-pieter-de-gooijer-at-the-international-digital-economy-accords-idea-brussels-meeting.html

In de tweede plaats hebben ze met elkaar gemeen dat ze nieuw, maar eigenlijk ook weer oud zijn. Nieuw omdat ze gebruikmaken van internet, oud omdat er vergelijkbare aanpakken in de offline wereld zijn (inspecties bijvoorbeeld, maar ook het ‘three strikes’-beleid, dat oorspronkelijk uit de offline wereld van de criminaliteitsbestrijding in de Verenigde Staten komt).

De digitale interventies hebben ten derde gemeenschappelijk dat evaluatoren er slechts in vrij geringe mate geïnteresseerd in zijn. Natuurlijk gebeurt er her en der wat (zeker ook in Nederland) en uiteraard gaat de invoering van de Digitale EU Agenda met zijn ´strategies and programs´ gepaard met evaluaties, maar wie zijn hoopt vestigt op serieuze aandacht voor (impact-)evaluaties in internationalepeer reviewed tijdschriften, komt bedrogen uit.

Hoe weten we dat? Het antwoord is simpel. Omdat we het hebben uitgezocht. We deden ten eerste een word search in tien vooraanstaande ‘evaluation journals’ en troffen hoegenaamd niets aan. Twee voorbeelden. In alle jaren van haar bestaan (circa dertig) is in de American Journal of Evaluation 219 keer het woord of de combinatie van woorden internet, digital, web of cyber te tellen. In het meer Europees georiënteerde Evaluation (ruim vijftien jaar oud) ongeveer zeventig keer. Daarna werden we preciezer en gingen we na hoe vaak woorden als e-health, tele-medicine, tele-care, digital piracy, illegal downloading, e-government, e-business, e-learning of wiki voorkwamen. Wederom ging het om zeer geringe aantallen. Als de proportie van dit aantal woorden uit de ‘ubiquitous web’ dat gebruikt wordt, afgezet wordt tegen het totale aantal woorden dat in deze tijdschriften te vinden is , gaat het om niet met het blote oog waarneembare cijfers. In ieder geval kan de conclusie worden getrokken dat in deze Engelstalige evaluatiebladen zo goed als niets aan digitalisering en digitaal beleid gedaan wordt.

Uiteraard wil dat niet zeggen dat er in de grijze literatuur, bijvoorbeeld van beleidsonderzoeksinstituten zoals onze Nederlandse en in organisaties zoals de OECD, de EU en soortgelijke instellingen geen evaluatieonderzoek te vinden is, maar dat is niet alleen niet cold reviewed door tijdschriftredacties maar is ten tweede ook moeilijker vindbaar.

Daarnaast lijkt het dat bepaalde instellingen niet volledig onbevooroordeeld tegenover sommige van de genoemde interventies staan. Er, zo blijkt, doen zich in de living-in-the-web wereld ook al weer discussies voor over de robuustheid van impact-evaluaties. Sommigen vinden dat tevredenheidsmetinkjes na afloop van de interventie goed genoeg zijn. Anderen roepen dat experimenten toch nooit lukken… (terwijl Google er duizenden doet)²xJim Manzi, What Social Science Does - and Doesn't - Know. Our scientific ignorance of the human condition remains profound. In The City Journal, Summer 2010. en vaak geen inzicht in de verklaring van de bevindingen opleveren (alsof er geen ‘realist evaluation’ traditie bestaat)…

Is er dan in het geheel niets in tijdschriften te vinden? Nee, zo erg is het natuurlijk niet, maar dan gaat het om geheel andere dan op evaluatieonderzoek gerichte bladen, waarbij overigens ook vaak nog tal van vragen bij de methodologie van het gerapporteerde onderzoek te stellen zijn.

Deze gebrekkige methodologie constateerden we bijvoorbeeld ten aanzien van studies naar manieren om digitale piraterij (illegaal downloaden) te voorkomen of te beteugelen. Studies die voldoen aan breed geaccepteerde standaarden, zoals het gebruikmaken van een controlegroep, het herhaaldelijk meten van groepen of een toedeling van subjecten aan de controle- en exposure-groepen op basis van het toeval, zijn (internationaal) uitermate schaars. Dat deze studies op bepaalde punten gebrekkig zijn, is deels ook terug te zien in de resultaten; deze zijn in bepaalde gevallen duidelijk tegenstrijdig. Dit wil natuurlijk niet zeggen dat de geëvalueerde interventies geheel zonder waarde zijn. Wél betekent het dat het voor overheden en private organisaties waarschijnlijk onvoldoende duidelijk is welke interventies effectief kunnen zijn en welke niet. Het digitale domein is dus nog een relatief onontgonnen speelveld voor evaluatieonderzoekers.

En dat, beste lezers, is voor het nieuwe ONLINE tijdschrift voor beleidsonderzoek goed nieuws! Fileer ‘digitaal beleid’, evalueer de e-overheid, analyseer de diverse aanpakken van cyber crime en cyber insecurity en … gebruik daarbij de ongekende mogelijkheden van het internet om gegevens te verzamelen en analyseren. Voorbeelden betreffen het gebruiken van apps om gedrag en andere zaken te meten zonder steeds maar weer met vragenlijstjes te hoeven rondshoppen, het digitale huis als ‘laboratorium’ en ´naturalistic driving´ om gedrag van automobilisten van binnenuit de auto 24/7 te monitoren zonder dat ze het zelf ´weten´ of ervaren…

Het is te hopen dat het nu voor u liggende nieuwe ONLINE e-journal Beleidsonderzoek Online flink wat aandacht gaat besteden aan de ‘evaluatiekant’ van ‘the ubiquitous web’, for better or for worse!

Noten

• 1 http://www.state.gov/secretary/rm/2010/01/135519.htm en http://www.rijksoverheid.nl/documenten-en-publicaties/toespraken/2011/03/24/speech-by-pieter-de-gooijer-at-the-international-digital-economy-accords-idea-brussels-meeting.html

• 2 Jim Manzi, What Social Science Does - and Doesn't - Know. Our scientific ignorance of the human condition remains profound. In The City Journal, Summer 2010.