(G)een verrassend verschil. Twee gemeentelijke ranglijsten nader bekeken

Met de Atlas voor gemeenten en Beste gemeente beschikt Nederland over twee brede ranglijsten. Omgeven met een redelijke hoeveelheid publiciteit belanden ze elk jaar in de postbakjes van colleges van B en W en beleidsadviseurs. Wie beide lijsten met elkaar vergelijkt, wacht een flinke verrassing: de top tien van de één lijkt nauwelijks op die van de ander. Verschillen de lijsten ook verder nog van elkaar? Waar komen de verschillen vandaan? En kunnen we iets zeggen over de betrouwbaarheid en bruikbaarheid? Dit zijn enkele van de vragen die in het onderstaande artikel aan de orde komen. ¹x Voor het schrijven van dit artikel kon worden beschikt over een aantal jaren van de Atlas voor gemeenten en andere publicaties zoals G. Marlet, De aantrekkelijke gemeente, 2009. Van Beste gemeente over de publicaties inclusief methodologische notities in het weekblad Elsevier van 2011 en 2012 en enige aanvullende informatie van de opsteller P. Louter.

• 1 Gemeentelijke ranglijsten

  Ranglijsten, nationaal en internationaal

  Jaarlijks verschijnen er verschillende ranglijsten van Nederlandse gemeenten. De twee ‘atlassen’, de Atlas voor gemeenten (van de gelijknamige stichting) en Atlas van lokale lasten (COELO) zijn waarschijnlijk het meest bekend. Een betrekkelijke nieuwkomer – althans in zijn huidige vorm – is Beste gemeente in het weekblad Elsevier. De verschillende ranglijsten hebben niet te klagen over aandacht in de media en bij de betrokken besturen. Gemeentebesturen voelen zich immers gestreeld door een mooie plek voor de eigen gemeente – op welk lijstje dan ook.
  Gemeentelijke ranglijsten waren er al eerder in het buitenland. Zo is er een keur aan ranglijsten van ‘wereldsteden’ (‘economische groeimotoren’) met namen als: Global Cities Index en World Cities Survey. Ranglijsten van Quality of Life en van Personal Safety bieden tegenwicht tegen de meer economisch gerichte lijsten. Op de lijsten van ‘wereldsteden’ komt altijd maar één Nederlandse gemeente voor: Amsterdam.
  Gemeentelijke ranglijsten zijn geen op zichzelf staand verschijnsel. Er zijn lijsten van – ik doe een greep – ziekenhuizen, scholen, universiteiten, werkgevers en jonge ambtenaren, naast natuurlijk de bekende tabellen van het consumentenonderzoek. Wij zijn kennelijk erg in ranglijsten geïnteresseerd.

  Qua doel en opzet zijn de gemeentelijke ranglijsten een soort monitors waarmee relevante maatschappelijke ontwikkelingen kunnen worden gevolgd. Wat dat betreft, zijn ze vergelijkbaar met Waarstaatjegemeente (KING), dat haar leven gedeeltelijk ook als ranglijst is begonnen, en inhoudelijk smallere monitors als de Integrale Veiligheids Monitor gemeenten of de Wmo-monitor. De belangstelling voor dit soort instrumenten is verbonden met ideeën over de ‘bedrijfsmatige overheid’, die klantgericht werkt en rekening en verantwoording moet afleggen over haar prestaties.²xIk roep de zogenoemde vbtb-operatie (resultaatgericht begroten) in herinnering, die zo’n tien jaar geleden werd ingezet en ook op lokaal niveau heeft geleid tot programmabegrotingen met afrekenbare doelen; een Nederlandse variant van New Public Management. Het ranglijstkarakter is hooguit een meerwaarde (als het dat is).

  Twee gemeentelijke ranglijsten

  In dit artikel bekijken we twee algemene gemeentelijke ranglijsten, de Atlas voor gemeenten en Beste gemeente. Deze twee zijn beide ‘breed’ van opzet en beperken zich dus niet tot financiële aspecten of een enkel beleidsgebied. Een belangrijk verschil is dat Beste gemeente alle (in 2012 nog 415) Nederlandse gemeenten rangschikt, terwijl de Atlas zich vanaf het begin tot de 50 grootste heeft beperkt.

  Wie de top tien van beide naast elkaar zet, kan zich slechts verbazen. De twee lijsten met de ‘aantrekkelijkste gemeenten van Nederland’ hebben wel erg weinig van elkaar weg (tabel 1). De Atlas zet de grootste gemeente van Nederland bovenaan; Beste gemeente spreekt daarentegen haar voorkeur uit voor het kleine ‘Wassenaar van het Noorden’ Haren. Alleen Amstelveen staat bij beide in de top tien.

  1 De top tien van de Atlas voor gemeenten en van Beste gemeente

  Atlas voor gemeenten					Beste gemeente
  nr.	gemeente	inw. x 1000	nr.	gemeente	inw. x 1000
  1	Amsterdam	780	1	Haren	18
  2	Utrecht	311	2	Bloemendaal	22
  3	‘s-Hertogenbosch	141	3	Naarden	17
  4	Amstelveen	82	4	Rozendaal	2
  5	Den Haag	495	5	Heemstede	26
  6	Nijmegen	164	6	Blaricum	9
  7	Haarlem	151	7	Bussum	32
  8	Arnhem	148	8	Amstelveen	82
  9	Leiden	118	9	Oegstgeest	23
  10	Leidschendam-Voorburg	72	10	Hattem	12

  Natuurlijk hoeven de beste tien uit een selectie van vijftig niet gelijk te zijn aan de beste tien van alle 415 gemeenten. De meeste gemeenten op het rechterlijstje kúnnen door hun inwonertal helemaal niet op het linkerlijstje voorkomen. Het omgekeerde kan echter wel, maar toch gebeurt ook dat niet (met uitzondering van Amstelveen dan). Er lijkt daarom meer aan de hand dan alleen een inperking van de populatie bij de Atlas.³xDaarop wijst ook de gemiddelde gemeentegrootte in het rechterlijstje: die is veel lager dan het landelijke gemiddelde.

  Vragen

  Ik wil daarom met u eens wat beter naar de twee ranglijsten kijken. Met een paar vragen in het achterhoofd:

  • Wat ‘meten’ de ranglijsten precies?

  • Waar komen de verschillen vandaan?

  • Levert het ranglijstformaat voor- of nadelen op?

  • Wat is de gebruikswaarde voor beleid?

• 2 Korte introductie

  2.1 Achtergrond

  Atlas voor gemeenten

  De Atlas voor gemeenten publiceert jaarlijks voor de vijftig grootste gemeenten van het land twee samengestelde indexen: de woonaantrekkelijkheidsindex (absoluut cijfer en rangpositie⁴xDe Atlas is niet helemaal eenduidig in het gebruik van het woord ‘index’. Vaak wordt hiermee de rangpositie van een gemeente bedoeld, soms ook de absolute waarde van de (combinatie van) gebruikte indicatoren. In dit artikel wordt het woord ‘index’ zo veel mogelijk alleen in de laatste betekenis gebruikt.) en de sociaal-economische index (rangpositie). De beide indexen zijn elk opgebouwd uit een achttal – sinds 2003 – onveranderlijke kernindicatoren. De rapporten kennen een vaste opzet met, naast de ranglijsten, ruimte voor jaarlijks wisselende actuele beleidsthema’s en de stand van een stuk of dertig secundaire indicatoren.

  Beste gemeente

  Beste gemeente, jaarlijks verschijnend in Elseviers weekblad, rangschikt alle (in 2012 415) gemeenten naar woonaantrekkelijkheid voor de gemiddelde Nederlander. In zijn huidige vorm bestaat de ranglijst sinds 2011, maar zij verscheen al eerder in een wat andere vorm.
  De ranglijst is gebaseerd op een startset van 101 indicatoren. Dit grote aantal wordt door middel van statistische technieken (factoranalyse) hanteerbaar gemaakt en ‘ingedikt’ tot uiteindelijk 20 ‘beoordelingspunten’, verdeeld over acht themagebieden.
  Opsteller van Beste gemeente is het bureau voor ruimtelijk economisch onderzoek Louter.

  2.2 Aantrekkelijk? Voor wie?

  ‘Aantrekkelijk’ is aantrekkelijk voor …

  De Atlas voor gemeenten en Beste gemeente hebben het allebei over ‘woonaantrekkelijkheid’, maar bedoelen daarmee niet hetzelfde. Dit is ook meteen de belangrijkste reden waarom de beide ranglijsten van elkaar verschillen – van elkaar moeten verschillen, want er wordt voor een deel op andere kwaliteiten gerangschikt.
  De opstellers van de Atlas steunen zwaar op een aantal Amerikaanse stedelijke en geografische economen,⁵xVooral : R. Florida, E.L. Glaeser en P.R. Krugman. wier theorieën zij tot een samenhangend, en aan de Nederlandse situatie aangepast model hebben samengesmeed. Dit analysemodel voor de stad werd in 2007 gepubliceerd.⁶xG. Marlet & C. van Woerkens, Naar een analysemodel voor de stad. Modelontwikkeling en mogelijke toepassingen, 2007.

  … de ‘creatieve klasse’!

  Volgens dit – inmiddels getoetste⁷xG. Marlet, De aantrekkelijke stad, 2009. – analysemodel komt de economische bloei van een stad vooral voor rekening van een hoogopgeleide en actieve bevolkingsgroep – ook wel bekend als de ‘creatieve klasse’.
  De activiteiten, de onderlinge uitwisseling van kennis en het ondernemerschap van de leden van deze groep zorgen voor economische groei, ook omdat het bedrijfsleven zich graag in de buurt van dergelijke concentraties van hoogwaardig personeel vestigt.
  Waardoor, door welke eigenschappen van een stad, voelt de creatieve klasse zich aangetrokken? Dat is de hamvraag. Het is het antwoord op deze vraag dat de Atlas voor ogen staat als zij het over ‘woonaantrekkelijkheid’ heeft: precies díé factoren die ervoor zorgen dat deze groep zich vestigt in stad A en niet of minder in stad B. We hebben het dan over onder meer: werkgelegenheid (bereikbaar in de regio), woonkwaliteit en uitgaansleven, liefst nog op loopafstand.

  Gemiddelde Nederlander of elite

  Voor de Atlas is ‘woonaantrekkelijkheid’ dus de voorkeur van een economische ‘elite’, een groep die in Utrecht ruim een derde, maar in Emmen slechts een tiende van de beroepsbevolking uitmaakt. Dus niet bepaald gemiddelde Nederlanders.
  En Beste gemeente? Deze mikt duidelijk wél op het oordeel van de gemiddelde Nederlander. De makers van deze ranglijst zijn niet geïnteresseerd in de vestigingsmotieven van een specifieke groep. Zij willen weten welke voorzieningen voor de doorsnee inwoner van belang zijn. Dus los van de vraag in welke mate die inwoner bijdraagt aan de economische groei van zijn of haar stad, en evenmin specifiek als verhuismotief.

  2.3 Terug naar de cijfers

  Na deze uitleg over het verschil in uitgangspunt van de twee ranglijsten kijken we nogmaals naar de cijfers, maar nu niet alleen naar de top tien. Natuurlijk kan alleen de rangpositie van gemeenten die op beide ranglijsten voorkomen met elkaar worden vergeleken. Dat gebeurt in figuur 1.

  

  1 Samenhang van de twee ranglijstenDe rangposities bij Beste gemeente lopen van 1 tot 415 (aantal Nederlandse gemeenten). Om te kunnen vergelijken met de Atlas (50 grootste gemeenten) zijn de 50 grootste bij Beste gemeente voorzien van een positienummer tussen 1 en 50, corresponderend met de volgorde waarin zij door Beste gemeente zelf zijn gerangschikt. NB Voor de naamgeving van de rang- en indexposities ga ik uit van het publicatiejaar en niet van het meetjaar, dat een jaar eerder valt.

  Het verschil tussen de twee ranglijsten blijkt minder groot dan bij de top tien. Er is ongeveer 38% overlap in variantie. Maar dat betekent natuurlijk ook dat 62% niet overlapt. Ook na herrekening van de posities bij Beste gemeente (zie noot 8) is de rangscore in geen enkel geval gelijk aan die van de Atlas; in 56% van de gevallen ligt het verschil tussen de 1 en 10 posities, en bij 44% tussen 11 en 27 posities.
  Een belangrijke ‘oorzaak’ is dat de rangorde van de Atlas samenhangt met gemeentegrootte: hoe groter de stad, des te groter de kans op een gunstige (lage) positie (rangcorrelatie rho = -0,46), terwijl de rangorde van Beste gemeente geen relatie vertoont met gemeentegrootte (zie figuur 2).⁹xAls alleen naar de vijftig grootste gemeenten wordt gekeken, is er ook bij Beste gemeente wel enige (rho = -0,29) correlatie met inwonertal. Die is toe te schrijven aan de invloed van Amsterdam en Utrecht, die het ook op deze ranglijst relatief goed doen.

  

  2 Rangpositie en bevolkingsomvang
  Bij Beste gemeente toont de regressielijn geen (significante) samenhang tussen rangpositie en bevolkingsaantal. Bij de Atlas is er wel samenhang tussen rangpositie en bevolkingsomvang: hoe groter de bevolkingsomvang hoe beter (lager) de positie.

• 3 Hoe komen de lijsten tot stand?

  3.1 In drie stappen

  Een blik op het ‘productieproces’ kan veel verduidelijken over de ranglijsten en hun onderlinge verschillen. Een kijkje in de keuken bij de makers zat er jammer genoeg nog niet in. De opstellers van beide ranglijsten volgen een globaal vergelijkbaar stramien:

  1. selectie van indicatoren;

  2. combinatie van indicatoren tot één index;

  3. rangschikking van gemeenten.

  
  We bespreken de keuzes en problemen van elk van deze drie stappen in het proces.

  3.2 Selectie, combinatie en rangschikking

  1 Selectie van indicatoren

  De indicatoren naast elkaar

  Een eerste taak is selectie van de juiste indicatoren.¹⁰xMet de term ‘indicatoren’ volg ik de terminologie van Beste gemeente. In de Atlas wordt de term ‘factoren’ gebruikt. Die selectie geeft aan waar het de ranglijst inhoudelijk om is begonnen.
  Onderstaande tabel (tabel 2) laat in vogelvlucht de overeenkomsten en verschillen zien tussen de selectie van Beste gemeente en van de Atlas, gegroepeerd naar de acht themagebieden van Beste gemeente.

  2 Indicatorenselectie Beste gemeente en Atlas

  Beste gemeente (eindscores)	Atlas (woonaantrekkelijkheidsindex)
  Kwaliteit woonomgeving
  - historisch decor - aantrekkelijke buurt - natuur, rust en ruimte	- percentage koopwoningen - percentage vooroorlogse woningen - nabijheid natuurgebieden
  Basisvoorzieningen
  - kinderpakket - jongerenpakket - zorgpakket - winkels	[geen]
  Plusvoorzieningen
  - cultuur - uitgaan - (water)recreatie - sport en fitness	- cultureel aanbod - culinair aanbod - aanwezigheid universiteit
  Overlast en veiligheid
  - weinig overlast - weinig misdaad - verkeersveiligheid	- veiligheid
  Sociaal klimaat
  - samenstelling bevolking - saamhorigheid	[geen]
  Economische vitaliteit
  - bedrijvigheid en werk (Toplocaties 2011/12 – Louter)	- bereikbaarheid banen
  Bereikbaarheid
  - openbaar vervoer - bereikbaarheid per auto	- bereikbaarheid banen
  Gemeentelijke dienstverlening
  - diensten en tarieven woonlasten	[geen]

  Bewuste inperking bij de Atlas

  Meteen valt op dat de Atlas drie themagebieden overslaat: basisvoorzieningen, sociaal klimaat en gemeentelijke dienstverlening. Volgens de makers van de Atlas zijn dit soort voorzieningen niet onderscheidend genoeg als motief om van de ene naar de andere gemeente te verhuizen. Zij maken daarom geen deel uit van de woonaantrekkelijkheidsindex. Hier is dus sprake van een bewuste inperking. De vraag is in hoeverre dat ook geldt voor enkele andere onderdelen die eveneens lijken te ontbreken.

  Ontbrekende indicatoren

  Bij de indicatoren in de index van de Atlas ontbreekt bijvoorbeeld ‘historisch decor’ (historische binnenstad). Hetzelfde geldt voor een aantal andere (die overigens ook niet allemaal bij Beste gemeente zijn opgenomen), zoals het percentage grote huizen, (weinig) overlast (wel opgenomen bij Beste gemeente), de voetbalindex, het aantal cafés, historische vaarwegen (grachten) en de nabijheid van de kust. Uit andere publicaties van de auteurs van de Atlas weten wij dat deze indicatoren wel een rol spelen in de woonaantrekkelijkheid.¹¹xZie G. Marlet, De aantrekkelijke stad, 2009 en Atlas voor gemeenten, 2010. Waarom zijn ze dan niet in de index opgenomen? Vermoedelijk speelt hier iets als het ‘dilemma van de monitor’: iedere verbetering of actualisering van indicatoren leidt tot een breuk in de tijdseries. Aparte ranglijsten voor een aantal van deze indicatoren, de oplossing waarvoor de Atlas op dit moment nog kiest, leiden natuurlijk niet tot een verbetering van de index zelf.

  2 Combineren van indicatoren

  Keuze van gewichten

  Als volgende stap is het ’t meest eenvoudig om de indicatoren te standaardiseren (z-scores) en op te tellen of te middelen. Deze aanpak voldoet zolang je ervan uit kunt gaan dat de indicatoren ongeveer even belangrijk zijn.
  Als dat (zoals hier) niet het geval is, dan moet elk van de indicatoren bij de berekening een bepaald gewicht worden meegegeven. In de vorm van een gewogen som zou dat worden:

  I = b₁x₁ + b₂x₂ + … + b_nx_n

  In deze formule is de index I gelijk aan de som van de indicatoren x₁ tot en met x_n, elk gewogen met een gewicht b₁ tot en met b_n, dat het belang van de indicator aangeeft.
  Hoe bepaal je nu voor elke indicator het juiste gewicht? Precies op dit punt komen Beste gemeente en de Atlas met radicaal verschillende oplossingen.

  Verhuisgedrag

  De makers van de Atlas willen dat hun index zo goed mogelijk de feitelijke aantrekkelijkheid van de gemeente voorspelt. Hoe aantrekkelijk een gemeente feitelijk is, blijkt uit het verhuisgedrag van een economisch kansrijke groep. Met behulp van econometrische analyse kiezen zij de gewichten (de b-coëfficiënten in de bovenstaande vergelijking) daarom zo, dat index I de sterkst mogelijke samenhang vertoont met verhuisgedrag. Helaas blijken de opstellers het verhuisgedrag van de betrokken kansrijke economische groep niet rechtstreeks te kunnen meten. Zij zijn daarom aangewezen op indirecte meting via de gevolgen van het verhuisgedrag, zoals de jaarlijkse verandering van het percentage hoger opgeleiden in de bevolking.¹²xHoe deze indirecte metingen precies worden ingezet ter bepaling van de gewichten, wordt niet uitgelegd. In De aantrekkelijke stad (waar de Atlas naar verwijst) worden verschillende soorten indirecte metingen genoemd: de huizenprijzen (stijgen bij een grotere vraag), de netto- migratie van kansrijke jongeren en verandering van de bevolkingssamenstelling (meer hoger opgeleiden, meer leden creatieve klasse).

  Mening van bewoners

  De makers van Beste gemeente gaan bij het bepalen van de gewichten volledig anders te werk. Zij kijken niet naar het gedrag van een specifieke groep vestigers (en vertrekkers), maar peilen de mening van doorsnee bewoners, van de ‘blijvers’, zo men wil. De gewichten worden vastgesteld aan de hand van een steekproefonderzoek waarin respondenten het belang kunnen aangeven van verschillende voorzieningen.

  Principiële vragen

  Op wiens mening moet eigenlijk worden afgegaan bij het vaststellen van het belang van indicatoren? Moeten de Emmenaren zich wel iets gelegen laten liggen aan het gemiddelde oordeel van de Nederlandse bevolking (via de enquête van Beste gemeente)? Of moet hun eigen oordeel de doorslag geven als het om Emmen gaat? De vraag geldt natuurlijk niet alleen voor Emmenaren.¹³xAardig is in dit verband dat een van de eerste dingen die Louter aanbeveelt bij het toepassen van Beste gemeente op lokaal niveau is: het enquêteren van de bevolking over wat de inwoners zelf belangrijk vinden!
  Voor beide benaderingen (Nederlands gemiddelde of differentiatie naar gemeente) valt wat te zeggen. Los daarvan is differentiatie in elk geval duurder.

  Een enigszins vergelijkbaar principieel punt geldt de benadering van de Atlas, die, zoals wij zagen ‘aantrekkelijkheid’ geheel en al ophangt aan de voorkeuren van een bepaalde economische ‘elite’. De vraag is of een dergelijke benadering niet te eenzijdig is. Ik kom later op dit punt terug als we het gaan hebben over de beperkingen van de ranglijsten (zie 4.2).

  Onzekerheden en fluctuaties

  Of er nu gekozen wordt voor een econometrische benadering of voor de vaststelling van gewichten op basis van steekproefonderzoek, in beide gevallen is er sprake van schattingen die onderhevig zijn aan onzekerheidsmarges en vertekening. Geen van de ranglijsten geeft aan met welke marges de lezer rekening moet houden. Niet onbelangrijk, omdat kleine verschillen soms veel kunnen uitmaken voor de rangpositie, zoals we zo dadelijk zullen zien.
  Op grond van de beschikbare cijfers valt daar niets met zekerheid over te zeggen.
  Gezien de hoge correlaties (r >= 0,992) is er weinig fantasie voor nodig om de indexen van de Atlas van opeenvolgende jaren als herhalingsmetingen (test-retest) te zien. Dat geldt overigens ook voor Beste gemeente (rho = 0,992).¹⁴xDe keuze voor Pearsons’ r resp. Spearman’s rho hangt samen met het meetniveau van de Atlas (interval) en Beste gemeente (rangscore). Zo bezien is er weinig op de betrouwbaarheid van de metingen aan te merken.
  Dat wil echter niet zeggen dat er op het niveau van individuele gemeenten geen fluctuaties in de meetuitkomsten aantoonbaar zijn, die mogelijk voor een deel zijn toe te schrijven aan de methodiek. De fluctuaties zijn zowel terug te vinden in de residuals (figuur 3) als in de stijgers en dalers onder de gemeenten (tabel 3). In 2010 en 2012 is de gemiddelde stijging of daling 0,12 á 0,13 (abs.) en ligt de totale stijging dicht bij nul. In 2011 is daarentegen niet alleen sprake van fluctuaties van individuele gemeenten, maar ook van een trendmatige verhoging van het algemene gemiddelde met 0,17. In dat jaar blijkt de index van 90% van de gemeenten op ‘winst’ te staan, een winst die een aantal overigens het jaar daarop voor een deel alweer kwijtraakt.

  

  3 Afwijkingen van de regressielijn 2010 op 2009 (Atlas)
  Afwijkingen (of ‘residuals’) van de regressielijn (middelste lijn). De twee buitenste lijnen geven de standaardafwijking (0,12). O.a. Groningen en Zoetermeer doen het in 2010 beter dan in 2009 (stijgers); Maastricht en Oss doen het slechter (dalers).
  3 Jaarverschillen Atlas voor gemeenten

  	2010			2011			2012
  	gemeenten (%)	stijging/ daling	gemeenten (%)	stijging/ daling	gemeenten (%)	stijging/ daling
  stijgers	36	0,13	90	0,20	50	0,13
  gelijkblijvers	30		6		20
  dalers	34	-0,12	4	-0,17	30	-0,12
  totaal	100	0,00	100	0,17	100	0,03
  correlatie vlg jaar	0,994		0,992		0,993
  sd residuals	0,12		0,14		0,13

  Leesvooorbeeld: in 2010 was (t.o.v. het voorgaande jaar) het percentage gemeenten met een stijgende index 36% en de gemiddelde stijging bij de stijgers was 0,13.

  We zien dus dat ondanks de stabiliteit van het instrument (en van de gemeenten) er toch gerekend moet worden met jaarlijkse fluctuaties en trendmatige bewegingen. In hoeverre de fluctuaties en bewegingen worden veroorzaakt door de meet- en rekenmethode of door werkelijke verschillen, valt op grond van de beschikbare informatie helaas niet te zeggen. Je kunt hooguit zeggen dat een stijging bij 90% van de gemeenten in één jaar (2011) niet erg plausibel is. En ook dat ‘stijgers’ soms wel erg snel (in een jaar) veranderen in ‘dalers’ (en vice versa)

  3 Opstellen van de ranglijst

  Kleine verschillen grote gevolgen

  Als eenmaal de uitkomsten op de index bekend zijn, dan is de ranglijst zelf niet meer dan een kwestie van rangschikking. Toch is het de moeite waard om ook naar deze stap eens wat preciezer te kijken, al was het maar omdat daarmee het eindresultaat wordt bepaald waar in de praktijk vooral naar wordt gekeken.
  Ik neem als voorbeeld de relatie tussen de rangpositie en de indexwaarde bij de Atlas. Zie figuur 4 hieronder.

  

  4 Indexwaarde en rangpositie 2012De figuur is inhoudelijk gelijk aan de ranglijst woonaantrekkelijkheidsindex in deel III van de rapporten van de Atlas.
  In de figuur is op de horizontale as de indexwaarde (AT_index12) per gemeente weergegeven en op de verticale as de daarbij horende rangpositie (AT_pos12).

  Bijna de helft van de gemeenten bevindt zich in het middengebied rond de indexscore 5,0 (+/- 0,5). In dit gebied kan een verbetering of verslechtering van de index met enkele tienden van een punt een stijging of daling betekenen van tien rangposities. Kortom: een betrekkelijk klein kwaliteitsverschil wordt hier enorm uitvergroot. Een gemeente die van de tiende naar de twintigste plaats zakt, blijkt in absolute zin slechts 0,38 lager te scoren (op een schaal van 0 tot 10). Het gemiddelde verschil tussen deze tien gemeenten is dus slechts 0,04 punt. Het zou mij niet verbazen als dat minder is dan de meetnauwkeurigheid van de index (zie boven), in welk geval de exacte positie van een gemeente gedeeltelijk een toevalstreffer is.

  Is dat erg? Wel als gemeenten hun precieze rangpositie heel belangrijk vinden, misschien in de veronderstelling verkerend dat deze met rocket-science exactheid is vastgesteld. Niet, als zij weten dat positieveranderingen veroorzaakt kunnen worden door minieme verschillen, die bovendien zelf ook nog eens het gevolg kunnen zijn van de geconstateerde fluctuaties.

  Onzichtbare verbeteringen

  Wat zou er gebeuren als alle gemeenten zich tegelijkertijd even sterk zouden verbeteren in absolute zin? Antwoord: niets. De grafiek Indexwaarde en rangpositie (figuur 4) zou bijvoorbeeld een blokje naar rechts verschuiven, maar elke gemeente zou hetzelfde rangnummer houden. Met dit fenomeen heeft tussen 2010 en 2011 een flink aantal gemeenten te kampen gehad. Zoals we hebben gezien, was er dat jaar sprake van een trendmatige verschuiving. Van de 45 gemeenten die zich in 2011 verbeterden, kwam dat bij 28 (62%) niet tot uitdrukking in een betere rangscore (zie figuur 5).

  

  5 Veranderingen tussen 2010 en 2011 in index en positie
  De 28 gemeenten in kwadrant II (o.a. Eindhoven, rechtsboven) stegen op de index (horizontale as), maar zien dat niet terug in een betere positie (verticale as). (NB Een hoger rangnummer is ongunstig.)

  Het probleem van ranglijsten is dat zij kwaliteitsverbetering voorstellen als een zero-sum-game. Het lijkt alsof je je alleen ten koste van iemand anders kunt verbeteren. Natuurlijk is dat niet echt zo. Werkelijke (of in elk geval: gemeten) verbeteringen worden daardoor in een aantal gevallen aan het oog onttrokken.¹⁶xDe opstellers van de Atlas zullen hier mogelijk tegenwerpen dat het zero-sum-karakter van de ranglijst in overeenstemming is met de concurrentie die er tussen steden bestaat om kansrijke vestigers binnen te halen. De vestiger die neerstrijkt in gemeente A, blijft (ipso facto) weg uit B.

• 4 Gebruikswaarde

  4.1 Voor wie en waarvoor?

  Hoe moeten wij de ranglijsten zien? Als beleidsmonitors of als consumententests? Of misschien als beide? In een van de eerste Atlassen staat daarover onder meer het volgende:

  ‘Allereerst is het een rijke bronuitgave, die kan dienen als naslagwerk voor overheden, bedrijven, huishoudens en onderzoekers. (…) [D]e Atlas [probeert] overheden, burgers en bedrijven optimaal te informeren over zoveel mogelijk kenmerken van de vijftig grootste gemeenten. Daarnaast biedt de Atlas een vergelijking tussen de vijftig gemeenten. (…) Dat is niet alleen informatief voor bedrijven en huishoudens die een vestigingsplaats zoeken, maar kan ook een prikkel zijn voor lokale bestuurders om met beleid de positie van een gemeente te versterken. (…)
  Sommige van de factoren in de index – zoals het culturele aanbod, de veiligheid en het percentage koopwoningen – zijn beïnvloedbaar door lokaal beleid. (…) De aantrekkelijkheidsindex kan (..) ook worden gebruikt als een indicator voor het succes van dat beleid.’¹⁷xAtlas voor gemeenten, 2003, p. 10-11.

  Inderdaad dus én monitor én consumentenonderzoek casu quo vestigingsadvies.
  De opstellers van Beste gemeenten noemen als gebruiksmogelijkheden:

  • citymarketing (voor het voetlicht brengen van sterke punten, aanpakken van zwakke punten);

  • prioritering van de gemeentelijke uitgaven (op basis van wat burgers belangrijk vinden);

  • sturen van verhuisbewegingen (in relatie tot bevolkingskrimp).

  
  Voor Beste gemeente lijken beleidsmakers de doelgroep en niet zozeer burgers of bedrijven. Maar misschien vindt men de gebruikswaarde voor burgers en bedrijven te vanzelfsprekend om apart te vermelden?

  4.2 Kwaliteiten als monitor

  Ranglijst goed als monitor?

  Beleidsmakers zullen de ranglijsten vooral willen zien als monitors, waarmee beleidsrelevante maatschappelijke ontwikkelingen gevolgd kunnen worden.¹⁸xR. Engbersen et al. (red.), Nederland aan de monitor. Het systematische en periodiek volgen van maatschappelijke ontwikkelingen, 1997. Of als benchmarks, waarmee ze zich met andere gemeenten kunnen vergelijken. In hoeverre zijn de twee ranglijsten ook geschikt als monitor of benchmark?
  Een belangrijke functie van een monitor is de signaleringsfunctie: het instrument waarschuwt als een negatieve ontwikkeling inzet. Het ranglijstmodel heeft een aandachtgenererende waarde die de signaleringsfunctie ondersteunt. Een andere belangrijke functie van monitors is echter het adequaat weergeven van de stand van zaken. Zoals wij hebben gezien, kan het ranglijstmodel daarbij een nadeel zijn.
  Gebruikers doen er in elk geval verstandig aan om bij ranglijsten ook altijd naar de onderliggende absolute cijfers te kijken (voor zover beschikbaar) en de ontwikkeling op de samenstellende onderdelen (indicatoren) van de index na te gaan.

  Vertaling naar de praktijk

  Het vertalen van uitkomsten naar praktisch beleidsmatig handelen is geen sinecure, maar dat geldt eigenlijk voor iedere monitor. Ook het gebruik van de ranglijsten als benchmark is niet eenvoudig, omdat uit de rangpositie niet zonder meer valt af te leiden met welke andere gemeenten de eigen gemeente op een zinvolle en praktische manier kan worden vergeleken. Ook al zijn de rangposities vergelijkbaar, de onderliggende problematiek kan totaal verschillend zijn, waardoor er minder van elkaar kan worden geleerd. Het omgekeerde komt ook voor.

  Het al genoemde analysemodel van de stad van de Atlas biedt in principe aanknopingspunten om de kloof tussen cijfers en beleidspraktijk te overbruggen. Met het schema van het analysemodel in de hand maken de opstellers van de Atlas voor een gemeente die dat wil een ‘stadsfoto’. Hierop krijgen de lokale waarden van (detail)indicatoren een plek in het causale schema, waardoor een beeld ontstaat van de lokale problematiek. Op deze wijze kunnen relevante referentiegemeenten worden uitgekozen en wordt duidelijk aan welke ‘knoppen’ moet worden gedraaid om tot verbeteringen te komen. Inmiddels is er de afgelopen jaren voor een aantal steden zo’n stadsfoto gemaakt, en lijkt het tijd voor een inventarisatie van de gebruikservaringen en de doorwerking in het lokale beleid. Voorwaarde voor succes is in elk geval dat de theoretische vooronderstellingen van het analysemodel geldig zijn voor de stedelijke context waarin ze worden toegepast. Daarom tot slot nog een paar woorden over de geldigheid.

  Beperkingen

  De Atlas loopt door zijn theoretische onderbouwing tegen drie – samenhangende – beperkingen aan:

  1. in de tijd (het historische karakter van de trek naar de stad);

  2. geografisch (de nadruk op grootstedelijke attracties);

  3. naar sociale groep (onevenredige aandacht voor een specifieke groep).

  
  In de jaren negentig werd de stad herontdekt als woonplaats. In principe is de trek naar de stad die daardoor ontstond, een net zo tijdelijk – historisch – verschijnsel als de trek uit de stad die vanaf de jaren zeventig had plaatsgevonden. Als gevolg van sociale, culturele en/of economische ontwikkelingen kan die trend ooit weer eens omslaan.¹⁹xZie bijv. Steden van morgen, keuzes van vandaag. Over de toekomst van de stad en stedelijk beleid, Ministerie van BZK, 2006.
  De Atlas gaat over de aantrekkingskracht van het (groot)stedelijke woonmilieu. Je kunt je daarom afvragen in hoeverre de uitkomsten voor alle gemeenten even relevant zijn (ook als ze op de lijst van de Atlas staan). Gelden voor kleinere gemeenten geen andere ‘woonattracties’? Attracties waar andere groepen (dan de creatieve klasse) warm voor lopen? Zodra de Atlas haar werkterrein uitbreidt naar alle Nederlandse gemeenten (wat de bedoeling schijnt te zijn), kunnen de auteurs niet om dit soort vragen heen. Iets wat ze zich overigens realiseren.²⁰xZie G. Marlet, De aantrekkelijke stad, 2009, Hoofdstuk 7.

  De index van Beste gemeente strekt zich nu al uit over alle (in 2012) 415 Nederlandse gemeenten. Door het theoriearme karakter wordt de geldigheid niet ingeperkt door de scope van een onderliggende theorie. Daar staat tegenover dat ook niet kan worden geprofiteerd van de verklarende kracht van zo’n theorie.

  Keuzeoverwegingen

  Na het voorgaande zal duidelijk zijn dat de keuze per gemeente en per situatie kan verschillen. Niet alleen de aard van de gemeente, maar ook de expliciete of impliciete beleidsopvattingen van de beleidsmakers (beleidstheorie) spelen een rol.
  Wie in zijn beleid wil uitgaan van het analysemodel voor de stad, kan zinvol gebruikmaken van de aantrekkelijkheidsindex van de Atlas en daarmee samenhangende instrumenten zoals de ‘stadsfoto’. Wie dat niet wil (of kan), doet er goed aan te rade te gaan bij Beste gemeente of bij een monitor als Waarstaatjegemeente.²¹xKING werkt de laatste tijd samen met de Atlas om voor bepaalde beleidsonderdelen verklaringsmodellen op te stellen. Deze laatste monitor van KING/VNG heeft bovendien het voordeel dat alle data vrij online toegankelijk zijn.

• 5 Conclusies

  1. De twee algemene ranglijsten van gemeenten Atlas voor gemeenten en Beste gemeente verschillen aanzienlijk van elkaar in de rangposities die zij aan gemeenten toekennen. Alleen voor de 50 gemeenten die op beide ranglijsten staan, is een rechtstreekse vergelijking mogelijk. Bij de Atlas is er een verband met gemeentegrootte: hoe groter de gemeente, hoe lager (gunstiger) de rangpositie. Bij Beste gemeente ontbreekt dat verband. Hoewel er statistisch gezien een verband bestaat tussen de twee ranglijsten, komen de individuele rangposities nooit overeen en liggen deze in 44% van de gevallen zelfs meer dan 10 posities uit elkaar.

  2. De Atlas en Beste gemeente spreken allebei van ‘woonaantrekkelijkheid’, maar bedoelen daarmee niet hetzelfde. Dat is de belangrijkste reden voor de gevonden positieverschillen. De Atlas staat de (externe) aantrekkingskracht van de stad op een actieve en hoogopgeleide groep vestigers (‘creatieve klasse’) voor ogen. Dit in tegenstelling tot Beste gemeente, die daarmee de aantrekkelijkheid voor de doorsnee bevolking bedoelt. Dit verschil komt voort uit de theoretische achtergrond van de Atlas, waarin de ‘creatieve klasse’ als belangrijke motor wordt gezien van economische voorspoed. Bij Beste gemeente ontbreekt deze achtergrond.

  3. Dit verschil in uitgangspunt vertaalt zich naar (a) de selectie van de indicatoren die aan de twee indexen ten grondslag liggen (bij de Atlas ontbreken indicatoren voor basisvoorzieningen, sociaal klimaat en gemeentelijke diensten), en (b) het belang dat via weging aan de verschillende indicatoren wordt toegekend. De Atlas koppelt dit belang – via een econometrische analyse – aan de gebleken aantrekkingskracht op de ‘creatieve klasse’. Beste gemeente gaat af op de mening van doorsnee inwoners.

  4. Ranglijsten kunnen een vertekend beeld geven van de onderliggende werkelijkheid c.q. meetuitkomsten. Voor de Atlas kan worden aangetoond dat de ranglijst verschillen tussen gemeenten soms uitvergroot, en soms onzichtbaar maakt. Altijd optredende fluctuaties tussen metingen kunnen daardoor tot wisselende rangposities leiden. Aan de andere kant blijven werkelijke verbeteringen niet zelden onzichtbaar. Daardoor zijn ranglijsten als monitor niet ideaal, ondanks de ‘signaalwerking’ van het ranglijstmodel.

  5. Het onderliggende analysemodel voor de stad van de Atlas kan helpen de kloof tussen monitorgegevens en de beleidspraktijk te overbruggen. Aan de andere kant houdt deze binding aan een specifieke theorie ook een beperking in van de geldigheid of reikwijdte van de Atlas. Voor beleidsmakers kan dat een reden zijn gebruik te maken van Beste gemeente of een alternatief, zoals Waar staat je gemeente.

Noten

• 1 Voor het schrijven van dit artikel kon worden beschikt over een aantal jaren van de Atlas voor gemeenten en andere publicaties zoals G. Marlet, De aantrekkelijke gemeente, 2009. Van Beste gemeente over de publicaties inclusief methodologische notities in het weekblad Elsevier van 2011 en 2012 en enige aanvullende informatie van de opsteller P. Louter.

• 2 Ik roep de zogenoemde vbtb-operatie (resultaatgericht begroten) in herinnering, die zo’n tien jaar geleden werd ingezet en ook op lokaal niveau heeft geleid tot programmabegrotingen met afrekenbare doelen; een Nederlandse variant van New Public Management.

• 3 Daarop wijst ook de gemiddelde gemeentegrootte in het rechterlijstje: die is veel lager dan het landelijke gemiddelde.

• 4 De Atlas is niet helemaal eenduidig in het gebruik van het woord ‘index’. Vaak wordt hiermee de rangpositie van een gemeente bedoeld, soms ook de absolute waarde van de (combinatie van) gebruikte indicatoren. In dit artikel wordt het woord ‘index’ zo veel mogelijk alleen in de laatste betekenis gebruikt.

• 5 Vooral : R. Florida, E.L. Glaeser en P.R. Krugman.

• 6 G. Marlet & C. van Woerkens, Naar een analysemodel voor de stad. Modelontwikkeling en mogelijke toepassingen, 2007.

• 7 G. Marlet, De aantrekkelijke stad, 2009.

• 8 De rangposities bij Beste gemeente lopen van 1 tot 415 (aantal Nederlandse gemeenten). Om te kunnen vergelijken met de Atlas (50 grootste gemeenten) zijn de 50 grootste bij Beste gemeente voorzien van een positienummer tussen 1 en 50, corresponderend met de volgorde waarin zij door Beste gemeente zelf zijn gerangschikt. NB Voor de naamgeving van de rang- en indexposities ga ik uit van het publicatiejaar en niet van het meetjaar, dat een jaar eerder valt.

• 9 Als alleen naar de vijftig grootste gemeenten wordt gekeken, is er ook bij Beste gemeente wel enige (rho = -0,29) correlatie met inwonertal. Die is toe te schrijven aan de invloed van Amsterdam en Utrecht, die het ook op deze ranglijst relatief goed doen.

• 10 Met de term ‘indicatoren’ volg ik de terminologie van Beste gemeente. In de Atlas wordt de term ‘factoren’ gebruikt.

• 11 Zie G. Marlet, De aantrekkelijke stad, 2009 en Atlas voor gemeenten, 2010.

• 12 Hoe deze indirecte metingen precies worden ingezet ter bepaling van de gewichten, wordt niet uitgelegd. In De aantrekkelijke stad (waar de Atlas naar verwijst) worden verschillende soorten indirecte metingen genoemd: de huizenprijzen (stijgen bij een grotere vraag), de netto- migratie van kansrijke jongeren en verandering van de bevolkingssamenstelling (meer hoger opgeleiden, meer leden creatieve klasse).

• 13 Aardig is in dit verband dat een van de eerste dingen die Louter aanbeveelt bij het toepassen van Beste gemeente op lokaal niveau is: het enquêteren van de bevolking over wat de inwoners zelf belangrijk vinden!

• 14 De keuze voor Pearsons’ r resp. Spearman’s rho hangt samen met het meetniveau van de Atlas (interval) en Beste gemeente (rangscore).

• 15 De figuur is inhoudelijk gelijk aan de ranglijst woonaantrekkelijkheidsindex in deel III van de rapporten van de Atlas.

• 16 De opstellers van de Atlas zullen hier mogelijk tegenwerpen dat het zero-sum-karakter van de ranglijst in overeenstemming is met de concurrentie die er tussen steden bestaat om kansrijke vestigers binnen te halen. De vestiger die neerstrijkt in gemeente A, blijft (ipso facto) weg uit B.

• 17 Atlas voor gemeenten, 2003, p. 10-11.

• 18 R. Engbersen et al. (red.), Nederland aan de monitor. Het systematische en periodiek volgen van maatschappelijke ontwikkelingen, 1997.

• 19 Zie bijv. Steden van morgen, keuzes van vandaag. Over de toekomst van de stad en stedelijk beleid, Ministerie van BZK, 2006.

• 20 Zie G. Marlet, De aantrekkelijke stad, 2009, Hoofdstuk 7.

• 21 KING werkt de laatste tijd samen met de Atlas om voor bepaalde beleidsonderdelen verklaringsmodellen op te stellen.