Noël Slangen - Home

Columns

92,7 % is het hiermee eens. Over onbetrouwbare opiniepeilingen.

Sommige redacties hebben zich vorige week verslikt in een visgraat, zei een woordvoerder van een minister mij. Hij doelde op mijn uitspraak dat ik ingewanden van vissen lezen betrouwbaarder vind dan sommige marktonderzoeken waarmee media uitpakken. Alhoewel ik het begrip ‘marktonderzoek’ voor die gevallen tussen aanhalingstekens moet plaatsen. Er bestaat wel degelijk betrouwbaar marktonderzoek. Maar de media schijnen alsmaar moeilijker de weg te vinden naar de talloze degelijke onderzoekers die ons land rijk is. Misschien verbergen ze zich wel uit plaatsvervangende schaamte voor de collega’s voor wie het academisch petje niet meer is dan een sollicitatie om goedkoop in de media te komen. Als men het vak niet helemaal naar de verdoemenis wil helpen, wordt het misschien tijd dat onze universiteiten hun proffen eens ernstig gaan evalueren.

Iemand vroeg me waarom net die marktonderzoeken dan zo onbetrouwbaar zijn. Ten eerste zijn ze gebaseerd op internet, waardoor de samenstelling van een representatief staal moeilijk is. De internetgroep heeft nog steeds iets atypisch. Dat valt wel op te lossen, maar dan zou je zelf je respondenten (dat zijn de mensen die antwoord geven) moeten kunnen detecteren en selecteren. Tot voor kort ging dat vrij goed met willekeurige telefoonnummers. Dat kan echter niet voor internetonderzoek, want daarbij moet de gebruiker steeds het initiatief nemen. Iemand die zelf initiatief neemt om deel te nemen kan per definitie niet atypisch zijn. Als ik via internetsites vraag wie wil deelnemen aan ‘het meest betrouwbare onderzoek over K3’ zullen twee groepen overtegenwoordigd zijn : de leden van de K3-fanclub en de moegetergde ouders die de liedjes van dit sympathieke drietal niet meer kunnen aanhoren. En zelfs als je een objectief internetstaal kan samenstellen, doet zich een nieuw probleem voor. De eerste week ben je als deelnemer nog objectief, maar door de regelmatige K3-vragen die je moet beantwoorden, krijg je gaandeweg meer interesse in Karen, Kathleen en Kristel. Je zal de boekjes meer lezen, over K3 praten met anderen en er naar luisteren. Van onbevangen respondent wordt men een overgeïnteresseerde observator.

Is het overigens toeval dat onbetrouwbare onderzoeken altijd uitpakken met hoge aantallen deelnemers? Iemand met basiskennis statistiek weet dat 30.000 ondervragingen niet per definitie betrouwbaarder zijn dan 1.000. Alles ligt aan de selectie, het aantal keuzemogelijkheden, en hoe groot de afwijking is. Ach, zullen de betrokken proffen zeggen, het is allemaal veel ingewikkelder, ze zullen schermen met geleerde termen en besluiten dat een ongestudeerde nitwit als Slangen dat niet kan begrijpen.

Daarom houden we het simpel en kijken we gewoon even naar de feiten: in dezelfde week was de NV-A in het ene onderzoek goed voor een duizelingwekkende 15% terwijl ze in een ander onderzoek worstelden met de kiesdrempel van 5%. In het ene onderzoek was Dedeckers populariteit in vrije val, in een ander onderzoek glorieerde hij in de top 5. Tegenspraak alom. En als je vraagt hoe dat komt krijg je opnieuw een geleerde uitleg die duidelijk moet maken dat zij het enig juiste onderzoek hebben, en dat die andere proffen en onderzoekers hun job niet kennen.

Bestaat er dan geen betrouwbaar onderzoek? Natuurlijk wel. En de reden waarom ik waardevol en waardeloos onderzoek uit elkaar kan houden is omdat ik het mij niet kan veroorloven om van verkeerde veronderstellingen uit geknutseld onderzoek te vertrekken. Dat is een stuk van mijn job. Maar nu ik er zo over nadenk; is het wat opiniepeilingen betreft ook niet de job van journalisten om ons betrouwbare informatie te bezorgen?