Referendum volgens experts 'degelijk onderzoek'
De vragen zouden gekleurd zijn, de methodologie ‘onverantwoord’ en de term ‘referendum’ zou ook nergens op slaan. De kritiek op de raadpleging aan de UvA was de afgelopen dagen niet mals, onder meer drie decanen hebben publiekelijk hun zorgen geuit over het referendum. Steekt het onderzoek echt zo slecht in elkaar? We vroegen het drie methodologie-experts. ‘Het is heel degelijk in elkaar gestoken.’
De term referendum is, zoals collegevoorzitter Geert ten Dam en commissievoorzitter Lisa Westerveld al eerder zeiden, inderdaad niet goed gekozen, zegt universitair hoofddocent statistiek Casper Albers van de Rijksuniversiteit Groningen. Hij noemt raadgevende referenda een contradictio in terminis. ‘Raadgeven is met inhoudelijke argumenten op tafel komen, niet poppetjes tellen,’ zegt Albers. Wat momenteel aan de UvA gaande is, is volgens hem eerder ‘een soort massa-interview’ dan een referendum. Albers: ‘Daarmee komt het een stuk dichter bij wat de bedoeling is van een raadgevend instrument.’
Selectie
Albers noemt de vragenlijst een ‘degelijk onderzoek’, maar heeft wel wat opmerkingen. Zo moet er bij het interpreteren van de resultaten rekening worden gehouden met het feit dat de commissie een selectie heeft gemaakt van wat zij de UvA'ers wil vragen, zegt Albers, en dus ook van wat zij niet wil vragen.
‘Stellingen als “Goede kennisontwikkeling kan alleen binnen een multiculturele omgeving,” of iets anders gebaseerd op het recente rapport van Gloria Wekker c.s. worden niet voorgelegd. De commissie heeft voor de UvA’ers al besloten dat dat blijkbaar niet van belang is. Daarmee neemt de commissie volgens Albers een sturende rol in, terwijl het concept referendum de suggestie wekt dat de medewerkers en studenten het allemaal mogen zeggen. ‘Dit is op zich niet een punt van kritiek richting de commissie; je zult altijd keuzes moeten maken. Het is wel iets om rekening mee te houden bij het interpreteren van de resultaten.’
Een ander kritiekpunt van Albers is dat er niet wordt aangegeven wat er met de uitslag wordt gedaan. ‘Als 80 procent voor één bepaald model kiest, betekent dat dan dat het wordt ingevoerd? En wat als bijvoorbeeld 80 procent van de studenten vóór model blauw is, maar het personeel massaal tegen dat model is? Er zijn ruim meer studenten dan medewerkers, dus winnen de studenten dan? Of wordt er rekening mee gehouden dat veel personeelsleden jarenlang bij de UvA betrokken zijn, terwijl de betrokkenheid van een student beperkt blijft tot zo'n 4 tot 6 jaar?’ vraagt Albers zich af.
Lange vragenlijst
Tenslotte vindt Albers de vragenlijst wel heel erg lang. ‘Een te korte vragenlijst is onwenselijk, want dan kan je niet genoeg verschillende nuances meten’ meent Albers. Hij vreest dat sommige deelnemers bij een te lange vragenlijst halverwege murw geslagen afhaken, hetgeen de resultaten zou vertekenen.
Dat niet alle deelnemers het einde vragenlijst zullen halen, vreest ook Lex Olivier. Hij is ombudsman bij MOA, de branchevereniging voor marktonderzoekers. Olivier maakt zich zorgen over het ‘hoge academische gehalte’ van de vragenlijst. ‘Het is nogal ingewikkeld allemaal, ’ meent Olivier. ‘Voor de Maagdenhuisbezetters is dit natuurlijk allemaal gesneden koek, maar ik denk niet dat de gemiddelde student erg vrolijk wordt van de teksten.’ Hij verwacht daarom van heb een hoge nonrespons.
Methodologie-expert Chris Visscher van de Radboud Universiteit Nijmegen is daarentegen ronduit enthousiast over de vragenlijst. ‘Ik heb in mijn leven menig onderzoek van kritiek voorzien, maar dit ziet er gewoon heel goed uit,’ meent Visscher, die sinds vandaag officieel met pensioen is. De vragenlijst kan weliswaar lang worden gevonden en de deelnemers moeten soms tekstjes lezen bij de vragen, ‘maar het gáát ook ergens over,’ zegt Visscher. ‘Mensen moeten de inhoud wel begrijpen voor ze hun mening kunnen geven.’ De vragen zijn volgens hem neutraal geformuleerd en hij kan ook verder geen blunders ontdekken. ‘Het is heel degelijk in elkaar gestoken,’ meent Visscher.
Rob Hagendijk, lid van de commissie Democratisering & Decentralisering wijst erop dat het referendum gaat over de bestuurlijke vormgeving van de universiteit ‘en niet - of slechts zijdelings - over inhoudelijke beleidsproblemen. De kritiek van Albers is op dit punt onterecht en het rapport van de commissie diversiteit is geen onderdeel van het referendum,’ zegt hij. De commissie heeft er bewust vanaf gezien om te bepalen wanneer er gesproken kan worden van instemming van de academische gemeenschap, meent Hagendijk. ‘Daar wordt begrijpelijkerwijs zeer verschillend over gedacht en wij hadden geen basis om daar gezaghebbend, maar eenzijdig een besluit over te nemen,’ zegt hij. Het bestuur, de medezeggenschap en de universitaire gemeenschap zullen moeten bepalen wat er met de uitkomsten gebeurt.
Over de lengte van de vragenlijst en de complexiteit van de materie maakt Hagendijk zich geen grote zorgen. ‘Ik denk dat dit meevalt. Dat blijkt ook uit de opkomst tot nu toe,’ zegt hij. Wie de discussie niet gevolgd heeft, zal veel tijd nodig hebben om de vragenlijst in te vullen, onderkent Hagendijk, onder meer door het lezen van de toelichtende teksten. ‘Maar ja, medezeggenschap op deze schaal - uniek! – over ingewikkelde materie vraagt om enige inspanning van de deelnemers,’ zegt Hagendijk.
Techniek
Enkele technische aspecten van het referendum oogsten ook kritiek. Zo stelde een ondersteunend medeweker van de UvA dat hij er in geslaagd was het referendum te hacken en eindeloos enquêtes in te vullen. Dat bleek niet waar, stelde Caroline van Teeffelen van marktonderzoeksbureau Ruigrok, dat belast is met de uitvoering van het referendum. ‘We hebben twee kanalen: een gesloten kanaal van mensen die een uitnodiging hebben gekregen en een open kanaal, dat we bijvoorbeeld hebben gebruikt bij het testen.’ Volgens Van Teeffelen stond dat open kanaal nog open en heeft de UvA-medewerker dat gevonden. De resultaten die daar binnen kwamen werden sowieso niet meegeteld, omdat ze niet gekoppeld waren aan een uitnodiging. ‘Voor de zekerheid hebben we dat open kanaal gesloten.’
Daarnaast uitte Trots op FGw (TOF), een medezeggenschapspartij aan de Faculteit der Geesteswetenschappen, in een brief ‘grote zorgen’ over de fraudegevoeligheid van het referendum. Zo vindt de partij het ‘zeer kwalijk’ dat studenten en medewerkers zelf moeten invullen aan welke faculteit ze zitten en daarover kunnen liegen.
Volgens commissievoorzitter Lisa Westerveld is het balanceren op een smal koord: ‘De ene partij is bang dat er teveel gegevens worden verstrekt en daardoor de privacy in het geding komt, terwijl we van de andere kant vragen krijgen over of er niet te weinig gegevens naar Ruigrok gaan om zo te kunnen controleren of deelnemers wel echt aan een bepaalde faculteit verbonden zijn.’
Toch zijn de zorgen volgens Westerveld niet helemaal terecht. ‘Ruigrok heeft van de UvA een lijst gekregen met kenmerken, zoals of iemand een student of medewerker is en aan welke faculteit iemand studeert. De reden dat er aan het einde van de vragenlijst nog een keer naar wordt gevraagd is een dubbelcheck. Studenten kunnen aangeven dat ze medewerker zijn, maar dat valt dan op bij Ruigrok. We gaan nadat alle resultaten binnen zijn met hen overleggen over hoe om te gaan met dit soort dingen.’
Stemkort!
TOF is ook bezorgd over het script Stemkort! waarmee deelnemers een deel van het referendum kunnen overslaan. Dat script is inmiddels op verzoek van de commissie en Ruigrok offline gehaald, omdat volgens de commissie de overgeslagen vragen van belang waren voor de resultaten en de methodiek van het onderzoek te veel werd aangetast door het script.
Stemmen die met behulp van StemKort! zijn er inmiddels door Ruigrok uitgefilterd en zullen ongeldig worden verklaard. Stemmers die Stemkort! hebben gebruikt hoeven echter niet bang te zijn dat hun stem verloren gaat. Westerveld: ‘Degenen die via Stemkort! de link hebben ingevuld –dat zijn er niet zoveel – krijgen een nieuwe stemoproep.’
