Tot op dit moment wordt ‘peer review’ gepresenteerd als de gouden standaard in het wetenschappelijk discours. Recente ontwikkelingen in de klimaatwetenschap (zoals het Climategate-schandaal) hebben menigeen echter het idee gegeven dat peer review niet geheel zijn beloftes waar maakt. Peer review is wellicht een adequaat middel bij de wetenschap over het paargedrag van eekhoorns, maar als het gaat om de vraag of er wel of niet miljarden dollars gespendeerd dienen te worden aan de bestrijding van de opwarming van de aarde is een strengere maatstaf noodzakelijk.

Ik stel voor dat in het vervolg vijf niveaus van wetenschappelijke strengheid zullen worden onderscheiden. In het kort zijn dat:

Niveau 0 (nul): de grijze literatuur van actiegroepen zoals het Wereld Natuur Fonds.

Niveau 1: Het huidige peer review proces

Niveau 2: Dit noem ik ‘repliceerbaar’. Hieronder vallen de studies zoals die via het huidige peer review proces worden gepubliceerd, maar waarbij bovendien binnen een half jaar voldaan wordt aan de plicht om zowel de gebruikte software code als de data online beschikbaar te stellen zodat andere onderzoekers er mee aan de slag kunnen.

Niveau 3 is voor studies die een audit hebben doorstaan. Bij zo’n audit stel ik me voor dat een organisatie met autoriteit op het internet een soort competitie uitschrijft om fouten te vinden in een bepaalde studie (met een prijs voor degene die deze inderdaad vindt).

Niveau 4 omschrijf ik als ‘Kruisverhoor’. Sommige artikelen zijn zo belangrijk dat - via het internet - een soort van geding wordt georganiseerd (de oorspronkelijke auteur verwijst hier naar het Scopes Monkey Trial, een proces uit 1925 in de VSwaarbij een leraar werd aangeklaagd omdat hij les gaf over de evolutie. In de rechtbank vond hierover een kruisverhoor plaats zie hier). De auteurs van de betreffende publicatie zouden dan door wetenschappelijk gesteunde juristen aan een kruisverhoor dienen te worden onderworpen. Het zou vooral om mondelinge getuigenissen gaan, maar via het internet zouden mensen commentaar kunnen geven, en die commentaren zouden het onderzoeksteam tot verdere vragen kunnen inspireren.

Het voornaamste effect van dit idee zou zijn dat het publieke debat naar een nieuw niveau wordt getild. In plaats van dat men sceptici de mond kan snoeren met een opmerking als ‘dit artikel is peer reviewed’ zou men moeten zeggen: ‘deze wetenschap is pas op niveau 1’, en dan zou duidelijk zijn dat het debat zeker nog niet ten einde is.

Om dit idee tanden te geven hebben we de wet nodig. Laten we het de Wetenschappelijke Integriteits Wet noemen.

Vanaf dit punt beperk ik me tot de Verenigde Staten, ervan uitgaande dat de meeste mensen enigszins bekend zijn met de werkwijze van de overheid daar. Het belangrijkste van de Wetenschappelijke Integriteit Wet is het limiteren van uitgaven van de overheid (of de extra kosten die nieuwe overheidsmaatregelen voor burgers of bedrijfsleven opleveren) gebaseerd op het niveau waarop de wetenschap zich op dat moment bevindt. Een voorbeeld: er mag geen overheidsgeld uitgegeven worden als de kennis over een bepaald probleem zich nog maar op niveau 1 bevindt. Er mogen dan ook geen maatregelen genomen worden die burgers of bedrijfsleven extra geld kosten.
Bevindt de wetenschap zich op Niveau 2 dan is een uitgave van 10 miljoen en extra kosten voor burgers/bedrijfsleven van totaal 50 miljoen toegestaan. Het is evident: om triljoenen uit te mogen geven aan een bepaald probleem is wetenschap van Niveau 4 nodig.

Een ander aspect van de wet zou zijn dat onderzoekers die werken met geld van de overheid aan moeten geven welk niveau hun publicatie heeft. Teneinde de onderzoekers aan te moedigen hier toch vooral eerlijk over te zijn wordt er een boete systeem in het leven geroepen dat als volgt werkt. Als een onderzoeker aangeeft dat hij een studie heeft gepubliceerd op niveau 3 en vervolgens vindt een onafhankelijke onderzoeker daarin een rekenfout dan krijgt de vinder van de onderzoeksfinancier een premie. De hoogte hiervan zou gelijk liggen met de kosten van de oorspronkelijke studie. Uiteraard zou de financier hierna wel twee maal nadenken alvorens de brokken makende onderzoeker nog verder opdrachten te verstrekken.

De grote vraag is uiteindelijk hoe je vaststelt dat een bepaalde wetenschappelijke publicatie zich bevindt op niveau 4. Ik zie dat als volgt:

Iedere overheidsinstelling of wetgever die een maatregel voorstelt met wetenschappelijke aspecten moet 10 artikelen aanwijzen waarvan moet worden vastgesteld (in een kruisverhoor dus) of ze zich op niveau 4 bevinden. We mogen hopen dat ze de beste artikelen kiezen maar voor het geval ze dat niet doen is er een voorziening dat een minderheid van wetgevers 5 van de gekozen artikelen mag vervangen. Dat betekent dat als de meerderheid in een parlement van 100 zetels 10 artikelen selecteert, dan heeft een groep van 20 van hen het recht om er daarvan vijf te vervangen door andere.

De beoordeling hoeft niet al te lang te duren. Bedenk dat deze artikelen reeds een audit (niveau 3) hebben ondergaan en dat het rekenwerk dus op zijn minst verdedigbaar is. Ik zie eerder dat er mondeling en via het internet vragen gesteld zullen worden aan bepaalde wetenschappers over bepaalde beslissingen en interpretaties. Deze informatie zou dan allemaal op het web toegankelijk zijn en de basis vormen voor de wetgevers om uiteindelijk voor of tegen een bepaalde wetgeving te stemmen.

Een hypothetisch voorbeeld. Veronderstel dat een onderzoeker een exotische rekenmethode had gehanteerd die zorgde voor een specifieke vorm van curves in een grafiek, zelfs als hij ‘random’ data gebruikte. Als de onderzoeker dan zichzelf zou moeten verdedigen in een kruisverhoor dan zou je mogen verwachten dat het ondervragingsteam dit blootlegt en zodoende de wetgevers de noodzakelijke informatie verstrekt (als het artikel al door de daarvoor gedane audit was gekomen).

Sommige mensen, vooral opwarmingsgelovigen zien dit voorstel wellicht als duur en vertragend voor veel noodzakelijke acties. Ik ben overtuigd van het tegendeel.

Op het ogenblik worden miljarden gespendeerd om een steeds sceptischer publiek te overtuigen dat de wereld op het kookpunt staat en ondanks die miljarden komen de wettelijke maatregelen om de CO2uitstoot te beperken maar niet van de grond. De goedkoopste en de snelste manier om wel tot in die situatie te komen zou zijn door het onderwerpen van de tien beste studies op dit gebied aan een Niveau vier kruisverhoor.

Als de wetenschap hier ongeschonden uit komt ben ik overtuigd, en ik veronderstel dat dat geldt voor het merendeel van de sceptici. Dus laten we deze uitdaging naar de opwarmersgemeenschap sturen: noem ons uw tien beste studies en laten we de auteurs daarvan aan een kruisverhoor onderwerpen.

Ik zou drie dingen willen voorstellen voor de uitvoering hiervan:

Om te beginnen moet iemand de wetenschappelijke referenties van het IPCCchecken om te zien of ze niveau 1 of 2 hebben. Bedenk dat niveau 2 impliceert dat de data en de software code gearchiveerd zijn binnen een half jaar na de publicatie.. Misschien kan daar een project als Surfacestations.org voor opgezet worden (in dit project worden weerstations geaudit). Gegeven wat ik op de verschillende blogs lees zal weinig wetenschap het halen tot niveau 2. Donna LaFramboise deed al een vergelijkbare audit en vond dat 35% van de referenties in een van de IPCCrapporten grijze literatuur betrof - niveau nul dus. Stel je de veranderingen in het debat voor als wordt ontdekt dat de meeste wetenschap waar IPCC4 op is gebaseerd niveau nul of een heeft.

Ten tweede: verschuif het debat. Als je deze onderwerpen bespreekt met vrienden of in de media, leg de niveaus dan uit en vraag ze of ze het redelijk vinden dat een beleid dat miljarden kost kritisch wordt beschouwd.

En tenslotte: al die door Republikeinen gecontroleerde parlementen in de verschillende staten zouden een Wetenschappelijke Integriteitwet in hun staat moeten indienen Gegeven de machtsverhoudingen zou dat niet al te moeilijk moeten zijn op federaal niveau. Zo gauw enkele staten een dergelijke wet hanteren ligt er grote druk op de opwarmergemeenschap om met die 10 beste artikelen boven tafel te komen ten behoeve van het Niveau 4 kruisverhoor.

Overgenomen van Sean M O’Brien, the Air Vent (vertaling Theo Richel)