Een rode kaart van Keynes

Harry van Dalen, de Volkskrant 27 mei 1995
 
 

Harry Markowitz, die de Nobelprijs voor economie kreeg voor zijn wetenschappelijk werk over optimale beleggingsstrategieën, heeft in het begin van zijn carrière heel wat moeten slikken van collega-economen over zijn destijds onconventionele theorie. De meest tot de verbeelding sprekende anecdote is wellicht die over zijn promotie tot doctor in de economie aan de Universiteit van Chicago. Op de dag van de promotie kwam hij vol zelfvertrouwen bij de universiteit aan en sprak to zichzelf: 'Ik ken dit stuk van haver tot gort. Zelfs Milton Friedman kan mij geen problemen geven.' Friedman was een van de leden van de promotiecommissie en berucht om zijn vlijmscherpe tong. 

De promotieplechtigheid was nog maar een paar minuten oud of Friedman begon zich te mengen in het vragenvuur en zei tot Markowitz: 'Harry, ik zie niets verkeerds met de wiskunde die je gebruikt, maar ik heb een probleem. Dit is niet een dissertatie in de economie en we kunnen je geen doctoraat in de economie verlenen voor iets wat geen economie is. Het is geen wiskunde, het is geen economie, het is zelfs geen bedrijfseconomie !' 

Anderhalf uur lang werd Markowitz met dit argument om de oren geslagen om later toch te horen dat hij de titel 'doctor' mocht dragen. Nu Markowitz de status van Nobelprijswinnaar heeft bereikt, kan men hierom smakelijk lachen. Het geeft echter wel aan dat wetenschappers die een origineel idee hebben een olifantenhuid moeten hebben om de ingeslagen onorthodoxe weg te vervolgen. Het systeem van beoordeling door deskundige collega's, de zogenaamde peer review, wordt veel toegepast bij tijdschriften en onderwijsbeoordelingen. Het systeem wordt vooral geroemd om zijn onafhankelijkheid. 

Er wordt niet gekeken naar kille cijfers, emoties of vriendjespolitiek spelen hoegenaamd geen rol. Nee, de Deskundige gedraagt zich als het orakel van Delphi: wat hij zegt, is de Waarheid. In werkelijkheid zijn de deskundige collega's veelal allerminst deskundig en vaak zelfs ongeïnteresseerd. Zo gek is dat niet, want peer reviews vinden plaats op vrijwillige basis en zijn bijna altijd onbetaald. Voor wat hoort wat, is de gedachtengang achter deze altruïstische werkwijze: de recensent hoopt dat zijn collega's zich hij gelegenheid ook over zijn eigen werk zullen buigen. 

Dat de praktijk van het evalueren van publicaties totaal anders is dan de ideale theorie bewijst het boek Rejected van George Shepherd. Deze meester in de rechten, die later aan Stanford University econoom werd, heeft iets gedaan wat wetenschappers eigenlijk allemaal wel willen doen: lekker roddelen over de referenten - de academische scheidrechters - die het beslissende oordeel uitspreken over onderzoek. 

Hij nodigde 120 topeconomen (onder wie alle levende Nobelprijswinnaars) uit om te schrijven over hun ervaringen met het publiceren van hun onderzoek. Het resultaat is verbluffend. Artikelen die later tot de kern van de economische wetenschap zijn gaan behoren, konden rekenen op onbeschofte beoordelingsrapporten, of werden een prooi van plagiaat en territoriumdrift. 

De bioloog Robert May, die bekendheid verwierf met zijn chaostheorie, had veel moeite om door te dringen tot het invloedrijke economenblad Econometrica. In een zeer kwade brief beklaagde hij zich over de onbehoorlijke behandeling van zijn werk en de correspondentie met de redacteur die wel 'getypt leek op WC-papier door een chimpansee'. 

De mooiste zin in het boek komt echter uit een brrief van de eigenzinnige Kenneth Boulding. Toen hij een fellowship aanvroeg in Oxford kwam hij in botsing met de vooroordelen van het Engelse systeem van destijds. Boulding is de zoon van een loodgieter uit Liverpool en alle aanbevelingsbrieven die hij toen te zien kreeg bevatten de uitspraak: 'This is a bright boy, but he is not one of us'. 

Om de klaagzangen van auteurs enigszins in balans te brengen, krijgen vier hoofdredacteuren van economische toptijdschriften de kans hun wederwaardigheden [sic] met auteurs op papier te zetten. Als je deze redacteuren mag geloven, vallen de negatieve ervaringen van auteurs onder de noemer: 'Waar gehakt wordt, vallen spaanders'. 

Het is de vraag of het systeem van beoordelen door je collega's werkelijk zo'n goed idee is. Als je zelf in het onderzoek zit, geef je natuurlijk af op die domme referees, die weer niks van jouw baanbrekende en briljante werk hebben begrepen. Het alternatief is echter om het lot van je onderzoek in handen te geven van een almachtige redacteur waarmee je jezelf overgeeft aan de grillen van die ene man of vrouw. 

John Maynard Keynes was bijvoorbeeld zo'n redacteur. Drieëndertig jaar lang heeft hij het toonaangevende Economic Journal geredigeerd op een manier die tegenwoordig echt niet meer kan. Als hij een artikel slecht vond, gaf hij de referent enige weinig subtiele hints over de richting die diens oordeel zou moeten krijgen, meestal met een bijgaande conceptbrief waarin hij op voorhand het artikel al had verworpen. Indien de referent hieraan niet wilde meewerken, zocht Keynes net zo lang tot hij een meegaander referent had gevonden. 

Met deze gedachte in het achterhoofd is het referentensysteem nog niet zo slecht. Immers de verworpen artikelen die Shepherd heeft verzameld, zijn uiteindelijk toch tot het koninkrijk van de fundamentele ideeën doorgedrongen. En dat is wat telt. 
 

Boekbespreking van: George B. Shepherd, "Rejected. Leading economists ponder the publication process", Thomas Horton, ISBN 0 913878 53 7 

De auteur is verbonden aan het Onderzoekcentrum Financieel Economisch Beleid van de Erasmus Universiteit Rotterdam 
 



Commentaar Cool, 26 februari 1998: 

Harry's laatste conclusie is een beetje alsof het wel acceptabel is dat Zeeland overstroomd is bij de watersnood van 1953, want als gevolg daarvan hebben we toch maar de Deltawerken… Misschien is dat ook de visie van velen die de ramp overleefd hebben, en die geen naasten verloren hebben. 

En wat zijn de kosten voor de samenleving ? Er zijn ideeën die niet doordringen, er zijn ideeën de met vertraging doordringen (die later door anderen worden herontdekt). Zou er geen maatschappelijke winst te boeken zijn bij een efficiënter en sneller systeem ? 

In het algemeen zou ik zeggen: publiceer altijd de samenvatting van wat iemand maakt, zodat anderen kunnen schrijven dat ze een kopie willen. En zijn er voldoende belangstellenden, dan loont het drukken. 

Tegenwoordig met de electronische media kan het nog eenvoudiger. Peer review wordt dan: het geven van aanbevelingen. Anderen kunnen een artikel aanbevelen, en het aantal aanbevelingen kan worden bijgehouden met een teller. En dergelijke… Ik geef toe, dit klinkt nog te simpel, want er zijn allerlei haken en ogen. Maar mijn bedoeling is: te adviseren dat er toch wordt nagedacht over alternatieve manieren, en dat de kosten en opbrengsten beter bewaard worden dan momenteel. Zo'n boek van Shepherd is een aardige start, maar pak het nu eens aan. 

Voor ik het vergeet: zijn er ook ervaringen elders met het breidelen van wetenschap door het instituut waaraan men verbonden is, of is dat een unieke ervaring ? Ik weet wel dat de latere Nobelprijswinnaar Lawrence Klein voor Senator McCarthy moest vluchten naar Engeland, maar ja, telt dat ? 

Ten leste: ikzelf heb geen olifantenhuid. Onheus behandeld worden doet pijn, ook na jaren houdt de pijn aan. Maar, in de onderhavige casus heb ik moreel stamina, en ook de intelligentie die de redelijke verwachting geeft dat ik wel gelijk krijgt. Immers, in mijn analyse blijft de werkloosheid voortduren, tenzij mijn analyse aandacht krijgt, en menigeen zal dat op den duur gaan inzien. En immers, zolang het CPB niet opgewaardeerd is tot een Economisch Hof, zal de huidige schimmige taak en plaats discussie blijven uitlokken.