27 jaar aan wetenschappelijk werk in één paper
In totaal hebben 164 research teams het onderzoek uitgevoerd en waren er 34 peer-evaluators bij betrokken. De hoeveelheid onderzoek dat is uitgevoerd binnen het project komt neer op 27 jaar aan wetenschappelijk werk.
Toetsen van variatie in uitkomsten onderzoek
Het onderzoek richt zich op het toetsen van de variatie in uitkomsten van wetenschappelijk onderzoek. Kort door de bocht heeft de studie een dataset en een aantal hypotheses gedeeld met 164 research teams die deze hypotheses met de data getoetst hebben en 34 peer evaluators die peer-review op de aangeleverde resultaten hebben geleverd. De hypotheses waren vrij eenduidig, maar operationalisatie - hoe ga ik dit meten - en selectie van de data - hoe filter ik data - was aan de onderzoekers zelf.
Dezelfde dataset en dezelfde hypotheses
Feitelijk test de studie dus de variatie in uitkomsten die wetenschappers produceren, zelfs als zij gebruik maken van dezelfde dataset en dezelfde hypotheses… Die variatie heeft een vergelijkbare orde van grootte met die van statistische meetfouten (standard errors). Peer-review zorgt voor een substantiële daling in variatie van de onderzoeksresultaten (nonstandard errors halveren).
Keuze impact op resultaten
Bart Frijns: 'De hypotheses die we moesten toetsen hadden betrekking op de efficiëntie en transactiekosten van een financieel product, de EuroStoxx 50 index futures (verhandeld op de Duitse beurs Eurex), en was een dataset van in totaal 720 miljoen observaties (2,8GB aan data). Wat interessant was om te zien is hoe verschillende keuzes die je als onderzoeker maakt impact hebben op de resultaten die je rapporteert, en hoe (goede) peer-review de discussie focust op waarom je bepaalde keuzes maakt. Voor mij toont de studie niet alleen het belang aan van goede peer-review, maar ook van open en transparant werken (bijv. data en code delen), gedegen robuustheidsanalyses en replicatiestudies'.
Albert Menkveld
Kartrekker van het project is Albert Menkveld, hoogleraar Finance aan de Vrije Universiteit Amsterdam. Eerder maakte Menkveld samen met de Amerikaanse stand-up comedian Sammy Obeid een video over het onderzoek naar nonstandard errors. Bekijk de onderstaande video's.
Een vervolg op de eerste video die ze samen maakten is genomineerd voor Best Sketch Comedy Award op het Los Angeles Webseries Festival (LA Webfest) dat plaatsvindt van 2 tot 4 mei 2024. Bekijk ook deze video.
Menkveld geeft tijdens de LIRS-conferentie die in november 2024 plaatsvindt aan de Open Universiteit een presentatie over dit project.