Georgetown laat AI wetenschappelijke papers beoordelen — maar niet beslissen

Een publiek leaderboard van Georgetown University laat zien hoe een frontier-model recente wetenschappelijke papers beoordeelt voordat duidelijk is welke later worden geaccepteerd of gepubliceerd. Dat is relevant voor universiteiten en opleidingen: AI kan steeds meer lees- en feedbackwerk ondersteunen, maar een modelscore is geen peer review en mag geen zelfstandig oordeel over onderzoek of onderzoekers worden.

De AI Referee Paper Leaderboard werd volgens de bronpagina op 4 september 2026 bijgewerkt. De Georgetown University-initiatiefgroep AI, Analytics, and the Future of Work gebruikt Claude Opus 4.8 om finance- en economieworkingpapers tegen een vaste beoordelingsrubriek te leggen. De pagina noemt het experiment real-time: beoordelingen worden vastgelegd wanneer papers het SSRN FEN-netwerk binnenkomen.

Wat er nieuw is

De site rangschikt de honderd hoogst scorende papers en toont per paper een uitgebreider AI-rapport. Het model beoordeelt vijf dimensies: betekenis, originaliteit, juistheid, data en methodologie, en helderheid van de uiteenzetting. De scores lopen van 0 tot 100 en de rapporten bevatten ook sterke punten, zwakke punten, verbeterideeën en een inschatting van de eigen zekerheid van het model.

Het interessante ontwerp zit in de timing. De beoordeling wordt bevroren voordat latere conferentie- of publicatie-uitkomsten bekend zijn. Georgetown wil zo onderzoeken of een AI-score voorspellende informatie bevat, in plaats van achteraf te herkennen dat een paper al succesvol was. De initiatiefgroep zegt uitdrukkelijk niet dat AI menselijke reviewers, redacteuren of programmacommissies moet vervangen.

De beperking is minstens zo belangrijk als de ranglijst. De scores zijn experimentele signalen die afhangen van de modelversie, de tekstversie van het manuscript, de rubric en de uitvoering. Ze bewijzen niet dat een paper klopt, origineel is, belangrijk wordt of publicatie verdient. Een model kan bovendien een fout in een bewijs, berekening, bron, dataset of code missen, ook wanneer het de volledige tekst heeft gelezen.

Waarom dit onderwijs raakt

Voor studenten en onderzoekers maakt dit zichtbaar hoe AI-beoordeling eruitziet wanneer de criteria vooraf zijn vastgelegd. Een opleiding kan de leaderboard-rapporten gebruiken als casus in methodologie, wetenschapscommunicatie en AI-geletterdheid. Studenten kunnen dezelfde paper langs de rubric leggen, de modelkritiek controleren en onderzoeken welke opmerkingen overtuigend lijken maar niet uit de methode volgen.

Ook voor docenten en begeleiders ligt er een praktische kans. Een AI-review kan een eerste lijst met vragen opleveren over structuur, aannames, reproduceerbaarheid of uitleg. Daardoor kan schaarse menselijke feedbacktijd worden gebruikt voor de vragen waarbij vakkennis, context en academische verantwoordelijkheid het zwaarst wegen.

Dezelfde werkwijze kan helpen bij formatieve feedback op scripties, onderzoeksvoorstellen of profielwerkstukken, zolang studenten weten dat het om een extra lezer gaat. Laat een model niet de eindbeoordeling produceren. De leerwaarde zit juist in het vergelijken van feedback, het onderbouwen van afwijkende conclusies en het zelf reviseren van het werk.

Een score is geen beoordeling

Een ranglijst maakt een complexe tekst verleidelijk vergelijkbaar. Dat kan leiden tot scorejacht: studenten en onderzoekers gaan schrijven voor wat een model als origineel, helder of belangrijk herkent. Een model kan bovendien gepolijste, bekende of disciplinegebonden argumenten bevoordelen en interdisciplinair of ongewoon werk onderschatten.

De gekozen papers komen uit finance en economie. Een rubric die daar bruikbaar is, is niet automatisch geschikt voor een praktijkonderzoek in de lerarenopleiding, een historisch bronnenonderzoek, een technisch ontwerp of een scriptie over inclusie. Ook “correctheid” heeft in kwalitatief onderzoek een andere betekenis dan in een formeel bewijs of een econometrische analyse.

Privacy en vertrouwelijkheid zijn een tweede grens. Een ongepubliceerd manuscript, toets, onderzoeksdata, interviewtranscript of beoordelingsrapport hoort niet zonder toestemming en passende institutionele afspraken naar een externe AI-dienst. De openbare leaderboardcasus laat bovendien zien dat de gevolgen verder gaan dan feedback: een beoordeling wordt publiek, gekoppeld aan een paper en mogelijk later vergeleken met reputatie of publicatie-uitkomsten.

Wat opleidingen nu kunnen afspreken

• Gebruik AI-review alleen voor formatieve feedback of als tweede lezer; een model beslist niet over cijfers, toelating, afstuderen, promotie, financiering of publicatie.
• Laat studenten de rubric, de prompt, de modelversie en de beperkingen kennen. Noteer wanneer feedback is gebruikt en welke menselijke controle volgde.
• Voer geen vertrouwelijke manuscripten, leerling- of studentgegevens, toetsantwoorden of ongepubliceerde onderzoeksdata in zonder expliciete juridische en organisatorische toestemming.
• Beoordeel de feedback zelf: klopt de kritiek, is zij relevant voor het vak en is een afwijkend of nieuw perspectief ten onrechte als zwak aangemerkt?
• Test een AI-beoordelaar eerst met geanonimiseerde voorbeelden en vergelijk de uitkomsten tussen vakgebieden, taalregisters en typen onderzoek.
• Houd een menselijke route beschikbaar voor bezwaar, uitleg en herstel wanneer AI-feedback onjuist, bevooroordeeld of niet uitlegbaar is.

De kern

Het Georgetown-experiment maakt AI-beoordeling van wetenschappelijk werk concreet en toetsbaar: scores worden vooraf vastgelegd en later naast echte uitkomsten gelegd. Voor onderwijs is dat waardevol als oefening in bronkritiek, onderzoeksmethodologie en feedback. Maar de leaderboard is geen bewijs dat AI de peerreviewtaak kan overnemen. Gebruik zulke systemen als transparante, controleerbare hulpmiddelen — met menselijke expertise, vertrouwelijkheid en verantwoordelijkheid als grens.