Sinds de opkomst van AI is er een vertienvoudiging van het aantal academische artikelen dat verwijzingen bevat naar publicaties die helemaal niet bestaan. 1 op de 275 biomedische artikelen bevat inmiddels zulke nepverwijzingen.
In 2023, toen taalmodellen zoals ChatGPT pas kort beschikbaar waren, kwamen foute verwijzingen voor in minder dan 1 op de 2.800 vakpublicaties. Dat laat een analyse van Finse, Amerikaanse en Israëlische onderzoekers deze week zien in medisch toptijdschrift The Lancet.
Elke academische publicatie bevat een bronnenlijst die de conclusies van een onderzoek inhoudelijk onderbouwt. Dat AI-‘hallucinaties’ inmiddels ook hiertoe doordringen, was nog niet eerder zo grootschalig onderzocht.
‘Dit laat zien hoe groot de verleidingen van AI zijn voor onderzoekers’, reageert desgevraagd Simon Lanacre van Cabells, een Amerikaans bedrijf dat academische tijdschriften analyseert. Hij noemt de resultaten zorgwekkend. Kloppen verwijzingen niet, dan is de betrouwbaarheid van een studie immers moeilijk te verifiëren.
‘Nieuwe vorm van bestaand probleem’
‘Dit is in feite een nieuwe vorm van een bestaand probleem, maar door de toename van AI wordt dit nu veel zichtbaarder’, zegt hoogleraar Daniel Lakens (TU Eindhoven). ‘Vooral in de rommelige staart van slechte tijdschriften zie je dit.’
Lees hier het volledige artikel.