Correlatiestudies: Wat drijft AI-citaties nu echt

Het netwerkeffect – Auteurcentraliteit als citatiedrijver

De gangbare overtuiging in academische publicaties is dat baanbrekend onderzoek voor zichzelf spreekt—dat nieuwe ideeën en rigoureuze methodologieën vanzelf citaties aantrekken, ongeacht wie ze publiceert. Een uitgebreide analyse van 17.942 papers uit NeurIPS, ICML en ICLR over twee decennia (2005-2024) laat echter een genuanceerder beeld zien: netwerkcentraliteit van de auteur is een significante voorspeller van citatie-impact, vaak even belangrijk als de inhoud van het onderzoek zelf. Deze bevinding daagt het meritocratische ideaal van de academische wereld uit en suggereert dat de sociale architectuur van de onderzoeksgemeenschap meetbaar bepaalt welke artikelen aandacht krijgen.

Het onderzoek toont aan dat closeness centrality en HCTCD (Hirsch-index-gebaseerde Centraliteit voor Temporele Citatie Dynamiek) de sterkste voorspellers zijn van citatieaantallen, met correlaties van respectievelijk 0,389 en 0,397. Deze metriek meten niet alleen hoeveel samenwerkingspartners een auteur heeft, maar vooral hoe strategisch gepositioneerd deze is binnen het onderzoeksnetwerk—feitelijk een maat voor invloed en toegankelijkheid. Opmerkelijk is dat deze netwerkgebaseerde voorspellers vergelijkbaar presteren met traditionele, op inhoud gebaseerde metriek, wat suggereert dat wie publiceert bijna even belangrijk is als wat er wordt gepubliceerd. De implicatie is duidelijk: onderzoekers die goed ingebed zijn in netwerken profiteren van meer zichtbaarheid, makkelijker samenwerken en grotere kans dat hun werk wordt ontdekt en geciteerd.

Dit netwerkeffect is geen statistisch artefact, maar weerspiegelt echte mechanismen van academische invloed. Wanneer een onderzoeker een centrale positie inneemt in het samenwerkingsnetwerk van zijn of haar vakgebied, bereikt zijn of haar werk een breder publiek via meerdere paden—directe citaties van samenwerkingspartners, indirecte citaties via uitgebreide netwerken en verhoogde zichtbaarheid op congressen en seminars. De neiging van de onderzoeksgemeenschap om werk van gevestigde, goed verbonden onderzoekers te citeren, creëert een zichzelf versterkende cyclus waarin netwerkpositie de impact van onderzoek vergroot. Dit dynamiek begrijpen is essentieel om te doorgronden hoe citaties werkelijk in AI-onderzoek ontstaan—en overstijgt eenvoudige aannames over erkenning op basis van verdienste.

Voorbij de inhoud – Wat onderzoek écht toont

Het overtuigendste bewijs voor de impact van netwerkcentraliteit komt naar voren bij het vergelijken van citatievoorspellingsmodellen met en zonder centraliteitsmetriek. De volgende tabel laat zien hoe aanzienlijk deze netwerkgebaseerde kenmerken onze voorspellende kracht vergroten:

Deze cijfers vertellen een opvallend verhaal: het toevoegen van auteurcentraliteit verbetert de nauwkeurigheid van citatievoorspellingen met 23-38%, afhankelijk van de gebruikte aggregatiemethode. De data laat zien dat centraliteitsmetriek niet slechts marginaal nuttig zijn—ze zijn transformerend voor het begrijpen van citatiedynamiek. Wanneer onderzoekers geen centraliteitsinformatie hebben, verliezen voorspellingsmodellen veel verklarende kracht. Dit suggereert dat netwerkpositie iets fundamenteels vangt over hoe onderzoek zich verspreidt in de academische gemeenschap.

De vergelijking laat ook een belangrijk methodologisch inzicht zien: teamniveau-aggregatie van centraliteit presteert beter dan individuele auteurmetriek, met een correlatie van 0,401 ten opzichte van 0,389 voor individuele closeness centrality. Dit suggereert dat artikelen profiteren van meerdere goed verbonden auteurs, en dat de collectieve netwerksterkte van een team belangrijker is dan de positie van één enkele auteur. Het onderzoek illustreert dat citatie-impact niet alleen wordt bepaald door een “ster”-auteur, maar door het gezamenlijke netwerkvoordeel van het hele auteursteam. Dit heeft grote implicaties voor de samenstelling van onderzoeksteams en de beoordeling van onderzoekers door instellingen.

Het teamvoordeel – Collectieve netwerkeffecten

De kracht van samenwerkingsnetwerken wordt nog duidelijker als we kijken naar hoe verschillende teamcomposities de citatie-uitkomsten beïnvloeden. Het onderzoek onthult een aantal essentiële inzichten over teamdynamiek:

• Gewogen optelling van auteurcentraliteit bereikt een correlatie van 0,394, beter dan simpele gemiddelden, wat aantoont dat niet alle auteurs evenveel bijdragen aan het netwerkvoordeel van een artikel
• Het toevoegen van co-auteurs met hoge centraliteit (50% hoger dan de eerste auteur) verhoogt het aantal citaties aanzienlijk, met een multiplicatief in plaats van additief effect op de impact van onderzoek
• Teamniveau-aggregatie bereikt een correlatie van 0,401, het hoogste van alle geteste metriek, en bevestigt dat collectieve netwerksterkte de dominante factor is
• Artikelen met gemengde teams (combinatie van ervaren en opkomende onderzoekers) vertonen betere citatietrajecten dan homogene teams van alleen hoge of juist alleen lage centraliteit

Het verschil tussen gewogen en simpel gemiddeld verdient bijzondere aandacht. Gewogen optelling erkent dat senior, goed verbonden onderzoekers onevenredig bijdragen aan de zichtbaarheid en impact van een artikel, terwijl simpel middelen alle auteurs als gelijk beschouwt. Deze bevinding suggereert dat de centraliteit van de eerste auteur meespeelt, maar dat het toevoegen van een goed verbonden co-auteur een synergetisch effect oplevert dat verder gaat dan wat ze afzonderlijk zouden bereiken. Uit het onderzoek blijkt dat strategische teamcompositie—het bewust koppelen van opkomende onderzoekers aan gevestigde netwerkhubs—een praktisch instrument is om citatie-impact te vergroten.

Deze analyse op teamniveau verklaart ook waarom sommige onderzoeksgroepen consequent veelgeciteerd werk produceren. Het is niet alleen dat ze beter onderzoek doen (al doen ze dat mogelijk ook), maar vooral dat ze teams samenstellen waarbij netwerkcentraliteit wordt geoptimaliseerd. Wanneer een goed verbonden senior onderzoeker samenwerkt met talentvolle junior onderzoekers, profiteren de artikelen van zowel het netwerk van de senior als de frisse inzichten van de junior. De data suggereren dat instellingen en onderzoeksgroepen netwerkcompositie als een strategisch voordeel moeten zien, en teams bewust moeten samenstellen die netwerkcentraliteit combineren met diverse expertise en nieuw talent.

Temporele dynamiek – Het lange termijn spel

Een van de meest opvallende bevindingen uit de dataset van twintig jaar is hoe de voorspellende kracht van netwerkcentraliteit verandert over de tijd. Langetermijncentraliteit, gemeten over 16 jaar, laat een 24,3% sterkere correlatie met citaties zien dan kortetermijncentraliteit over 1 jaar, een verschil dat fundamenteel verandert hoe we naar auteurinvloed moeten kijken. Dit temporele patroon suggereert dat niet de momentopname van de netwerkpositie telt, maar de duurzame, gevestigde rol van een onderzoeker in de gemeenschap.

De implicatie is groot: netwerkcentraliteit werkt als een langetermijnvermogen dat waarde opbouwt over jaren en decennia, niet als een kortstondig voordeel dat jaarlijks wisselt met samenwerkingen. Een onderzoeker die gedurende 16 jaar consistent samenwerkt en actief is in netwerken, ontwikkelt een citatievoordeel dat veel groter is dan zijn of haar netwerkpositie in slechts één jaar zou voorspellen. Dit verklaart waarom gevestigde onderzoekers citaties blijven ontvangen, zelfs als ze tijdelijk niet publiceren—hun historische netwerkcentraliteit blijft bepalen hoe hun werk wordt ontdekt en geciteerd.

Deze temporele dynamiek laat ook zien waarom opkomende onderzoekers het moeilijker hebben om citaties te vergaren. Zelfs als ze uitzonderlijk werk leveren, missen ze de opgebouwde centraliteit van gevestigde onderzoekers. Het verschil van 24,3% tussen lange en korte termijn centraliteit suggereert dat citatie-impact opbouwen geduld en aanhoudende netwerkdeelname vereist, niet alleen het publiceren van baanbrekende artikelen. Wie zijn citatie-impact wil maximaliseren, moet netwerkopbouw als een meerjarige investering zien: gericht samenwerken en zichtbaarheid behouden in de gemeenschap over langere tijd.

Citatie vs. review scores – Verschillende metriek, verschillende verhalen

Een cruciale bevinding die de gangbare evaluatiepraktijken uitdaagt, is de zwakke correlatie tussen peer review scores en uiteindelijke citatieaantallen. Het onderzoek laat zien dat de correlatie tussen review scores en citaties slechts 0,193 is, een verrassend laag cijfer dat aangeeft dat beoordelaars en de bredere gemeenschap verschillende criteria hanteren voor onderzoekswaarde. Dit verschil heeft grote implicaties voor de beoordeling van impact en verdienste.

De data toont aan dat citaties veel beter te voorspellen zijn dan review scores, met voorspellingsmodellen voor citaties die veel hogere nauwkeurigheid bereiken dan modellen voor peer reviews. Dit suggereert dat citaties meer systematische, voorspelbare patronen volgen (sterk beïnvloed door netwerkcentraliteit), terwijl review scores subjectievere, variabele oordelen van individuele beoordelaars weerspiegelen. Als onderzoekers hoge reviews krijgen maar weinig citaties, of andersom, betekent dat niet per se dat een van beide beoordelingen “fout” is—ze meten gewoon andere verschijnselen.

De zwakke correlatie van 0,193 tussen reviews en citaties suggereert ook dat peer reviewers niet optimaal gepositioneerd zijn om langetermijnimpact te voorspellen. Zij beoordelen op methodologische degelijkheid, originaliteit en directe relevantie, maar kunnen niet inschatten hoe een idee zal resoneren met de bredere gemeenschap of hoe het netwerk van de auteurs het bereik vergroot. Dit doet niets af aan de waarde van peer review voor kwaliteitscontrole, maar suggereert wel dat reviewscores geen proxy mogen zijn voor citatie-impact of impact op de lange termijn.

Bovendien laat het onderzoek zien dat citatievoorspellingsmodellen beter presteren dan LLM-gebaseerde reviewers bij het voorspellen welke artikelen veel geciteerd zullen worden. Systematische analyse van netwerkpatronen en historische data geeft dus betere voorspellende kracht dan alleen deskundig oordeel. Dit betekent niet dat menselijke beoordelaars overbodig zijn, maar wel dat citatie-impact patronen volgt die systematisch te modelleren en te voorspellen zijn, los van subjectieve kwaliteitsbeoordeling. De implicatie is dat instellingen die uitsluitend op peer review scores vertrouwen, cruciale informatie missen over welk werk het vakgebied uiteindelijk zal beïnvloeden.

Praktische implicaties voor onderzoeksevaluatie

De onderzoeksresultaten over netwerkcentraliteit van auteurs en citatiedynamiek hebben directe, praktische gevolgen voor hoe instellingen, financiers en onderzoekers onderzoeksevaluatie en loopbaanontwikkeling zouden moeten benaderen. Begrijpen wat citaties werkelijk drijft, maakt strategischere keuzes mogelijk op verschillende niveaus.

Belangrijkste aanbevelingen op basis van het onderzoek:

1. Erken netwerkcentraliteit als legitieme factor voor onderzoeksimpact, en zie het niet als een stoorfactor die weggefilterd moet worden. Instellingen moeten erkennen dat goed verbonden onderzoekers structurele voordelen hebben bij het verzamelen van citaties, en beoordelingssystemen moeten daar rekening mee houden.

2. Stel teams bewust samen die netwerkcentraliteit combineren met diverse expertise, want het toevoegen van co-auteurs met hoge centraliteit levert een multiplicatief voordeel voor citatie-impact. Zie netwerkcompositie als een strategisch bezit, gelijkwaardig aan methodologische expertise.

3. Investeer in langdurige netwerkopbouw in plaats van korte termijn zichtbaarheid, aangezien centraliteit over 16 jaar een 24,3% sterkere correlatie toont dan over 1 jaar. Onderzoekers moeten langdurig samenwerken en hun betrokkenheid bij de gemeenschap behouden.

4. Vul peer review scores aan met citatievoorspellingsmodellen bij het evalueren van onderzoeksimpact, want de correlatie van 0,193 tussen reviews en citaties toont aan dat deze metriek verschillende aspecten belichten. Gebruik meerdere beoordelingsmethoden, niet alleen het oordeel van peers.

5. Erken het verschil tussen kwaliteit van onderzoek en citatie-impact, want hoewel ze gerelateerd zijn, zijn ze niet identiek. Artikelen met hoge reviews krijgen niet altijd veel citaties, en omgekeerd, afhankelijk van netwerkpositie en andere factoren.

De belangrijkste conclusie is dat citatie-impact deels voorspelbaar is en deels wordt gedreven door structurele factoren (netwerkcentraliteit van de auteur), en dus niet puur op verdienste berust. Dit inzicht maakt meer realistische en geavanceerde benaderingen van onderzoeksevaluatie en loopbaanplanning mogelijk.

Het AmICited-voordeel – AI-citaties monitoren

Begrijpen wat AI-citaties werkelijk drijft wordt steeds waardevoller nu organisaties willen volgen hoe hun onderzoek, producten en innovaties worden besproken en geciteerd binnen de AI-onderzoeksgemeenschap. AmICited biedt een systematische aanpak voor het volgen van AI-mentions en citaties, zodat merken en onderzoekers niet alleen begrijpen hoe vaak hun werk wordt geciteerd, maar ook waarom en door wie.

Uit het onderzoek blijkt dat citatie-impact afhangt van meerdere factoren—auteurcentraliteit, teamcompositie, temporele dynamiek en inhoudskwaliteit—die op complexe wijze samenhangen. Met de monitoringmogelijkheden van AmICited krijgen organisaties inzicht in deze dynamiek door citatiepatronen te volgen, te zien welke artikelen aandacht krijgen, en de netwerkeffecten te onthullen die impact vergroten. Door te analyseren wie jouw werk citeert, hoe citaties zich over tijd ontwikkelen, en hoe jouw onderzoek zich verbindt met bredere netwerken, krijgen organisaties inzicht in hun daadwerkelijke invloed in de AI-gemeenschap.

Voor onderzoeksinstellingen betekent dit dat ze verder moeten kijken dan alleen het aantal citaties naar de kwaliteit en ontwikkeling van citaties—onderkennen dat citaties van goed verbonden onderzoekers meer gewicht hebben dan die van geïsoleerde onderzoekers, en dat aanhoudende groei over jaren dieper impact betekent dan snelle pieken. Voor bedrijven die AI-producten ontwikkelen, helpt inzicht in citatiedynamiek bij het bepalen welke onderwerpen momentum krijgen, welke onderzoekers invloedrijk worden, en hoe innovaties worden geadopteerd en uitgebouwd door de gemeenschap.

De uiteindelijke waarde van inzicht in citatiedrijvers is strategische helderheid: organisaties kunnen beter onderbouwde keuzes maken over onderzoeksinvesteringen, samenwerkingsprioriteiten en communicatiestrategie op basis van bewijs over wat onderzoeksimpact werkelijk beïnvloedt. In plaats van te veronderstellen dat goed onderzoek vanzelf citaties oplevert, kunnen organisaties strategisch netwerken opbouwen, teams samenstellen en in contact treden met invloedrijke onderzoekers om hun impact te vergroten. In een steeds competitievere AI-onderzoekswereld is deze op bewijs gebaseerde aanpak voor het begrijpen en monitoren van citaties een belangrijk voordeel.