Google-Extended: Wat het Doet en Moet je het Blokkeren?

Wat is Google-Extended?

Google-Extended is een op zichzelf staand producttoken dat door Google is aangekondigd op 28 september 2023 en waarmee webuitgevers gedetailleerde controle krijgen over of hun content mag worden gebruikt om de generatieve AI-modellen van Google te trainen en te verbeteren, specifiek Bard en Vertex AI. Dit nieuwe controlemechanisme betekent een aanzienlijke verschuiving in hoe Google omgaat met AI-transparantie en toestemming van uitgevers, waardoor websitebeheerders weloverwogen beslissingen kunnen nemen over de rol van hun content in AI-ontwikkeling. Door Google-Extended te implementeren via het robots.txt-bestand, kunnen uitgevers nu kiezen of zij willen bijdragen aan de verbetering van huidige en toekomstige generaties AI-modellen die de producten van Google aandrijven. De aankondiging kwam als reactie op toenemende zorgen binnen de webpublicatiegemeenschap over hoe hun content werd gebruikt voor AI-training zonder expliciete opt-in-mogelijkheden.

Hoe werkt Google-Extended

Google-Extended werkt als een machineleesbare controle via het industriestandaard robots.txt-bestand, waardoor het toegankelijk is voor uitgevers van ieder technisch niveau. Wanneer je de Google-Extended user-agent-richtlijn toevoegt aan je robots.txt-bestand, communiceer je in feite met de AI-trainingscrawlers van Google over welke content moet worden uitgesloten van hun indexeringsproces. De implementatie is eenvoudig en volgt dezelfde conventies die uitgevers al decennia gebruiken om zoekmachinecrawlers te beheren. Dit zijn de twee belangrijkste implementatiebenaderingen:

# Volledige blokkade van Google-Extended
User-agent: Google-Extended
Disallow: /

# Gedeeltelijke blokkade – alleen specifieke mappen
User-agent: Google-Extended
Disallow: /premium-content/
Disallow: /licensed-material/

Het eerste voorbeeld voorkomt dat Google-Extended toegang krijgt tot welke content dan ook op je site, terwijl het tweede voorbeeld laat zien hoe je selectief bepaalde mappen of soorten content kunt blokkeren. Deze flexibiliteit stelt uitgevers in staat een genuanceerde aanpak te hanteren, zodat AI-training op algemene content mogelijk blijft terwijl gevoelige of eigendomsgevoelige materialen worden beschermd.

Wat blokkeert Google-Extended precies

Het begrijpen van de reikwijdte van wat Google-Extended regelt is cruciaal om weloverwogen beslissingen te nemen over implementatie. De richtlijn voorkomt specifiek dat de AI-trainingscrawlers van Google toegang krijgen tot je content met het doel Bard, Vertex AI en toekomstige generatieve AI-producten te verbeteren. Het is echter belangrijk te beseffen dat Google-Extended specifieke beperkingen heeft en niet alle AI-gerelateerde toegang tot je content beheerst. Hier volgt een gedetailleerde vergelijking:

Dit onderscheid is essentieel: het blokkeren van Google-Extended voorkomt niet dat je content verschijnt in de zoekresultaten van Google of wordt gebruikt in AI Overviews. Het richt zich uitsluitend op het verzamelen van trainingsdata voor de generatieve AI-producten van Google en laat je zoekzichtbaarheid volledig intact.

Het cruciale verschil – AI Overviews vs Google-Extended

Een van de meest onbegrepen aspecten van Google-Extended is de relatie met AI Overviews, de functie van Google die AI-gegenereerde samenvattingen bovenaan de zoekresultaten toont. Veel uitgevers denken ten onrechte dat het blokkeren van Google-Extended voorkomt dat hun content in AI Overviews verschijnt, maar dat is fundamenteel onjuist. AI Overviews worden gegenereerd uit content die in de zoekresultaten van Google verschijnt, niet uit de aparte AI-trainingsdataverzameling die Google-Extended regelt. Dat betekent dat zelfs als je Google-Extended blokkeert, je content nog steeds kan worden geciteerd en samengevat in AI Overviews als deze goed scoort in de gewone zoekresultaten. Als je primair wilt voorkomen dat content verschijnt in AI Overviews, biedt Google een alternatief: de nosnippet meta tag, waarmee Google wordt verhinderd om fragmenten van je content te tonen in welke zoekresultaten dan ook, inclusief AI Overviews. Dit onderscheid begrijpen is essentieel om een effectieve strategie voor contentbescherming te ontwikkelen die aansluit bij je bedrijfsdoelstellingen.

Wie zou Google-Extended moeten blokkeren?

De beslissing om Google-Extended te blokkeren moet gebaseerd zijn op een zorgvuldige analyse van de waarde van je content en je bedrijfsmodel. Bepaalde typen uitgevers en contentmakers hebben bijzonder goede redenen om deze beperking in te stellen:

• Licentiehoudende Contentproviders: Uitgevers die content van derden met specifieke gebruiksbeperkingen hebben gelicenseerd, moeten Google-Extended blokkeren om te voldoen aan licentieovereenkomsten en mogelijke juridische aansprakelijkheid te voorkomen.

• Premium- en Abonnementscontent: Nieuwsorganisaties, onderzoeksplatformen en onderwijsinstellingen die exclusieve content via abonnementen gelde, profiteren ervan te voorkomen dat hun content wordt gebruikt om concurrerende AI-systemen te trainen.

• Content met veel intellectueel eigendom: Bedrijven die origineel onderzoek, eigen methodieken of specialistische kennis produceren, zouden moeten overwegen te blokkeren om hun concurrentievoordeel en de uniciteit van hun aanbod te beschermen.

• Juridisch en compliance-gevoelige sectoren: Financiële dienstverlening, zorg en juridische firma’s moeten mogelijk Google-Extended blokkeren om te voldoen aan branchevoorschriften en cliëntvertrouwelijkheid.

• Creatieve sectoren: Auteurs, fotografen, muzikanten en andere creatieve professionals die afhankelijk zijn van auteursrechtbescherming en eerlijke vergoeding hebben legitieme redenen om AI-training te beperken.

Wie gebruikt Google-Extended momenteel?

Het daadwerkelijke gebruik van Google-Extended laat interessante patronen zien over hoe verschillende uitgevers AI-trainingsrechten benaderen. Grote nieuwsorganisaties hebben een beschermende houding aangenomen: The New York Times, CNN en de BBC hebben allemaal Google-Extended-blokkades geïmplementeerd, vanuit bezorgdheid dat hun hoogwaardige journalistiek wordt gebruikt om concurrerende AI-systemen te trainen zonder compensatie. Deze besluiten sluiten aan bij bredere discussies in de sector over eerlijke vergoeding voor content die wordt gebruikt voor AI-training. Aan de andere kant hebben andere grote uitgevers ervoor gekozen Google-Extended niet te blokkeren, waaronder Wikipedia, CNET en Netflix, wat duidt op andere strategische prioriteiten of bedrijfsmodellen. Volgens gegevens van Reuters en branchetracking verschilt het gebruik per sector aanzienlijk, waarbij nieuwsuitgevers vaker blokkeren dan technologie-, entertainment- of referentiesites. Dit verschil weerspiegelt de uiteenlopende economische modellen en contentstrategieën tussen sectoren, waarbij sommige uitgevers AI-training zien als een kans voor grotere vindbaarheid en anderen het als een bedreiging voor hun kernactiviteiten.

Effect op zoekrangschikking en zichtbaarheid

Een cruciaal punt dat Google expliciet heeft bevestigd, is dat het blokkeren van Google-Extended absoluut geen invloed heeft op je zoekrangschikking of zichtbaarheid in Google Zoeken. Deze officiële verklaring van Google is fundamenteel om de werkelijke reikwijdte van dit controlemechanisme te begrijpen. De opname van je site in de zoekindex van Google, je posities voor belangrijke zoekwoorden en je organisch zoekverkeer blijven volledig onaangetast, ongeacht of je Google-Extended blokkeert. Deze scheiding is bewust: Google geeft aan dat de crawlers die verantwoordelijk zijn voor zoekindexering (Googlebot) onafhankelijk opereren van de AI-trainingscrawlers die Google-Extended aanstuurt. Uitgevers kunnen dus met een gerust hart Google-Extended-beperkingen instellen puur op basis van hun contentgebruik en bedrijfsstrategie, zonder bang te zijn voor negatieve SEO-gevolgen.

Het zakelijke beslissingskader

De beslissing om Google-Extended te blokkeren komt uiteindelijk neer op een fundamentele zakelijke vraag: Is je verdienmodel gebaseerd op het verzilveren van vertrouwen of van content? Uitgevers moeten analyseren of het toestaan van hun content om de AI-producten van Google te verbeteren strategische waarde oplevert via meer zichtbaarheid en verkeer, of dat het juist een bedreiging vormt voor hun kerninkomsten. Voor uitgevers van exclusieve, premium content—zoals abonnementsnieuwsorganisaties of onderzoeksplatformen—beschermt het blokkeren van Google-Extended hun vermogen om toegang tot unieke informatie te verkopen. Daarentegen kunnen uitgevers die afhankelijk zijn van advertentie-inkomsten en organisch verkeer juist profiteren van Google-Extended-toegang, omdat verbeterde AI-modellen mogelijk voor meer gekwalificeerd verkeer zorgen. Het speelveld wordt verder beïnvloed door de opkomst van Google Assistant en Gemini, die de toekomst vormen van hoe Google informatie aanbiedt aan gebruikers. Naarmate deze AI-interfaces geavanceerder en alomtegenwoordiger worden, wordt de vraag of jouw content deze systemen zou moeten aandrijven steeds strategischer. Uitgevers moeten niet alleen de huidige inkomstenimplicaties overwegen, maar ook hoe hun contentstrategie zich zal ontwikkelen naarmate AI-interfaces de belangrijkste manier worden waarop gebruikers informatie vinden.

Grounding en toekomstige AI-interfaces

Het concept grounding is essentieel om de toekomst van AI-gestuurde zoekopdrachten en informatieontdekking te begrijpen. Grounding verwijst naar het verankeren van AI-gegenereerde antwoorden aan specifieke, geciteerde bronnen van het web, zodat AI-uitvoer feitelijk juist en traceerbaar is. Google’s Deep Research-functie en andere geavanceerde AI-mogelijkheden zijn sterk afhankelijk van grounding om gebruikers betrouwbare, onderbouwde informatie te bieden. Naarmate AI-assistenten geavanceerder worden, wordt het kunnen citeren en verwijzen naar gezaghebbende bronnen steeds waardevoller—zowel voor gebruikers die betrouwbare informatie zoeken als voor uitgevers wier content de basis vormt voor deze antwoorden. De toekomst van AI-interfaces zal waarschijnlijk meer directe betrokkenheid bij uitgeverscontent met zich meebrengen, wat mogelijk nieuwe kansen voor zichtbaarheid en verkeer creëert. Uitgevers die zich hierop voorbereiden—of via strategische blokkades of door hun content te optimaliseren voor AI-verbruik—hebben een betere uitgangspositie om te floreren in een AI-gedreven informatielandschap.

Implementatie en monitoring

Het implementeren van Google-Extended-controles is eenvoudig, maar goede monitoring zorgt ervoor dat je richtlijnen worden nageleefd. Om de blokkade te implementeren, voeg simpelweg de Google-Extended-user-agent toe aan je robots.txt-bestand en publiceer dit op je webserver. Je kunt de implementatie controleren door je robots.txt-bestand rechtstreeks in een browser te bekijken (meestal op jouwsite.nl/robots.txt) om te bevestigen dat de richtlijn aanwezig en correct geformatteerd is. Google Search Console biedt beperkte inzage in Google-Extended-crawlen, hoewel dit minder gedetailleerd is dan de standaard Googlebot-rapportage. Om de effecten van het blokkeren van Google-Extended te monitoren, stel je vooraf basisstatistieken vast: houd je organisch zoekverkeer, posities voor belangrijke zoekwoorden en eventuele veranderingen in hoe je content verschijnt in zoekresultaten en AI Overviews bij. Na het implementeren van de blokkade monitor je deze statistieken in de tijd om te zorgen dat je zichtbaarheid in zoekresultaten gelijk blijft. Overweeg daarnaast meldingen in te stellen voor vermeldingen van je merk of content in AI-gegenereerde antwoorden, zodat je weet hoe je content in AI-contexten wordt gebruikt. Regelmatige controles van je robots.txt-bestand en periodieke evaluaties van je blokkadestrategie zorgen ervoor dat je richtlijnen blijven aansluiten op je veranderende bedrijfsdoelstellingen en concurrentielandschap.