Achter de schermen crawlen steeds meer AI-bots het internet af: geautomatiseerde programma's die websites inlezen om er hun modellen mee te trainen, om antwoorden voor een AI-assistent samen te stellen, of om namens een gebruiker iets op te zoeken. Voor de meeste ondernemers gebeurt dat volledig ongemerkt. Deze week zette Cloudflare — een groot bedrijf dat het internetverkeer van een aanzienlijk deel van het web afhandelt — daar iets tegenover. In een actie die het 'Content Independence Day' noemt, geeft het alle klanten voortaan duidelijke knoppen om te bepalen welke van die bots hun website nog mogen bezoeken.
De kern van het plan is een onderscheid dat tot nu toe vervaagde. Cloudflare wil dat AI-bedrijven hun bots eerlijk indelen in drie soorten: bots die content ophalen voor een zoekmachine, bots die materiaal verzamelen om AI-modellen mee te trainen, en bots die namens een gebruiker een concrete taak uitvoeren. Het bedrijf heeft aangekondigd dat het vanaf 15 september scherpere standaarden gaat hanteren: bots die niet duidelijk maken waarvoor ze de content gebruiken, kunnen worden geweerd — met name op pagina's die advertenties tonen. Zoekbots blijven in de basis welkom, omdat die verkeer terug kunnen sturen naar je site.
De achterliggende gedachte is een oud pijnpunt. Bij een gewone zoekmachine was er een soort ruil: de zoekmachine mocht je pagina lezen en stuurde in ruil bezoekers terug. Bij AI-systemen die jouw content verwerken en er direct een kant-en-klaar antwoord van maken, valt dat tegenbezoek vaak weg. De bezoeker krijgt het antwoord, maar komt niet meer bij jou langs. Cloudflare experimenteert daarom ook met een systeem waarbij AI-bots moeten betalen om content te mogen inlezen, al zit dat nog in een besloten testfase en is het voor de gemiddelde ondernemer nog niet aan de orde.
Voor het MKB is dit geen kwestie waar je vandaag in paniek van hoeft te raken, maar het raakt wel een reële vraag: wil je dat jouw teksten, foto's en productinformatie zomaar worden opgeslokt door AI-systemen die er niets voor teruggeven? Voor een webshop met unieke productbeschrijvingen of een bureau dat leeft van zijn kennisartikelen ligt dat antwoord misschien anders dan voor een lokale dienstverlener die juist blij is met elke vindbaarheid. Het goede nieuws is dat het geen alles-of-niets-keuze meer is: je kunt trainingsbots weren en tegelijk gewoon vindbaar blijven in de zoekresultaten.
Tegelijk hoort er nuance bij. Steeds meer mensen beginnen hun zoektocht niet in Google maar in een AI-assistent. Wie álle AI-bots botweg buitensluit, loopt het risico onzichtbaar te worden op precies die plekken waar klanten straks naar informatie zoeken. Het gaat dus niet om zo hard mogelijk de deur dichtgooien, maar om een bewuste keuze: welk soort AI-verkeer past bij jouw bedrijf, en welk niet? Dat is dezelfde afweging die je eerder maakte bij zoekmachines en sociale media — alleen nu voor een nieuwe generatie bezoekers die geen mens is.
Praktisch is het belangrijkste dat deze knoppen simpelweg bestaan, en dat de meeste ondernemers ze nog nooit hebben aangeraakt. Draait jouw website via Cloudflare of een vergelijkbare dienst, dan is het de moeite waard om eens te laten uitzoeken welke instellingen er nu voor je klaarstaan en wat de standaardkeuze straks wordt. Loopt je site daar niet via, dan zijn er andere manieren om aan te geven wat AI-bots wel en niet mogen. Wil je meedenken over wat een verstandige keuze is voor jouw content — beschermen, openstellen, of iets ertussenin? Wij denken graag met je mee.