Bots, crawlers en lezers: wie bezoekt jouw website eigenlijk?
Je analytics laten je menselijke bezoekers zien. Maar wie is er nog meer? En wat doe je ermee? Een praktisch overzicht van wat er op je site rondloopt, en waarom het ertoe doet.
Mijn analytics lieten een goede week zien. Totdat ik de ruwe logs erbij pakte en begon te tellen.
De helft van mijn bezoekers was geen mens.
Dat klinkt alarmerend. Maar het is gewoon de werkelijkheid van elke website in 2026. En wie dat weet, staat er anders in dan wie het niet weet.
Twee soorten verkeer
Je website trekt bezoekers die lezen. En bezoekers die niet lezen: zoekmachines die indexeren, AI-systemen die content ophalen voor hun kennisbank, beveiligingsscanners die zoeken naar kwetsbaarheden, en geautomatiseerde tools die jij niet hebt uitgenodigd.
Al dat verkeer komt samen in een getal in je dashboard. Plausible, Google Analytics, wat je ook gebruikt: het telt alles op. Zolang je niet verder kijkt, zie je een vertekend beeld van wie je publiek eigenlijk is.
Het nuttige onderscheid is dit: er zijn geautomatiseerde bezoekers die jouw content ergens doorsturen naar echte mensen, en er zijn geautomatiseerde bezoekers die er niets zinnigs mee doen. Een AI-crawler van OpenAI of Anthropic valt in de eerste categorie. Die haalt je pagina op zodat een gebruiker van ChatGPT of Claude straks een antwoord krijgt dat deels op jouw schrijven is gebaseerd. Een vulnerability scanner die zoekt naar webshells op een server die niet de jouwe is, valt in de tweede.
Waarom het ertoe doet
Als je alleen naar menselijke bezoekers kijkt, mis je een groeiend deel van je bereik. Wie content schrijft, schrijft die inmiddels voor twee soorten lezers: mensen die klikken, en systemen die indexeren voor mensen die straks vragen stellen. Dat zijn andere eisen.
Een AI-systeem geeft niets om je lay-out. Het wil schone tekst, duidelijke structuur, en snelle laadtijden. Precies wat menselijke lezers ook willen, maar om andere redenen. Goede caching en consistente headers zijn hierbij niet alleen techniek, het is onderdeel van je publiceerstrategie.
Tegelijkertijd wil je de andere categorie, de automation die niets bijdraagt, wel uit je cijfers houden. Niet uit angst, maar omdat het ruis is. Wie zijn publiek niet kent, kan er ook niet voor schrijven.
Wat je kunt doen
Je hoeft geen eigen Cloudflare Worker te bouwen om dit beter te begrijpen. Maar een paar dingen helpen.
Kijk naar je server logs, niet alleen naar je analytics dashboard. Ze vertellen verschillende verhalen. Begrijp wat de bekende crawlers zijn: Googlebot, Bingbot, de AI-crawlers van de grote modellen, de SEO-tools. Die zijn welkom. Ze helpen je bereik vergroten via andere kanalen dan directe klikken.
Blokkeer bewust wat je wilt blokkeren, niet als reflex. Een robots.txt die AI-crawlers weert, is een keuze die je kunt maken, maar het is een keuze met gevolgen voor je zichtbaarheid in AI-gestuurde antwoorden. Weten wat er rondloopt geeft je die keuze terug.
Het merkwaardige van dit alles: ik begon met een technisch project, snelheid optimaliseren, en eindigde met een scherper beeld van mijn publiek dan ik in jaren had gehad. Niet ondanks de bots. Doordat ik ze kon labelen.
Voor de technische achtergrond: