Crawlen en indexeren
Crawlen is het bezoeken en lezen van je webpagina’s door zoekmachines. Indexeren is het opslaan van die pagina’s in de database van de zoekmachine, zodat ze kunnen verschijnen in de zoekresultaten.
- 3 min lezen
Wat is crawlen en indexeren?
Zoekmachines gebruiken programma’s die het web afgaan, zogeheten crawlers of bots. De crawler van Google heet Googlebot. Die volgt links van pagina naar pagina, leest de inhoud en de code, en neemt nieuwe of gewijzigde pagina’s mee. Dat heet crawlen.
Na het crawlen beslist Google of een pagina opgenomen wordt in de index, de enorme database waaruit zoekresultaten worden samengesteld. Dat heet indexeren. Alleen een geïndexeerde pagina kan in Google verschijnen.
Crawlen betekent dus niet automatisch indexeren. Google kan een pagina lezen en toch besluiten die niet op te nemen, bijvoorbeeld omdat de inhoud dun is of als kopie wordt gezien. Ook AI-systemen hebben eigen crawlers, zoals GPTBot, PerplexityBot en de crawler van Anthropic. Lees daarover meer bij llms.txt.
Waarom het ertoe doet voor jouw bedrijf
Een pagina die niet geïndexeerd is, bestaat voor Google niet. Je kan de beste pagina over dakrenovatie in je regio hebben, maar als die niet in de index staat, levert die geen enkele aanvraag op via zoekmachines.
Dat klinkt als een uitzondering, maar het komt vaak voor. Na een nieuwe website, een verhuizing naar een ander domein of een update van een plugin staan er regelmatig pagina’s onbedoeld op noindex of geblokkeerd. Zonder controle merk je dat pas als de aanvragen teruglopen.
Hetzelfde geldt voor AI-zoeken. Als je robots.txt AI-crawlers buitensluit, kan je ook niet genoemd worden in hun antwoorden.
Hoe het werkt
Google vindt je pagina’s op drie manieren: via links van andere sites, via links binnen je eigen site en via je XML-sitemap, een lijst met alle pagina’s die je geïndexeerd wilt hebben. Het bestand robots.txt bepaalt welke delen van je site crawlers mogen bezoeken. Met een noindex-tag op een pagina zeg je dat die niet in de index hoort.
Daarna beoordeelt Google de pagina. Is de inhoud bruikbaar? Is het geen kopie van een andere pagina? Wijst de canonical URL naar zichzelf? Is de pagina technisch bereikbaar en snel genoeg?
Een voorbeeld. Stel, een installatiebedrijf laat een nieuwe website bouwen op een testomgeving. Tijdens de bouw staat in WordPress de optie aan die zoekmachines vraagt de site niet te indexeren. Bij de livegang wordt die optie vergeten. Daarnaast zijn de oude adressen niet doorgestuurd naar de nieuwe. Een paar weken later is het aantal aanvragen via Google flink gedaald. In Search Console blijkt dat vrijwel alle pagina’s op noindex staan en dat de oude adressen een foutmelding geven.
Na het uitzetten van de noindex, het instellen van redirects van oud naar nieuw en het indienen van de sitemap worden de pagina’s opnieuw gecrawld en geïndexeerd. Het herstel kost tijd die voorkomen had kunnen worden met een check bij livegang.
Veelgemaakte fouten
De bekendste fout is een vergeten noindex na livegang, zoals in het voorbeeld. Het is één vinkje, maar het effect is groot.
Een tweede fout is een robots.txt die te veel blokkeert. Soms blokkeert een regel per ongeluk de hele site, of juist de mappen met afbeeldingen en scripts die Google nodig heeft om de pagina goed te lezen.
Ook vaak gezien: pagina’s waar geen enkele interne link naartoe gaat. Zulke weespagina’s worden slecht gevonden. En een sitemap die oude, doorgestuurde of niet-bestaande adressen bevat, geeft Google verkeerde signalen.
Tot slot verwachten veel ondernemers dat een nieuwe pagina direct in Google staat. Indexeren kan dagen tot weken duren, vooral bij een nieuwe of kleine site. Steeds opnieuw indexering aanvragen versnelt dat niet. Beter is zorgen dat de pagina goed gelinkt is en echt iets toevoegt.
Zo pak je het aan
Koppel je site aan Google Search Console. In het rapport over indexering zie je welke pagina’s zijn opgenomen en welke niet, met de reden erbij. Controleer dit na elke grote wijziging.
Dien je XML-sitemap in via Search Console en zorg dat daar alleen pagina’s in staan die je echt geïndexeerd wilt hebben. Gebruik de functie URL-inspectie om een nieuwe of belangrijke pagina te testen en indexering aan te vragen.
Controleer je robots.txt. Blokkeer geen belangrijke delen en bepaal bewust of je AI-crawlers toelaat. Voor de meeste vakbedrijven is toelaten verstandig, omdat je dan kunt verschijnen in AI-antwoorden.
Zorg dat elke belangrijke pagina via interne links bereikbaar is. Bij een nieuwe website hoort altijd een redirectplan en een check op noindex bij livegang. Dat is vast onderdeel van technische SEO.
Veelgestelde vragen
Staat je vraag er niet tussen? Bel, app of mail ons. Je krijgt binnen één werkdag antwoord.
Hoe weet ik of mijn pagina in Google staat?
De betrouwbaarste manier is Google Search Console. Met URL-inspectie zie je per pagina of die geïndexeerd is en zo niet, waarom. Snel controleren kan ook door in Google te zoeken op site: gevolgd door het adres van de pagina.
Hoe lang duurt het voordat een nieuwe pagina geïndexeerd is?
Dat varieert van een paar dagen tot enkele weken. Een site die vaak bijgewerkt wordt en goed gelinkt is, wordt sneller gecrawld. Je kan het versnellen door de pagina in je sitemap op te nemen en indexering aan te vragen in Search Console.
Moet ik AI-crawlers toelaten op mijn site?
Voor de meeste vakbedrijven is dat verstandig. Als je crawlers zoals GPTBot, PerplexityBot of de crawler van Anthropic blokkeert, kunnen AI-assistenten je inhoud niet lezen en je minder goed noemen in hun antwoorden. Controleer in je robots.txt of er geen blokkade staat die je niet bewust hebt gekozen.
Meer over dit onderwerp
Wat is Google Ads en hoe werkt het?
Google Ads is een van de populairste en effectiefste online advertentieplatforms.
Beter gevonden worden in Google: 5 tips
In het digitale tijdperk is het essentieel voor bedrijven om online zichtbaar te zijn.
Wat is Leadinfo en wat kan je ermee?
Veel bedrijven steken tijd en geld in hun website en campagnes, maar hebben geen idee wie er precies langskomt.
Laten we je agenda vullen.
Plan een gratis kennismaking. Je krijgt een eerlijk beeld van je kansen en concrete eerste stappen, ook als we niet gaan samenwerken.
