Een robots.txt bestand is een eenvoudig tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen van je site ze wel en niet mogen crawlen. Het stuurt dus het crawlgedrag van bots zoals Googlebot, maar het is geen manier om een pagina uit de zoekresultaten van Google te houden.
Waar vind je robots.txt, hoe ziet de syntax eruit en welke fouten kosten je zichtbaarheid? Hieronder lees je hoe robots.txt werkt, hoe je het opstelt en test, en wanneer je beter een ander middel gebruikt.
In het kort
1. Wat is een robots.txt bestand en waarvoor gebruik je het?
Zoekmachines sturen crawlers (ook spiders of bots genoemd) naar je website om pagina’s te ontdekken. Voor ze beginnen, kijken goed werkende bots eerst in robots.txt. Daarin lezen ze welke mappen en URL’s ze mogen bezoeken en welke niet. Robots.txt is gebaseerd op het Robots Exclusion Protocol, een standaard die al sinds de jaren negentig door zoekmachines gevolgd wordt.
Volgens Google Search Central dient robots.txt vooral om het aantal verzoeken van crawlers op je server te beperken. Daarnaast houd je zoekmachines ermee weg van onbelangrijke of bijna identieke pagina’s, zoals:
- interne zoekresultaten van je website;
- filter- en sorteerpagina’s van een webshop met eindeloze URL-combinaties;
- de winkelmand, het afrekenproces of de loginpagina van je CMS;
- testomgevingen en tijdelijke mappen.
Zo besteden zoekmachines hun aandacht aan de pagina’s die er echt toe doen. Dat is vooral relevant voor grote websites en webshops, waar het crawlbudget een rol speelt. Voor een kleine website met een paar tientallen pagina’s volstaat meestal een eenvoudige robots.txt. Het is daarmee een klein maar belangrijk onderdeel van technische SEO.
2. Waar vind je robots.txt en hoe werkt de robots.txt syntax met disallow en sitemap?
Het bestand moet robots.txt heten en in de root van je domein staan. Je vindt het dus altijd op een adres als https://www.voorbeeld.be/robots.txt. In een submap werkt het niet. Elke website heeft maar één robots.txt, en de regels gelden alleen voor het exacte protocol en (sub)domein waar het staat. Een subdomein zoals shop.voorbeeld.be heeft dus een eigen robots.txt nodig.
Het gaat om gewone tekst in UTF-8. Gebruik een eenvoudige teksteditor, want tekstverwerkers voegen soms tekens toe die de regels onleesbaar maken voor crawlers. Werk je met WordPress, dan maakt het CMS vaak automatisch een virtuele robots.txt aan, die je kunt aanpassen via een SEO-plugin. Een robots.txt generator kan je op weg helpen, maar controleer altijd zelf of de regels kloppen met je website.
De belangrijkste robots.txt regels
| Regel | Wat ze doet |
|---|---|
| User-agent | Bepaalt voor welke crawler de regels gelden. Een sterretje (*) betekent: alle bots. |
| Disallow | Verbiedt het crawlen van een pad, map of URL. |
| Allow | Staat het crawlen van een pad toe, ook binnen een map die je met disallow blokkeert. |
| Sitemap | Verwijst naar de volledige URL van je XML-sitemap. Deze regel is optioneel. |
Een eenvoudig voorbeeld voor een WordPress-site:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Sitemap: https://www.voorbeeld.be/sitemap_index.xmlHier mogen alle bots de hele site crawlen, behalve de beheeromgeving en de interne zoekresultaten. Paden zijn hoofdlettergevoelig, je kunt de wildcards * en $ gebruiken en een # begint een commentaarregel. Waarom die verwijzing naar je sitemap nuttig is, lees je in wat een XML sitemap is.
Regels per crawler, ook voor AI-bots
Je kunt aparte groepen regels maken per user-agent, bijvoorbeeld voor Googlebot, Bingbot of crawlers van AI-toepassingen zoals GPTBot en OAI-SearchBot van OpenAI. Blokkeer je die laatste, dan beperk je mogelijk ook je zichtbaarheid in AI-zoekresultaten. Hoe je daar een bewuste keuze in maakt, lees je in hoe AI-crawlers je content correct lezen. Je hoort misschien ook over llms.txt: dat is een voorstel voor een apart bestand voor taalmodellen, geen officiële standaard, en het vervangt robots.txt niet.
3. Houdt robots.txt een pagina uit de index van Google?
Nee, en dat is het meest voorkomende misverstand. Robots.txt regelt het crawlen, niet het indexeren. Google zegt het zelf: een pagina die je via disallow blokkeert, kan toch geïndexeerd worden als andere websites ernaar linken. De URL verschijnt dan in de zoekresultaten, meestal zonder beschrijving.
Robots.txt of noindex?
Wil je een pagina echt uit Google houden, gebruik dan:
- een noindex-metatag of een X-Robots-Tag in de HTTP-header;
- wachtwoordbeveiliging voor vertrouwelijke inhoud.
Let op: blokkeer een pagina met een noindex-tag niet ook in robots.txt. De crawler kan de pagina dan niet bezoeken en ziet de noindex-instructie dus nooit.
Is robots.txt bindend?
Robots.txt is geen beveiliging of technische blokkade, maar een afspraak. Betrouwbare crawlers zoals Googlebot volgen de regels, maar slecht bedoelde bots kunnen ze gewoon negeren. Bovendien is de inhoud voor iedereen leesbaar. Zet er dus geen gevoelige mappen in die je wilt verbergen, maar bescherm die met een wachtwoord.
4. Welke robots.txt fouten schaden je SEO en hoe los je ze op?
Een klein foutje in robots.txt kan grote gevolgen hebben voor je posities in Google. Deze fouten komen we in de praktijk het vaakst tegen:
- De hele site blokkeren. Een regel als
Disallow: /blijft soms staan na de lancering van een nieuwe website, waardoor zoekmachines niets meer mogen crawlen. - CSS- en JavaScript blokkeren. Google heeft die bronnen nodig om je pagina correct te renderen en te beoordelen.
- Robots.txt gebruiken om dubbele content te verbergen. Een canonical-tag of noindex is daarvoor meestal de betere oplossing.
- Tikfouten en hoofdletters. /Blog/ en /blog/ zijn voor een crawler twee verschillende paden.
- Belangrijke pagina’s per ongeluk uitsluiten met een te ruime regel of wildcard.
De melding ‘Geblokkeerd door robots.txt’ oplossen
Zie je in Google Search Console de melding dat een URL geblokkeerd is door robots.txt (in de Engelstalige interface: ‘Blocked by robots.txt’), bekijk dan eerst of dat de bedoeling is. Gaat het om een pagina die in Google moet staan, zoek dan de disallow-regel die de URL uitsluit, pas ze aan of voeg een allow-regel toe, en vraag daarna opnieuw indexering aan. Wil je de pagina net niet in Google, vervang de blokkering dan door een noindex-tag.
Robots.txt best practices
- Houd de regels kort en overzichtelijk, en licht ze toe met commentaarregels.
- Blokkeer alleen wat crawlers echt niet hoeven te zien, zoals zoekresultaten, filters en de beheeromgeving.
- Neem een verwijzing naar je sitemapbestand op, met de volledige URL.
- Gebruik voor elk subdomein een eigen robots.txt.
- Controleer de regels na elke migratie, relaunch of grote update van je CMS.
Hoe test je je robots.txt bestand?
Open het tekstbestand eerst in een incognitovenster om te zien of het publiek bereikbaar is. Controleer daarna in Google Search Console het robots.txt-rapport, dat de vroegere robots.txt tester vervangt. Daar zie je welke versie Google laatst heeft opgehaald, of er fouten of waarschuwingen zijn, en kun je na een wijziging vragen om robots.txt opnieuw te crawlen. Met de URL-inspectietool check je of een specifieke pagina geblokkeerd wordt. Meer daarover lees je in hoe je controleert of je website geïndexeerd is.
5. Technische SEO met Digital Leader
Een correcte robots.txt is één van de vele technische details die bepalen of zoekmachines je website goed kunnen crawlen en begrijpen. Binnen onze SEO-dienstverlening controleren we onder meer je crawlbudget, sitestructuur en indexeerbaarheid, en bekijken we ook hoe AI-zoekmachines je site lezen via GEO. Bouw je een nieuwe site, dan nemen we die technische basis mee in de ontwikkeling van je website. Liever eerst een volledig beeld van je online marketing? Start dan met een marketing audit.
Twijfel je of zoekmachines je website correct crawlen? Digital Leader analyseert je robots.txt, sitemap en indexering en zegt je precies wat er beter kan.
