Robots.txt instellen: crawling sturen zonder informatie te beveiligen

Robots.txt is een openbaar tekstbestand met aanwijzingen aan ondersteunde crawlers over welke delen van een website zij mogen ophalen. Het is geen toegangsbeveiliging en geen betrouwbare manier om een URL uit zoekresultaten te verwijderen. Voor vertrouwelijke inhoud is echte authenticatie nodig; voor openbare pagina's die niet geïndexeerd mogen worden kan een leesbare noindex-instructie passen.

Kies dus eerst uw doel. Wilt u onnodig ophalen beperken, indexering sturen of gegevens beschermen? Dat zijn verschillende taken. Eén brede blokkade kan het probleem verbergen terwijl belangrijke pagina's of hun indexeringsinstructies juist onbereikbaar worden.

Begrijp op welke site het bestand geldt

Robots.txt staat aan de hoofdmap van een host, bijvoorbeeld https://voorbeeld.be/robots.txt. De regels gelden binnen de bijbehorende host en het protocol. Ga niet ervan uit dat een bestand op het hoofddomein automatisch alle subdomeinen of een andere protocolvariant afdekt.

Google beschrijft de verwerking in de robots.txt-specificatie. Het bestand is openbaar: plaats er geen wachtwoorden, geheime adressen of uitleg over interne beveiliging in. Een pad dat u in een blokkade noemt, kan daardoor juist zichtbaar worden voor nieuwsgierige bezoekers. De server moet iedere vertrouwelijke bestemming zelfstandig beschermen.

Scheid crawling van indexering

Een geblokkeerde crawler kan de pagina niet ophalen en dus ook een aanwezige noindex niet lezen. Toch kan een URL onder omstandigheden bekend worden via externe links en zonder opgehaalde inhoud in resultaten verschijnen. Robots.txt biedt daarom geen sluitend verwijderingsbeleid.

Gebruik voor openbare uitsluitingen het afwegingskader bij noindex. Voor een verwijderde pagina kan een echte 404- of 410-respons passend zijn. Voor een concept met gevoelige klantinformatie is een login de juiste grens. De inleiding over robots.txt benoemt deze beperkingen expliciet. Een blokkade toevoegen omdat een pagina “niet zichtbaar mag zijn” is zonder verdere beoordeling te vaag.

Begin klein met regels die u kunt uitleggen

Gebruik een regel alleen als duidelijk is welk pad zij raakt, voor welke crawler zij geldt en waarom de blokkade nodig is. Een algemene Disallow: / sluit voor de betreffende groep alles uit. Dat kan op een afgeschermde ontwikkelomgeving een aanvullende voorzorg zijn, maar is geen vervanging voor afscherming en hoort niet onbedoeld mee naar productie.

Controleer hoofdletters, paden en patroonmatching zorgvuldig. Een toegestane uitzondering en een blokkade kunnen elkaar beïnvloeden. Kopieer geen uitgebreide “SEO-robots.txt” van een onbekende website. De structuur van uw CMS, productfilters en mediabestanden kan volledig anders zijn. Vraag uw beheerder de interpretatie met concrete voorbeeld-URL's te onderbouwen.

Een fictieve controle van drie adressen

Een fictieve groothandel wil grote aantallen filtercombinaties minder laten ophalen. De beheerder onderzoekt drie adressen: een openbare categorie, een filtercombinatie en een productdetail. Er is geen werkelijke crawl of prestatietest uitgevoerd.

De bespreking verloopt als volgt:

• Categorie: moet bereikbaar blijven en via gewone links producten ontsluiten.
• Filtercombinatie: eerst bepalen of deze een nuttige openbare landingspagina is of alleen een tijdelijke selectie.
• Productdetail: moet bereikbaar blijven, inclusief noodzakelijke beelden en scripts.

Pas daarna volgt een beperkte regel. De beheerder controleert ook of geblokkeerde filter-URL's nog in interne links of de XML-sitemap staan. Anders blijft de website tegenstrijdige signalen produceren en is de oorzaak van de URL-groei niet opgelost.

Houd noodzakelijke bronnen beschikbaar

Een pagina bestaat niet alleen uit HTML. Als stylesheets, JavaScript of afbeeldingen onbedoeld worden geblokkeerd, kan een crawler de pagina anders waarnemen dan een bezoeker. Geef daarom niet zonder onderzoek een hele assetmap een blokkade.

Loop een belangrijke dienstpagina na publicatie na in de browser en bekijk welke bronnen voor inhoud en weergave nodig zijn. Controleer daarnaast de URL-inspectie wanneer u Search Console gebruikt. Een correct werkende desktopweergave bewijst niet dat een crawler de pagina mag renderen. Omgekeerd is niet ieder geblokkeerd technisch bestand een probleem; beoordeel zijn functie en het werkelijke effect op de publicatie.

Maak aparte, bewuste keuzes voor AI-crawlers

Bots voor zoekopname en bots voor modeltraining kunnen verschillende namen en doelen hebben. Beoordeel die doelen afzonderlijk aan de hand van de actuele documentatie van de betreffende aanbieder. Eén algemene bewering dat iedere trainingsblokkade ook iedere actuele vermelding onmogelijk maakt, is te stellig.

Ook een toegestane bot levert geen gegarandeerde opname of citaat op. Robots.txt is bovendien een vrijwillig nageleefd protocol, geen technische bescherming tegen iedere scraper. De gids over vindbaarheid in AI-zoekmachines helpt verwachtingen begrenzen. Bewaar bij een botbeleid de reden en de gebruikte primaire documentatie, zodat een latere beheerder de afweging kan herhalen.

Controleer wijzigingen vóór en na plaatsing

Bewaar de oude versie en maak een lijst met representatieve URL's: homepage, dienst, artikel, afbeelding, uitgesloten pad en een eventuele uitzondering. Laat controleren welke groep en regel voor elk adres gelden. Test op de uiteindelijke host, niet alleen in een lokaal tekstbestand.

Controleer daarna de HTTP-status en de inhoud van /robots.txt. Een CMS-fout kan een HTML-pagina teruggeven waar tekst verwacht wordt. Houd rekening met caching en verwerkingsvertraging bij crawlers. Bij onverwachte uitval herstelt u eerst de onbedoelde blokkade; ga niet tegelijk titels en inhoud veranderen, want dan wordt de diagnose onnodig onduidelijk.

Leg beheer vast als onderdeel van publicatie

Noteer wie regels mag wijzigen, hoe wijzigingen worden nagekeken en wanneer een migratie een nieuwe controle vraagt. Neem robots.txt op in uw opleverlijst naast redirects, canonicals, sitemap en interne links.

Een bruikbare oplevernotitie zegt welke openbare paginatypen crawlbaar zijn en welke beperkingen bewust gelden. “SEO staat aan” is daarvoor te algemeen. Controleer ook tijdelijke maatregelen: een regel die tijdens een storing of ontwikkelfase werd toegevoegd, mag niet zonder eigenaar blijven bestaan. De eenvoudigste veilige configuratie is de configuratie waarvan iedere regel een aantoonbaar doel heeft.

Noteer bij een patroonregel minstens één adres dat wel en één adres dat niet geraakt mag worden. Die voorbeelden maken toekomstige wijzigingen beter toetsbaar. Alleen de regel bewaren geeft een collega onvoldoende zicht op de bedoelde grens.

Bronnen en verder lezen

De primaire Google-documentatie bestaat uit de inleiding over robots.txt en de regels voor verwerking. De voorbeelden hierboven zijn fictieve beheerafwegingen; ze vervangen geen controle van uw eigen host en paden.