Een robots.txt bestand is een bestand dat in de root (hoofd directory) van een website geplaatst wordt. In het bestand worden aanwijzingen voor de crawlers van zoekmachines geplaatst. Er staat bijvoorbeeld in welke crawlers welke delen van de website wel of niet mogen indexeren.
Waar gebruik je de robots.txt voor?
Met het bestand kun je aangeven welke delen wel en welke delen niet door de zoekmachines bezocht mogen worden. Het helpt trouwens niet om er voor te zorgen dat pagina’s niet in de index van de zoekmachine opgenomen worden. Via links op pagina’s die welk bezocht mogen worden, kunnen de pagina’s alsnog gevonden worden. Je kunt er wel mee voorkomen dat afbeeldingen in de zoekmachine index opgenomen worden.
Het robots.txt bestand is er voor om onbelangrijke bestanden zoals bepaalde afbeeldingen, scripts of directories af te schermen.
Belangrijk om te weten over het robots.txt bestand
- Foutief gebruik van robots.txt kan gevolgen hebben voor de ranking van je website in de zoekresultaten van Google
- Het bestand controleert hoe zoekmachine crawlers jouw pagina’s zien en hoe er mee omgegaan wordt
- Bij het bezoeken van een pagina, kijkt Googlebot (de crawler van Google) als eerste naar de robots.txt
Robots.txt controleren
Om te controleren of je een robots.txt bestand op je website hebt, kun je eenvoudigweg naar je internetbrowser gaan en de URL: www.jouwwebsite.nl/robots.txt invullen. Je ziet dan of het bestand aanwezig is op de website.
Om te testen of het bestand goed is, kun je het testen met Google Search Console. instructies om het bestand te testen, vind je hier.
Wanneer gebruik je een robots.txt bestand?
Het is niet verplicht om het bestand op je website te hebben. Redenen om het bestand aan je website toe te voegen:
- Als je content hebt die geblokkeerd moet worden voor de zoekmachines
- Als je bepaalde crawlers niet op jouw website wil hebben
- Als je nog bezig bent met je website je nog niet wil dat deze geïndexeerd wordt
Hoe maak je een robots.txt bestand?
Dit kan met een simpele tekst verwerker zoals Kladblok op Windows of Text op een Mac.
