020 - 773 5491 info@friebie.nl

Een robots.txt bestand is een bestand dat in de root (hoofd directory) van een website geplaatst wordt. In het bestand worden aanwijzingen voor de crawlers van zoekmachines geplaatst. Er staat bijvoorbeeld in welke crawlers welke delen van de website wel of niet mogen indexeren.

Waar gebruik je de robots.txt voor?

Met het bestand kun je aangeven welke delen wel en welke delen niet door de zoekmachines bezocht mogen worden. Het helpt trouwens niet om er voor te zorgen dat pagina’s niet in de index van de zoekmachine opgenomen worden. Via links op pagina’s die welk bezocht mogen worden, kunnen de pagina’s alsnog gevonden worden. Je kunt er wel mee voorkomen dat afbeeldingen in de zoekmachine index opgenomen worden.

Het robots.txt bestand is er voor om onbelangrijke bestanden zoals bepaalde afbeeldingen, scripts of directories af te schermen.

Belangrijk om te weten over het robots.txt bestand

  • Foutief gebruik van robots.txt kan gevolgen hebben voor de ranking van je website in de zoekresultaten van Google
  • Het bestand controleert hoe zoekmachine crawlers jouw pagina’s zien en hoe er mee omgegaan wordt
  • Bij het bezoeken van een pagina, kijkt Googlebot (de crawler van Google) als eerste naar de robots.txt

Robots.txt controleren

Om te controleren of je een robots.txt bestand op je website hebt, kun je eenvoudigweg naar je internetbrowser gaan en de URL: www.jouwwebsite.nl/robots.txt invullen. Je ziet dan of het bestand aanwezig is op de website.

Om te testen of het bestand goed is, kun je het testen met Google Search Console. instructies om het bestand te testen, vind je hier.

Wanneer gebruik je een robots.txt bestand?

Het is niet verplicht om het bestand op je website te hebben. Redenen om het bestand aan je website toe te voegen:

  • Als je content hebt die geblokkeerd moet worden voor de zoekmachines
  • Als je bepaalde crawlers niet op jouw website wil hebben
  • Als je nog bezig bent met je website je nog niet wil dat deze geïndexeerd wordt

Hoe maak je een robots.txt bestand?

Dit kan met een simpele tekst verwerker zoals Kladblok op Windows of Text op een Mac.

Dit zal je ook interesseren:

Wat is een domeinnaam? Een domeinnaam kun je zien als een adres op het internet. Een domeinnaam wordt gebruikt om een computer op het internet te identificeren. Een domeinna...
Tips voor een snellere website De snelheid van je website is een belangrijke ranking factor voor Google maar is ook belangrijk voor een goede gebruikerservaring. Hoe zorg je er voor...
Wat is content marketing? Content marketing is een term die tegenwoordig veel gebruikt wordt in de wereld van de marketing. Maar wat wordt er nou eigenlijk mee bedoeld? Het is ...