Een spider in zoekmachine land is ook wel bekend als een crawler. Elke zoekmachine heeft zijn eigen crawler, de crawler van Google heet GoogleBot. Een crawler is verantwoordelijk voor het complete proces van het crawlen, indexeren van webpagina’s en het verwerken en ophalen van de resultaten in de zoekresultaten van de zoekmachines.
Wat is crawling?
Crawling is het proces dat GoogleBot nieuwe en geupdate pagina’s ontdekt en deze aan de Google index toevoegt. Met een grote hoeveelheid computers worden biljoenen pagina’s op het internet bezocht. Dit wordt met een speciaal algoritme gedaan. Het algoritme bepaalt welke websites bezocht worden, hoe vaak deze bezocht worden en hoeveel pagina’s van de website bezocht worden.
Nieuwe pagina’s worden ontdekt door eerst pagina’s te bezoeken die al in de index staan en door sitemaps te doorlopen die webmasters ingediend hebben. Als er een link naar een nieuwe pagina op staat, zal de link gevolgd worden en de nieuwe pagina wordt dan (mogelijk) in de index opgenomen.
