Spiders

Een spider is een geautomatiseerde software waarmee de pagina’s op een website worden doorzocht. Een spider is dus een soort bot die automatisch iedere regel van de content op een website controleert en de dofollow hyperlinks naar een andere pagina volgt. 

Via spiders worden nieuwe pagina’s en gewijzigde content geïndexeerd, zodat deze vindbaar zijn in de zoekresultaten van een zoekmachine. Daarom is het hebben van een heldere interne linkstructuur en een sitemap van groot belang bij zoekmachineoptimalisatie. 

De termen spiders en crawlers worden vaak door elkaar gebruikt. Toch zit er wel degelijk een verschil in. Een spider wordt namelijk gebruikt voor het doorzoeken van een website, terwijl een crawler wordt gebruikt voor het doorzoeken van gehele zoekmachines.