Over crawlen, indexeren en robots.txt voor WordPress
Crawlen is de activiteit van Google en andere zoekmachines waarbij ze openbaar beschikbare pagina’s ontdekken. Hiervoor worden softwareprogramma’s gebruikt die we ‘webcrawlers’ of ‘spiders’ noemen. De webcrawlers volgen dezelfde links waar jij op klikt tijdens het surfen op websites. Zo…