In een kersverse WordPress installatie had ik via ‘Settings’ en dan ‘Reading’ braaf de zoekmachine geblokkeerd zodat de zoekmachine mijn website niet zal indexeren.
Toen ik het robots.txt bestand wilde controleren via de URL mijndomein.nl/robots.txt zag ik tot mijn verbazing dat het virtuele robots.txt bestand dat WordPress aanmaakt niet bestond! Na wat Google zoekopdrachten te hebben verricht ben ik er achter gekomen dat dit virtuele robots.txt bestand pas door WordPress wordt aangemaakt zodra je een bericht heb gepubliceerd. In mijn geval heb ik ook de permalink settings die nog op ‘Default’ stond aan moeten passen naar bijvoorbeeld ‘Post name’, en warempel toen deed het robots.txt bestand het gelukkig!
Maar hebben we nou wat aan dit virtuele robots.txt bestand? Nee! Je kunt veel beter zelf je ideale robots.txt bestand maken.
Geef een reactie