Het robots.txt bestand is een tekstbestand welke in de hoofdmap van een webhosting pakket geplaatst kan worden en instructies aan web robots (spiders van zoekmachines) geeft hoe zij met de website om moeten gaan. In het bestand kun je aangeven welke spiders welke onderdelen van de website wel en niet mogen bezoeken.

Deel dit artikel

Deel dit artikel met jouw vrienden!