Robots.txt bestand

Wat is Robots.txt Robots.txt is een bestand in de hoofdmap van een website. Hierin staat beschreven waar robots (webcrawlers, spiders) toegang toe krijgen en niet. Aanbevolen robots.txt handelingen Naamgeving:…
Peter-Paul Rijsdijk2021-04-02