Skip to main content

Wat is Robots.txt

Robots.txt is een bestand in de hoofdmap van een website.
Hierin staat beschreven waar robots (webcrawlers, spiders) toegang toe krijgen en niet.

 

Welke soort robots zijn er

  1. Webcrawlers
  2. Spiders
  3. Bots

 

Search Engine Bots

  1. Petalbot van Aspiegel (Huawei bedrijf) (https://aspiegel.com/petalbot)
  2. Googlebot van Google

Petalbot

Eigenaar: Huawei
Soort: Zoekmachine Bot
Gebruikt voor: Zoekfuncties op Huawei producten
User-agent: PetalBot
URL: https://aspiegel.com/petalbot
IP:

114.119.137.160
114.119.147.15
114.119.130.253
114.119.148.60
114.119.144.212
114.119.139.107
114.119.144.229
114.119.158.74
114.119.134.155

Peter-Paul Rijsdijk

Peter-Paul Rijsdijk

Eigenaar Webstijlen / WordPress en Webhosting expert Vragen? 0643873811 / peterpaul@webstijlen.nl