Wat is Robots.txt
Robots.txt is een bestand in de hoofdmap van een website.
Hierin staat beschreven waar robots (webcrawlers, spiders) toegang toe krijgen en niet.
Welke soort robots zijn er
- Webcrawlers
- Spiders
- Bots
Search Engine Bots
- Petalbot van Aspiegel (Huawei bedrijf) (https://aspiegel.com/petalbot)
- Googlebot van Google
Petalbot
Eigenaar: Huawei
Soort: Zoekmachine Bot
Gebruikt voor: Zoekfuncties op Huawei producten
User-agent: PetalBot
URL: https://aspiegel.com/petalbot
IP:
114.119.137.160
114.119.147.15
114.119.130.253
114.119.148.60
114.119.144.212
114.119.139.107
114.119.144.229
114.119.158.74
114.119.134.155