Robots.txt bestand

Wat is Robots.txt

Robots.txt is een bestand in de hoofdmap van een website.
Hierin staat beschreven waar robots (webcrawlers, spiders) toegang toe krijgen en niet.

Welke soort robots zijn er

1. Webcrawlers
2. Spiders
3. Bots

Search Engine Bots

1. Petalbot van Aspiegel (Huawei bedrijf) (https://aspiegel.com/petalbot)
2. Googlebot van Google

Petalbot

Eigenaar: Huawei
Soort: Zoekmachine Bot
Gebruikt voor: Zoekfuncties op Huawei producten
User-agent: PetalBot
URL: https://aspiegel.com/petalbot
IP:

114.119.137.160
114.119.147.15
114.119.130.253
114.119.148.60
114.119.144.212
114.119.139.107
114.119.144.229
114.119.158.74
114.119.134.155