Robots.txt
Als internationaler Standard zur Steuerung von Spidern, Crawlern, Robots und anderen Automaten, die die Inhalte von Websites auslesen, gilt die Verwendung von ‚robots.txt' bereits seit 1994.
Premium-Inhalt
Noch nicht iBusiness-Mitglied? Für Ihre Registrierung erhalten Sie ein Kontingent von fünf kostenfreien Abrufen für Premium-Analysen. Jeden Kalendermonat erhalten Sie zudem einen weiteren kostenfreien Abruf.
Kostenlos Registrieren Anmelden/Login