Robots-Aktivitäten
Um Suchergebnisse anzeigen zu können, müssen die Suchmaschinen (Google, Yahoo, MSN und Co.) täglich mit großem Aufwand das Internet nach Neuem durchsuchen.
Es ist für den Betreiber eines Internetauftrittes also sehr wichtig, zu wissen, ob und wie oft z.B. der GoogleBot (Google), Slurp (Yahoo) und andere vorbeikommen, welche Seiten sie einlesen und wie oft.
Wenn wir z.B. feststellen, dass die Seiten nur alle 4 Wochen neu gelesen werden, ist etwas faul. Vermutlich stuft die Suchmaschine die Seiten als nicht wichtig genug ein, oder die Website ist so abgestanden, dass seit 3 Jahren nichts mehr geändert wurde.
Oder wir sehen, dass immer nur die Startseite (Homepage) eingelesen wird. Dann ist vermutlich etwas faul an der Navigation, z.B. wurde Flash oder Javascript statt echten Hyperlinks verwendet, oder ein "kreatives" Popup-Fenster verschreckt nicht nur Besucher, sondern auch den "Bot".
Es gibt aber auch das andere Extrem: viele Internetauftritte werden von sogenannten Scrapern komplett "gestohlen" und z.B. verwendet um Seiten zu bauen, die dann die Suchmachinen übertölpeln sollen. Es ist also wichtig, ungewünschten Gästen zu sagen, dass sie nichts lesen dürfen - und wenn sie sich nicht daran halten, weitere Maßnahmen zu ergreifen.
Alle wichtigen Informationen hierzu liefert der "robots"-Teil des Website Controlling Moduls
