msnbot/2.0b

Seit vier Stunden randaliert der Live-Bot (65.55.106.193) aus dem Hause Microsoft auf blog.tetti.de rum. Alle 3 Minuten ruft er die Startseite ab. Kennt jemand dieses Phänomen und eventuell Abhilfe?

Immer diese Beta-Versionen!

Trackback URL for this post:

https://blog.tetti.de/trackback/410

Comments

Verstehe ich nicht

Die Lösungen 'robots.txt' und Redirect kennst du doch selbst, also muss es etwas anderes sein, das nervt. Aber was?

Last-Modified?

HTTP/1.1 200 OK
Date: Thu, 26 Mar 2009 07:59:17 GMT
Server: Apache/2.2.3 (Debian) PHP/5.2.0-8+etch13
X-Powered-By: PHP/5.2.0-8+etch13
Set-Cookie: SESS2eaa9ce24731eff52762f54c8003f197=3d804d744634d7a54af28f1927bbc557; expires=Sat, 18 Apr 2009 11:32:37 GMT; path=/; domain=.blog.tetti.de
Expires: Sun, 19 Nov 1978 05:00:00 GMT
Last-Modified: Thu, 26 Mar 2009 07:59:17 GMT
Cache-Control: store, no-cache, must-revalidate
Cache-Control: post-check=0, pre-check=0
Keep-Alive: timeout=15, max=99
Connection: Keep-Alive
Transfer-Encoding: chunked
Content-Type: text/html; charset=utf-8

Zuletzt geändert

Das macht Sinn! Daher lautet das aktuelle Suchergebnis auch:

Dies ist ein Schnappschuss der Webseite, wie sie auf 23.03.2009 angezeigt wurde (das letzte Mal, als sie von unserem Crawler besucht wurde).

Meine Logs

Habe gerade mal geschaut: bei mir gibt es den msnbot/2.0b noch gar nicht. msnbot kriecht da noch in der Version msnbot/1.1.

Du scheinst als Betatester angemeldet zu sein ;-)

robots.txt

Diese Datei liest er nicht mit der hohen Frequenz.

Post new comment

The content of this field is kept private and will not be shown publicly.
CAPTCHA
This question is for testing whether you are a human visitor and to prevent automated spam submissions.