normales verhlaten von google?

[smashIt 0]

allso bis jetzt war google so 1-2 mal am tag auf meiner site.

das hat dann bis vorgestern ca 30 besuche in summe ausgemacht.

seit vorgestern kommt der bot aber mehrmals die stunde und ich hab jetzt schon 240+ besuche von ihm hinter mir.

würd mich nur intressiern ob das normal is oder ob da einer von den bots ammok läuft

falls von intresse is: 66.249.65.194 is seine ip

[MacTV 0]

Das ist der

IP Address: 66.249.65.194 - Googlebot/2.1; +http://www.google.com/bot.html

Ich habe ihm schon Kaffee und Gebäck gereicht ...

Der hockt bei uns seit einigen Wochen auch den ganzen Tag bei uns.

Ich schätze mal das die Suchdienste ein bischen Gas geben wollen, wegen

der neuen MSN Suchmaschine...

[Ratman 0]

wenns schon so ne diskussion gibt ...

ich frag mich langsam, wozu ich ne robots.txt und metas hab - diese bots machen bei mir derzeit mehr traffik als alle user zusammen, obwohls nix dürfen.

[MacTV 0]

TIP:

Ei dann müßt Ihr die Bots als Gäste in Eurer Forum einstellen,

oder macht doch eine neue Gruppe z.B. Bots und diese dürfen dann nur in bestimmte Foren rein.

[Ratman 0]

hehe, hab ne eigene gruppe - und die gruppe darf 0

mir fällt eben nur anhand meiner statisitk auf, das sogar google sich an orten rum treibt, die ich eindeutig per robots.txt verboten hab.

und wenn ich mir anschau, das diese dämlichen bots dieses monat schon 761.92 mb bei mir gemacht haben, ärger ich mich ein kleines bissi.

wobei - ich seh grad - es ist der 3 mal verluchte msn-bot, der 90% des traffik macht.

Suchmaschine MSNBot

Zugriffe 22053+129 (hinterm plus stehen die treffer auf robots.txt)

Bytes 652.75 MB

[MacTV 0]

mir fällt eben nur anhand meiner statisitk auf, das sogar google sich an orten rum treibt, die ich eindeutig per robots.txt verboten hab.

Ne ne der macht nur so...

soll heißen, manchmal sieht man in der "Who is Online", das ein Bot in irgendwelchen "verbotenen Orten" steht, in Wirklichkeit bekommt der nur das "Du hast keinen Zugriff auf diesen Bereich"

[Ratman 0]

du bist schon ein bissi forenfixiert, gelle? *g*

was interessiert mich das who is online vom forum?

ich red vom serverlog

[Firedart 0]

Bei mir klopft der Googlebot eh vergeblich an.

Am .htaccess kommt er nicht vorbei. :D

[Ratman 0]

naja, ganz verbieten will ich ja nicht - bin ja auch gern gelistet in den suchmaschinen *g*.

ich empfind es halt nur als frechheit - vor allem von m$ (msn) - das die sich an keinerlei vorgaben von mir halten.

[finzer 0]

Komisch, der google-Bot war schon sehr sehr oft auf meiner Seite aber von den anderen Bots hab ich noch nie was gesehen ...

Kommen die auch so oft wie der google-bot?

Wieso kommt bei mir nur der google-bot (hab alle anderen auch eingeschaltet)?

Gruss finzer

[smashIt 0]

gut, ich hab den bots nix verboten.

wenn das aber normal is lass ichs mal über mich ergehn.

will ja auch das ich bei denen im index steh.

google hat mich übrigens bis jetzt 414 mal besucht ;)

[Ratman 0]

statistik dieses monats im anhang.

und meine seite is nicht grade sehr bekannt.

[finzer 0]

Woher bekomm ich denn so eine tolle Auflistung der Bot-Zugriffe?

Hab ein IPB 1.2

Gruss finzer

[Mercury01 0]

Google hat öfters solche Aktualisierungstage, auch bei mir, völlig normal:

[Ratman 0]

Woher bekomm ich denn so eine tolle Auflistung der Bot-Zugriffe?

Hab ein IPB 1.2

Gruss finzer

is n perl-script

http://awstats.sourceforge.net (hoffentlich ned vertippt *g*)

dazu brauchst du aber vollen zugriff auf dein serverlog

die botzugriffe sind da aber nur ein kleiner teil des ganzen

und es hat gar nix mit dem forum zu tun

was die "aktualisierungstage" angeht *g*

ich zeige auf der startseite die bots unter meinen anwesenden usern an - das mach ich, indem ich die userliste auslese.

da ich das nicht mit der jeweiligen ip verknüpfe hab ich oft bis zu 30 bots von google und msn auf meiner seite - schaut echt beeindruckend aus.

und google macht eh, was man ihm sagt - der "böse" ist der msn-bot - den interessieren weder metas noch die robots.txt

Edited January 26, 2005 by Ratman

[Firedart 0]

Die Bots verursachen aber ziemlich viel Traffic in deinem Board Ratman.

Alleine schon das würde mir unheimlich auf die Nerven gehen.

[Ratman 0]

du sagst es - aber sagts nicht immer DIE bots *g* es is hauptsächlich der verhasste msn-bot.

und den kannst sogar in der robots.txt verbieten - is dem kerl egal.

wenns so weiter geht, sperr ich die IPS des gesamten msn-netzes

[TomCrow 0]

Apropos traffic:

wie verhält es sich eigentlich mit Suchmaschinen und im Forum geposteten Bildern? Werden die beim Indizieren auch aufgerufen?

Hab' mir nämlich mal meine Statistiken in bezug auf traffic angesehen und bei country = "US Commercial" zeigt sich: ~6% der Zugriffe, aber 65% des traffics..

Da meine Seite aber deutschsprachig ist, vermute ich dahinter eben auch einen bot (ev. sogar auch den MSN, der sich sehr viel auf meinem board herumtreibt)..

Kann man das irgendwie einschränken? Ich mein', die Bilder muss die Suchmaschine ja nicht wirklich "sehen"; das Forum soll über die Inhalte gefunden werden, über die Bilder wird eh kaum jemand suchen..

Mir fällt dazu aber keine Lösung ein: man kann zwar der SuMa eine Benutzergruppe und/oder einen skin aufzwingen, aber das "Anzeigen" der Bilder kann ich damit nicht unterbinden (Gäste sollen sie ja sehen, daher kann ich das nicht über die Gruppe "Gast" lösen..).

mfg,

Tom

[Ratman 0]

also bilder verbieten is kein problem

trägst du in der robots.txt z.b. folgendes ein:

Disallow: *.gif

Disallow: *.jpg

Disallow: *.bmp

Disallow: *.png

Disallow: /*.gif$

Disallow: /*.jpg$

Disallow: /*.bmp$

Disallow: /*.png$

das sollte den suchmaschinen den zugriff auf jegliche oben genannte grafiken verweigern.

was den msn-bot angeht, hab ich übrigens neus:

m$ gibt zu, das sien bot div. bugs in der software hat, und deshalb von zeit zu zeit vergisst, sich an die robots.txt zu halten.

tjo - m$-proggy halt ...

[Ratman 0]

ups - scheint mir so zu sein, das du mit robots.txt nicht viel anfangen kannst *g*

also ne kleine info:

du erstellst eine textdatei mit dem namen "robots.txt" (am besten mit notepad oder so)

die legst du ins www-root bei dir.

und da schreibst du z.b. folgendes rein:

User-agent: MSNBOT

Disallow: / #Verbietet dem MSNBOT ALLES


User-agent: * # allen übrigen bots wird folgendes verboten

Disallow: /admin/

Disallow: /chat/

Disallow: /classes/

Disallow: /css/

Disallow: /error/

Disallow: /icon/

Disallow: /img/

Disallow: /js/

Disallow: /trafficmeter/

Disallow: /wissen/

Disallow: /galerie/

Disallow: *.gif

Disallow: *.jpg

Disallow: *.bmp

Disallow: *.png

Disallow: /*.gif$

Disallow: /*.jpg$

Disallow: /*.bmp$

Disallow: /*.png

du vebietest also sämtliche oben aufgelistete verzeichnisse zu indizieren, und unten genannte bildformate.

weiters kannst du viel mit metatags machn.

die kommen dann in den header deiner index.php (index.html)

kannst du dir bei mir basteln lassen unter: http://ratman.at/meta/index.php

Edited February 16, 2005 by Ratman

[TomCrow 0]

:doh: Jo, danke für den Tipp..an die "einfache" Lösung hab' ich gar nicht gedacht (war zu sehr bei Benutzergruppen/Berechtigungen/skin-Änderungen/usw. )

mfg,

Tom