smashIt 0 Report post Posted January 24, 2005 allso bis jetzt war google so 1-2 mal am tag auf meiner site. das hat dann bis vorgestern ca 30 besuche in summe ausgemacht. seit vorgestern kommt der bot aber mehrmals die stunde und ich hab jetzt schon 240+ besuche von ihm hinter mir. würd mich nur intressiern ob das normal is oder ob da einer von den bots ammok läuft falls von intresse is: 66.249.65.194 is seine ip Share this post Link to post
MacTV 0 Report post Posted January 25, 2005 Das ist der IP Address: 66.249.65.194 - Googlebot/2.1; +http://www.google.com/bot.html Ich habe ihm schon Kaffee und Gebäck gereicht ... Der hockt bei uns seit einigen Wochen auch den ganzen Tag bei uns. Ich schätze mal das die Suchdienste ein bischen Gas geben wollen, wegen der neuen MSN Suchmaschine... Share this post Link to post
Ratman 0 Report post Posted January 25, 2005 wenns schon so ne diskussion gibt ... ich frag mich langsam, wozu ich ne robots.txt und metas hab - diese bots machen bei mir derzeit mehr traffik als alle user zusammen, obwohls nix dürfen. Share this post Link to post
MacTV 0 Report post Posted January 25, 2005 TIP: Ei dann müßt Ihr die Bots als Gäste in Eurer Forum einstellen, oder macht doch eine neue Gruppe z.B. Bots und diese dürfen dann nur in bestimmte Foren rein. Share this post Link to post
Ratman 0 Report post Posted January 25, 2005 hehe, hab ne eigene gruppe - und die gruppe darf 0 mir fällt eben nur anhand meiner statisitk auf, das sogar google sich an orten rum treibt, die ich eindeutig per robots.txt verboten hab. und wenn ich mir anschau, das diese dämlichen bots dieses monat schon 761.92 mb bei mir gemacht haben, ärger ich mich ein kleines bissi. wobei - ich seh grad - es ist der 3 mal verluchte msn-bot, der 90% des traffik macht. Suchmaschine MSNBot Zugriffe 22053+129 (hinterm plus stehen die treffer auf robots.txt) Bytes 652.75 MB Share this post Link to post
MacTV 0 Report post Posted January 25, 2005 mir fällt eben nur anhand meiner statisitk auf, das sogar google sich an orten rum treibt, die ich eindeutig per robots.txt verboten hab. Ne ne der macht nur so... soll heißen, manchmal sieht man in der "Who is Online", das ein Bot in irgendwelchen "verbotenen Orten" steht, in Wirklichkeit bekommt der nur das "Du hast keinen Zugriff auf diesen Bereich" Share this post Link to post
Ratman 0 Report post Posted January 25, 2005 du bist schon ein bissi forenfixiert, gelle? *g* was interessiert mich das who is online vom forum? ich red vom serverlog Share this post Link to post
Firedart 0 Report post Posted January 25, 2005 Bei mir klopft der Googlebot eh vergeblich an. Am .htaccess kommt er nicht vorbei. :D Share this post Link to post
Ratman 0 Report post Posted January 25, 2005 naja, ganz verbieten will ich ja nicht - bin ja auch gern gelistet in den suchmaschinen *g*. ich empfind es halt nur als frechheit - vor allem von m$ (msn) - das die sich an keinerlei vorgaben von mir halten. Share this post Link to post
finzer 0 Report post Posted January 25, 2005 Komisch, der google-Bot war schon sehr sehr oft auf meiner Seite aber von den anderen Bots hab ich noch nie was gesehen ... Kommen die auch so oft wie der google-bot? Wieso kommt bei mir nur der google-bot (hab alle anderen auch eingeschaltet)? Gruss finzer Share this post Link to post
smashIt 0 Report post Posted January 25, 2005 gut, ich hab den bots nix verboten. wenn das aber normal is lass ichs mal über mich ergehn. will ja auch das ich bei denen im index steh. google hat mich übrigens bis jetzt 414 mal besucht ;) Share this post Link to post
Ratman 0 Report post Posted January 25, 2005 statistik dieses monats im anhang. und meine seite is nicht grade sehr bekannt. Share this post Link to post
finzer 0 Report post Posted January 25, 2005 Woher bekomm ich denn so eine tolle Auflistung der Bot-Zugriffe? Hab ein IPB 1.2 Gruss finzer Share this post Link to post
Mercury01 0 Report post Posted January 25, 2005 Google hat öfters solche Aktualisierungstage, auch bei mir, völlig normal: Share this post Link to post
Ratman 0 Report post Posted January 26, 2005 (edited) Woher bekomm ich denn so eine tolle Auflistung der Bot-Zugriffe? Hab ein IPB 1.2 Gruss finzer is n perl-script http://awstats.sourceforge.net (hoffentlich ned vertippt *g*) dazu brauchst du aber vollen zugriff auf dein serverlog die botzugriffe sind da aber nur ein kleiner teil des ganzen und es hat gar nix mit dem forum zu tun was die "aktualisierungstage" angeht *g* ich zeige auf der startseite die bots unter meinen anwesenden usern an - das mach ich, indem ich die userliste auslese. da ich das nicht mit der jeweiligen ip verknüpfe hab ich oft bis zu 30 bots von google und msn auf meiner seite - schaut echt beeindruckend aus. und google macht eh, was man ihm sagt - der "böse" ist der msn-bot - den interessieren weder metas noch die robots.txt Edited January 26, 2005 by Ratman Share this post Link to post
Firedart 0 Report post Posted January 28, 2005 Die Bots verursachen aber ziemlich viel Traffic in deinem Board Ratman. Alleine schon das würde mir unheimlich auf die Nerven gehen. Share this post Link to post
Ratman 0 Report post Posted January 28, 2005 du sagst es - aber sagts nicht immer DIE bots *g* es is hauptsächlich der verhasste msn-bot. und den kannst sogar in der robots.txt verbieten - is dem kerl egal. wenns so weiter geht, sperr ich die IPS des gesamten msn-netzes Share this post Link to post
TomCrow 0 Report post Posted February 16, 2005 Apropos traffic: wie verhält es sich eigentlich mit Suchmaschinen und im Forum geposteten Bildern? Werden die beim Indizieren auch aufgerufen? Hab' mir nämlich mal meine Statistiken in bezug auf traffic angesehen und bei country = "US Commercial" zeigt sich: ~6% der Zugriffe, aber 65% des traffics.. Da meine Seite aber deutschsprachig ist, vermute ich dahinter eben auch einen bot (ev. sogar auch den MSN, der sich sehr viel auf meinem board herumtreibt).. Kann man das irgendwie einschränken? Ich mein', die Bilder muss die Suchmaschine ja nicht wirklich "sehen"; das Forum soll über die Inhalte gefunden werden, über die Bilder wird eh kaum jemand suchen.. Mir fällt dazu aber keine Lösung ein: man kann zwar der SuMa eine Benutzergruppe und/oder einen skin aufzwingen, aber das "Anzeigen" der Bilder kann ich damit nicht unterbinden (Gäste sollen sie ja sehen, daher kann ich das nicht über die Gruppe "Gast" lösen..). mfg, Tom Share this post Link to post
Ratman 0 Report post Posted February 16, 2005 also bilder verbieten is kein problem trägst du in der robots.txt z.b. folgendes ein: Disallow: *.gif Disallow: *.jpg Disallow: *.bmp Disallow: *.png Disallow: /*.gif$ Disallow: /*.jpg$ Disallow: /*.bmp$ Disallow: /*.png$ das sollte den suchmaschinen den zugriff auf jegliche oben genannte grafiken verweigern. was den msn-bot angeht, hab ich übrigens neus: m$ gibt zu, das sien bot div. bugs in der software hat, und deshalb von zeit zu zeit vergisst, sich an die robots.txt zu halten. tjo - m$-proggy halt ... Share this post Link to post
Ratman 0 Report post Posted February 16, 2005 (edited) ups - scheint mir so zu sein, das du mit robots.txt nicht viel anfangen kannst *g* also ne kleine info: du erstellst eine textdatei mit dem namen "robots.txt" (am besten mit notepad oder so) die legst du ins www-root bei dir. und da schreibst du z.b. folgendes rein:User-agent: MSNBOT Disallow: / #Verbietet dem MSNBOT ALLES User-agent: * # allen übrigen bots wird folgendes verboten Disallow: /admin/ Disallow: /chat/ Disallow: /classes/ Disallow: /css/ Disallow: /error/ Disallow: /icon/ Disallow: /img/ Disallow: /js/ Disallow: /trafficmeter/ Disallow: /wissen/ Disallow: /galerie/ Disallow: *.gif Disallow: *.jpg Disallow: *.bmp Disallow: *.png Disallow: /*.gif$ Disallow: /*.jpg$ Disallow: /*.bmp$ Disallow: /*.png du vebietest also sämtliche oben aufgelistete verzeichnisse zu indizieren, und unten genannte bildformate. weiters kannst du viel mit metatags machn. die kommen dann in den header deiner index.php (index.html) kannst du dir bei mir basteln lassen unter: http://ratman.at/meta/index.php Edited February 16, 2005 by Ratman Share this post Link to post
TomCrow 0 Report post Posted February 16, 2005 :doh: Jo, danke für den Tipp..an die "einfache" Lösung hab' ich gar nicht gedacht (war zu sehr bei Benutzergruppen/Berechtigungen/skin-Änderungen/usw. ) mfg, Tom Share this post Link to post