man 0 Report post Posted March 2, 2005 (edited) Wenn ich das richtig gesehen habe scheint sich die Liste der "Spider Bot User-Agent" aus den Teilen Identifier=Robot Host .. zusammenzusetzen?! Gibt es auch irgendwo eine passende Liste für das IPB dazu ohne das man die sich extra von zb hier: http://www.robotstxt.org/wc/active/html/index.html oder hier: http://www.robotstxt.org/wc/active/all.txt ..zusammensetzen muß? Hab mir diese mal zusammengestellt und unter "Spider Bot User-Agent" eingetragen. Ist sonst noch etwas dabei zu beachten? #tcl=Tcl W3 Robot #webs=Webs [^a]fish=Fish search acme.spider=Acme.Spider ahoythehomepagefinder=Ahoy! The Homepage Finder alkaline=Alkaline antibot=Antibot aport=Aport appie=Walhello appie arachnophilia=Arachnophilia architext=ArchitextSpider aretha=Aretha ariadne=ARIADNE arks=arks aspider=ASpider (Associative Spider) atn.txt=ATN Worldwide atomz=Atomz.com Search Robot auresys=AURESYS awbot=AWBot backrub=BackRub baiduspider=BaiDuSpider bigbrother=Big Brother bjaaland=Bjaaland blackwidow=BlackWidow blindekuh=Die Blinde Kuh bloodhound=Bloodhound bobby=Bobby boris=Boris brightnet=bright.net caching robot bspider=BSpider bumblebee=Bumblebee (relevare.com) cactvschemistryspider=CACTVS Chemistry Spider calif[^r]=Calif cassandra=Cassandra cgireader=Digimarc Marcspider/CGI checkbot=Checkbot churl=churl cmc=CMC/0.01 collective=Collective combine=Combine System conceptbot=Conceptbot coolbot=CoolBot core=Web Core / Roots cosmos=XYLEME Robot cruiser=Internet Cruiser Robot cscrawler=CsCrawler cusco=Cusco cyberspyder=CyberSpyder Link Test daviesbot=DaviesBot deweb=DeWeb© Katalog/Index dienstspider=DienstSpider digger=Digger digout4u=Digout4u diibot=Digital Integrity Robot directhit=Direct Hit Grabber dnabot=DNAbot download_express=DownLoad Express dragonbot=DragonBot dwcp=DWCP (Dridus' Web Cataloging Project) ebiness=EbiNess echo=EchO! e-collector=e-collector eit=EIT Link Verifier Robot elfinbot=ELFINBOT emacs=Emacs-w3 Search Engine emcspider=ananzi esther=Esther evliyacelebi=Evliya Celebi exactseek=ExactSeek Crawler ezresult=Ezresult fast-webcrawler=Fast-Webcrawler (AllTheWeb) fdse=Fluid Dynamics Search Engine robot felix=Felix IDE ferret=Wild Ferret Web Hopper #1, #2, #3 fetchrover=FetchRover fido=fido finnish=Hämähäkki fireball=KIT-Fireball fouineur=Fouineur francoroute=Robot Francoroute freecrawl=Freecrawl funnelweb=FunnelWeb gama=gammaSpider, FocusedCrawler gazz=gazz gcreep=GCreep getbot=GetBot geturl=GetURL gigabot=GigaBot gnodspider=GNOD Spider golem=Golem googlebot=Googlebot (Google) grapnel=Grapnel/0.01 Experiment griffon=Griffon gromit=Gromit gulliver=Northern Light Gulliver hambot=HamBot harvest=Harvest havindex=havIndex henrythemiragorobot=Mirago hometown=Hometown Spider Pro htdig=ht://Dig htmlgobble=HTMLgobble hyperdecontextualizer=Hyper-Decontextualizer ia_archiver=Alexa (IA Archiver) iajabot=iajaBot ibm=IBM_Planetwide iconoclast=Popular Iconoclast ilse=Ingrid imagelock=Imagelock incywincy=IncyWincy informant=Informant infoseek=InfoSeek Robot 1.0 infoseeksidewinder=Infoseek Sidewinder infospider=InfoSpiders inspectorwww=Inspector Web intelliagent=IntelliAgent internetseer=InternetSeer irobot=I, Robot iron33=Iron33 israelisearch=Israeli-search javabee=JavaBee jbot=JBot Java Web Robot jcrawler=JCrawler jeeves=Jeeves jennybot=JennyBot jobo=JoBo Java Web Robot jobot=Jobot joebot=JoeBot jubii=The Jubii Indexing Robot jumpstation=JumpStation justview=JustView katipo=Katipo kdd=KDD-Explorer kilroy=Kilroy ko_yappo_robot=KO_Yappo_Robot labelgrabber.txt=LabelGrabber larbin=larbin legs=legs linkbot=LinkBot linkchecker=LinkChecker linkidator=Link Validator linkscan=LinkScan linkwalker=LinkWalker lockon=Lockon logo_gif=logo.gif Crawler lycos=Lycos macworm=Mac WWWWorm magpie=Magpie marvin=marvin/infoseek mattie=Mattie mediafox=MediaFox mercator=Mercator merzscope=MerzScope meshexplorer=NEC-MeshExplorer mindcrawler=MindCrawler moget=moget momspider=MOMspider monster=Monster motor=Motor msiecrawler=MSIECrawler msnbot=MSNBot muscatferret=Muscat Ferret mwdsearch=Mwd.Search myweb=Internet Shinchakubin nederland.zoek=Nederland.zoek netcarta=NetCarta WebMap Engine netcraft=Netcraft Web Server Survey netmechanic=NetMechanic netscoop=NetScoop newscan-online=newscan-online nhse=NHSE Web Forager nomad=Nomad northstar=The NorthStar Robot nzexplorer=nzexplorer occam=Occam octopus=HKU WWW Octopus openfind=Openfind data gatherer orb_search=Orb Search packrat=Pack Rat pageboy=PageBoy parasite=ParaSite patric=Patric pegasus=pegasus perignator=The Peregrinator perlcrawler=PerlCrawler 1.0 perman=Perman surfer petersnews=Petersnews phantom=Phantom piltdownman=PiltdownMan pimptrain=Pimptrain.com's robot pioneer=Pioneer pitkow=html_analyzer pjspider=Portal Juice Spider pka=PGP Key Agent plumtreewebaccessor=PlumtreeWebAccessor pompos=Pompos poppi=Poppi portalb=PortalB Spider psbot=psBot puu=GetterroboPlus Puu python=The Python Robot rambler=StackRambler raven=Raven Search rbse=RBSE Spider redalert=Red Alert resumerobot=Resume Robot rhcs=RoadHouse Crawling System road_runner=Road Runner: The ImageScape Robot robbie=Robbie the Robot robi=ComputingSite Robi/1.0 robofox=RoboFox robozilla=Robozilla roverbot=Roverbot rules=RuLeS safetynetrobot=SafetyNet Robot scooter=Scooter (AltaVista) search_au=Search.Aus-AU.COM searchprocess=SearchProcess senrigan=Senrigan sgscout=SG-Scout shaggy=ShagSeeker shaihulud=Shai'Hulud shoutcast=Shoutcast Directory Service sift=Sift simbot=Simmany Robot Ver1.0 sitegrabber=Open Text Index Robot sitetech=SiteTech-Rover site-valet=Site Valet slcrawler=SLCrawler slurp=Inktomi Slurp slysearch=SlySearch smartspider=Smart Spider snooper=Snooper solbot=Solbot spanner=Spanner speedy=Speedy Spider spider_monkey=spider_monkey spiderbot=SpiderBot spiderline=Spiderline Crawler spiderman=SpiderMan spiderview=SpiderView spry=Spry Wizard Robot ssearcher=Site Searcher suke=Suke suntek=suntek search engine surveybot=SurveyBot sven=Sven tach_bw=TACH Black Widow tarantula=Tarantula tarspider=tarspider techbot=TechBOT templeton=Templeton teoma_agent1=TeomaTechnologies titan=TITAN titin=TitIn tkwww=The TkWWW Robot tlspider=TLSpider turnitinbot=Turn It In turtle=Turtle turtlescanner=Turtle ucsd=UCSD Crawl udmsearch=UdmSearch ultraseek=Ultraseek unlost_web_crawler=Unlost Web Crawler urlck=URL Check valkyrie=Valkyrie verticrawl=Verticrawl victoria=Victoria visionsearch=vision-search voila=Voila voyager\/=Voyager vwbot=VWbot w3index=The NWI Robot w3m2=W3M2 wallpaper=WallPaper wanderer=the World Wide Web Wanderer wapspider=w\@pSpider by wap4.com webbandit=WebBandit Web Spider webbase=WebBase webcatcher=WebCatcher webclipping\.com=WebClipping.com webcompass=webcompass webcopy=WebCopy webfetcher=Webfetcher webfoot=The Webfoot Robot weblayers=Weblayers weblinker=WebLinker webmirror=WebMirror webmoose=The Web Moose webquest=WebQuest webreader=Digimarc MarcSpider webreaper=WebReaper websnarf=Websnarf webspider=WebSpider webvac=WebVac webwalk=webwalk webwalker=WebWalker webwatch=WebWatch wget=Wget whatuseek=whatUseek Winona whowhere=WhoWhere Robot wired-digital=Wired Digital wisenutbot=WISENutbot (Looksmart) wmir=w3mir wolp=WebStolperer wombat=The Web Wombat worm=The World Wide Web Worm wwwc=WWWC Ver 0.2.5 wz101=WebZinger xget=XGET yandex=Yandex bot zealbot=ZealBot zyborg=Zyborg (Looksmart) Nachtrag: Ich hab bemerkt das ich öfters einen Gast (66.249.66.200) habe. Nach der Auflösung steht da: Der Name des Dienstleistungsrechners für die Adresse 66.249.66.200 lautet crawl-66-249-66-200.googlebot.com Wieso wird Google dann nicht mit Namen in der Liste Angezeigt sondern als Gast? Mit den Standarteinstellungen in der "Spider Bot User-Agent" - Liste funktioniert es leider auch nicht Bei MSN scheint es hingegen ja zu funktionieren. Was muß ändern? Edited March 2, 2005 by man Share this post Link to post
man 0 Report post Posted March 4, 2005 Ich hab es mir jetzt mal so angepasst: Hoffe es geht jetzt besser: Share this post Link to post
