Den hemmelige bot-blog
Det ser ud som om Brett Tabke fra Webmasterworld har startet en blog i sin robots.txt.
Brett udelukkede for kort tid siden alle robotter fra webmasterworld - efter sigende i et forsøg på at bekæmpe ulovlige robotter fra at kravle webmasterworld.com (SEO Roundtable).
Skridtet med at udelukke alle robotter har den uheldige effekt at søgemaskinernes robotter heller ikke har adgang til sitet. Google har dog stadig over 300.000 af webmasterworlds’ sider indekseret, og med de seneste fra idag, den 19. december…

20. December 2005 kl. 13:38
WebmasterWorld var helt ude af alle søgemaskiner i et kort stund, men Brett har tilsyneladende tilladt dem at komme ind igen - dog ikke i “peak hours” når der er mest belastning på serveren.