Den hemmelige bot-blog

Det ser ud som om Brett Tabke fra Webmasterworld har startet en blog i sin robots.txt.

Brett udelukkede for kort tid siden alle robotter fra webmasterworld - efter sigende i et forsøg på at bekæmpe ulovlige robotter fra at kravle webmasterworld.com (SEO Roundtable).
Skridtet med at udelukke alle robotter har den uheldige effekt at søgemaskinernes robotter heller ikke har adgang til sitet. Google har dog stadig over 300.000 af webmasterworlds’ sider indekseret, og med de seneste fra idag, den 19. december…

En kommentar til “Den hemmelige bot-blog”

  1. Rasmus Sørensen siger:

    WebmasterWorld var helt ude af alle søgemaskiner i et kort stund, men Brett har tilsyneladende tilladt dem at komme ind igen - dog ikke i “peak hours” når der er mest belastning på serveren.

Efterlad en kommentar

Notabenes Blog er stolt af at køre WordPress
Indlæg (RSS) og Kommentarer (RSS) | Søgemaskineoptimering