En Webmaster World debido a los problemas de ancho de banda que suponen los bots de los buscadores han decidido han decidido deshabilitarlos todos en su robots.txt.

   #
    # WebmasterWorld.com: robots.txt
    # GNU Robots.txt Feel free to use with credit
    # given to WebmasterWorld.
    #
    # Please, we do NOT allow nonauthorized robots any longer.
    # http://www.searchengineworld.com/robots/
    # Yes, feel free to copy and use the following.

    User-agent: *
    Disallow: /

Medida extrema sin duda pero con parte de razón. Algunos spiders sobrecargan la cpu del servidor y consumen gran parte del tráfico mensual que tenemos contratado a nuestro proveedor de alojamiento. Esta claro que deshabilitar Google es un suicidio promocional pero que ocurre con robots como Alexa, Ask Jeeves o incluso msn. ¿vale la pena? Yo hasta ahora no había tomado medidas restrictivas porque no tenía tráfico como para tener problemas, pero visto el incremento de visitas del blog y del tráfico que se está generando (3 Gb en 20 días) no descarto impedir el paso a determinados bots.