Siguiendo los pasos de Google, ahora MSN también ofrece un método para poder verificar que el robot o “spider” que esta revisando tu sitio bajo el nombre de MSNbot, es efectivamente el MSNBot.
Esto en respuesta a que en los últimos tres meses, entre algunos Webmasters, se han hecho cuestionamientos acerca del comportamiento de los robots o “spiders” que revisan tu sitio.
Esto a su vez debido a que a que se ha detectado que algunas veces, ciertos robots que revisan tu sitio, pueden fingir que son el Googlebot o el MSNBot. Esto puede representar ciertos riesgos de seguridad/privacidad y en definitiva usar tu ancho de banda innecesariamente.
La historia detrás de esto por parte de Google y como verificar el Googlebot, aquí.
La historia detrás de esto por parte de MSN y como verificar el MSNBot, aquí.
Etiquetas Technorati: buscadores, googlebot, msnbot, google, msn
