Yahoo! y el archivo robots.txt
Yahoo! anuncio que su “spider” o robot conocido como Yahoo! Slurp, ahora soporta los caracteres “*” y “&” dentro de la sintaxis del archivo robots.txt. Esto permitirá a los Webmasters mayor flexibilidad en la forma de controlar los contenidos y directorios que el Yahoo! Slurp explora y que Yahoo! indexa.
Puedes leer todos los detalles acerca de lo anterior, en esta entrada del blog de Yahoo!:
http://www.ysearchblog.com/archives/000372.html (en inglés)
Para los que no están familiarizados con el robots.txt, se trata de un archivo que le indica a los robots de los buscadores que partes de tu sitio pueden revisar y cuales no.
Aunque no es un estándar, tener un archivo robots.txt en tu sitio es considerado una buena práctica y se recomienda su uso, aún cuando no desees restringir ninguna página o sección de tu sitio.
Para información detallada acerca del robots.txt visita: http://www.robotstxt.org/ (en inglés)
Seguimos en contacto
Etiquetas Technorati: yahoo, yahoo slurp, robots.txt, buscadores
Deja un comentario