edreams

Robots txt

1 post in this topic

Hola Metale Chala, estoy haciendo lo que me dijiste y posteando aquí, espero que este bien. Con respecto a la utilizacion del mentado archivo robots.txt, se quiere que GoogleBot y otros buscadores relevantes no indexen contenido que despues pueda ser tomado como duplicado, o que pierdas Page Rank en contenidos que no lo merecen, o sea, por ejemplo, el contacto, merece estar si o si en cualquier página, pero eso no quiere decir que meresca ser indexado, pues el Page Rank se divide entre todas las páginas indexadas.

 

Con respecto a GoogleBot y la sintaxis:

si tu buscas por ej:

act=Help site:gigabytes.cl

 

ves que google si te ha indexado, y no deberia para ese tipo de contenido, al igual que otros que estan en el robots.txt actualizado.

 

NT: Es importante que veas donde dice, repetir la busqueda para contenido similares, ahí quiere decir claramente que son duplicados..en algún aspecto..

 

 

Saludos

Rodrigo

Share this post


Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now