Robots.txt es de uso obligatorio en un Blog

Cuando pensamos en SEO desde el principio tenemos que separar en dos partes; SEO ON-Page y el SEO Off-Page. El SEO on-Page es todo lo relacionado a lo que se mueve en el sitio web/blog. En este artículo voy a hablar sobre el archivo Robots.txt que es un texto que se utiliza para que Googlebot (el robot de Google que explora Internet buscando contenido) rastree tu sitio y lo indexe más rápidamente y sepa cuáles son las páginas que va a indexar o no. Por ejemplo; Cuando un sitio web/blog es un área de acceso con contraseña, no hay ningún interés que Googlebot índice en su búsqueda del motor de este tipo de páginas.

Son este tipo de información que podemos poner en el archivo Robots.txt. Este archivo es muy sencillo de crear, sólo un editor de texto simple como el Bloc de notas (notepad) de Windows. Debe estar en la raíz del sitio Web y utilice siempre el nombre de Robots.txt sin mayúsculas.

En este ejemplo el directorio “admin.php” y “productos” están bloqueados para el acceso del robot, pero la sentencia Allow reemplaza esta declaración y permite al robot rastrear el contenido de esa carpeta, incluso si estás dentro de una carpeta previamente bloqueada. Es decir, es posible dar permiso a los robots para leer las carpetas o archivos en directorios bloqueados.

Conclusión:

Las estrategias SEO in situ de esta acción es muy importante que se lleven a cabo, de esta forma que nos estamos indexación de las páginas de nuestro blog. Puedes enviar el archivo Robots.txt en la raíz de tu sitio web/blog, o enviar a través de Google Webmaster Tools.

Escribe tu comentario