Como crear archivo robot.txt

Los motores de busqueda lo que hacen es buscar este archivo en nuestro site para indexar nuestra pagina. Pero muchas veces tenemos la necesidad de ocultar información a los buscadores, es decir las partes de administración o librerias que no queremos que indexen estos buscadores. Para ello crearemos el robot.txt, el cual es un archivo de texto que le dirá a los robots de los buscadores cuales son las paginas que queremos indexar.

Resumiendo, creamos un archivo de texto con el notepad por ejemplo y lo guardamos como robot con la extensión txt y lo metemos en el raiz de la web ( no necesariamente, pero se recomienda).

Ahora si queremos bloquear una carpeta del sitio web, para que el robot de los buscadores no tengan acceso a la misma,  le insertaremos este código al archivo “robots.txt”:

User-agent: *
Disallow: / confidencial.html
Disallow: / nombredelacerpeta /

En cambio si lo que buscamos es que el sitio web esté totalmente bloqueado y el robot no pueda ingresar a ninguna carpeta, contenido o archivo copiamos el siguiente código:

User-agent: *
Disallow: /

Y si lo que buscamos es tener una página web que no sea indexada por los buscadores web, insertamos el siguiente código:

User-agent: *
Disallow: / asunto-confidencial.html

Pero si lo que buscamos es restringirle a los buscadores algún acceso, pero que tengan acceso a los artículos, imágenes, el contacto y otras carpetas, insertamos el siguiente código:

User-agent: *
Allow: / articulo-web.html
Allow: / carpeta / contato.html
Allow: / imagenes /
Disallow: /

Y si lo que tenemos es un CMS (Joomla, WordPress, Drupal, etc.), tenemos que copiar este código:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Con estos ejemplos podrás crear o personalizar el archivo robots.txt de una página web. Este archivo es importante tenerlo bien configurado si queremos que la página web tenga un buen posicionamiento web y llegar a los primeros puestos de los principales buscadores web. Para ampliar la información se pueden dirigir al sitio web oficial de “robot.txt”.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s