¿Has oído hablar del archivo robots.txt? Incluirlo en tu página web te puede resultar muy útil. En las siguientes líneas te explicamos en qué consiste, para qué sirve en el posicionamiento seo y cómo funciona.
¿Qué es el archivo robots.txt?
Para entender de verdad lo que es el archivo robots.txt, antes conviene acercarnos a la forma en que los buscadores rastrean la web y obtienen información. Realizan esta labor mediante máquinas o robots, con los que son capaces de indexar el contenido de páginas web y guardar la mayor cantidad posible de información en sus bases de datos.
Pues bien, el archivo robots.txt es una de la máquinas más usadas para indexar en Google. Es utilizada por los buscadores pero también por los spammers.
Pero, ¿qué utilidad tiene para el propietario de una página web? Lo vemos en el siguiente apartado.
¿Para qué sirve un archivo robots.txt?
El archivo robots.txt tiene gran cantidad de usos, como el rastreo de direcciones electrónicas, o el bloqueo de acceso a directorios. Sin embargo, el uso que más te puede interesar si tienes una página web es el relacionado con la estrategia de Search Engine Optimization (SEO).
Cuando creamos un sitio web, necesitamos que Google pueda acceder a nuestra página para rastrear nuestra información. Y, para realizar esta tarea es necesario crear un archivo con la extensión txt en nuestro dominio. Así, el buscador obtendrá toda la información que nos interesa que sepa. Por otra parte, este archivo .txt se usa para impedir que los bots u otros robots.txt agreguen datos e información que no queremos compartir con Google.
En definitiva, un archivo robots.txt en nuestra web indica cuál es el sitemap o conjunto de páginas a las que pueden acceder los rastreadores de los motores de búsqueda.
Funcionamiento de un robots.txt
¿Cómo actúa un robot.txt? Estas son las principales características de su funcionamiento:
Las instrucciones no son obligatorias
Básicamente, las instrucciones del robot.txt son indicaciones pero no son una norma obligatoria para los buscadores. Los hay que no obedecen a sus órdenes.
Uso del protocolo estándar de exclusión de robots
El archivo utiliza el Estándar de exclusión de robots, un protocolo con un pequeño conjunto de comandos que se puede utilizar para indicar el acceso al sitio web por sección y por tipos específicos de rastreadores web, como los rastreadores móviles o los rastreadores de ordenador.
Google puede rastrear páginas restringidas en el archivo robot.txt
Google no rastreará ni indexará ningún tipo de información del contenido de las páginas que bloqueemos con el robot.txt, sin embargo, sí indexará todas las direcciones o URL que estén en otros elementos o páginas web, incluso aunque estas mismas estén restringidas dentro del archivo.txt.
Los bots de Google que interactúan con el archivo robots.txt
Principalmente hay dos tipos de bots que Google utiliza para interactuar con el archivo robots.txt: user-agent y googlebots. Veamos:
User-agent
El user-agent es una cabecera de texto que identifica al rastreador que entra en una página web y al que se le aplican una serie de reglas. Así, sabremos quién llega a nuestro sitio web a través de un navegador. Incorporarlo en tu archivo robot.txt le facilitará la tarea de búsqueda y rastreo a Google. Si quieres utilizarlo, deberás añadir el comando: User-agent:*
Googlebots
Igualmente son utilizados por Google y se trata del Googlebot-Mobile, específico para dispositivos móviles y el Googlebot-Image, que es para imágenes y fotografía. Ambos Googlebots simulan ser usuarios que entran a una página web usando un móvil y un ordenador, respectivamente.
¿Tu página web contiene el archivo robots.txt? Si no es así, es el momento de incluirlo. Estamos ante una pieza clave para mejorar el SEO.
