Tabla de contenidos:<\/p>
- \u00bfQu\u00e9 es el archivo robots.txt?<\/a>
- No confundas noindex con robots.txt<\/a><\/li><\/ul><\/li>
- \u00bfPor qu\u00e9 es importante el archivo robots.txt?<\/a><\/li>
- \u00bfC\u00f3mo funciona un archivo robots.txt?<\/a>
- Ubicaci\u00f3n del archivo<\/a><\/li>
- Estructura del archivo<\/a><\/li>
- Comportamiento de los bots<\/a><\/li>
- Limitaciones<\/a><\/li><\/ul><\/li>
- \u00bfD\u00f3nde est\u00e1 el archivo robots.txt?<\/a><\/li>
- Reglas y formato del archivo robots.txt<\/a><\/li>
- Principales comandos de robots.txt<\/a>
- Comando User-agent<\/a><\/li>
- Comando Disallow<\/a><\/li>
- Comando Allow<\/a><\/li>
- Comando Sitemap<\/a><\/li>
- Comando Crawl-delay<\/a><\/li>
- Comodines $,\u00a0 * y #<\/a><\/li><\/ul><\/li>
- C\u00f3mo crear un archivo robots.txt<\/a><\/li>
- Crear el archivo robots.txt en WordPress<\/a>
- Crear el archivo robots.txt con Yoast SEO<\/a><\/li>
- Crear el archivo robots.txt con Rank Math<\/a><\/li><\/ul><\/li>
- Enviar el archivo robots.txt a Google<\/a>
- Actualizar el archivo robots.txt en Google<\/a><\/li><\/ul><\/li>
- \u00bfTe ha resultado complicado crear un archivo robots.txt para tu web?<\/a><\/li><\/ul><\/div>\n\n
\u00bfQu\u00e9 es el archivo robots.txt?<\/span><\/h2>\n
El archivo robots.txt es un archivo de texto, de ah\u00ed la extensi\u00f3n .txt, que sugiere a los buscadores, como Google, qu\u00e9 URLs de nuestro sitio deben rastrear y a qu\u00e9 partes de la web no quieres que accedan los bots para rastrear el contenido.<\/p>\n
Por decirlo de otra manera, el archivo robots.txt contiene un listado de URLs que no deseas que los buscadores como Google rastreen ni se muestren en los resultados de b\u00fasqueda.<\/p>\n
Como sabr\u00e1s, por defecto, los robots o ara\u00f1as de Google rastrean todo el contenido de tu p\u00e1gina web (y cuando digo todo, es TODO). Pero, \u00bfqu\u00e9 ocurre si tienes un directorio que no deseas que Google lo indexe? Lo ideal es incluirlo en este archivo. De esta manera, cuando un robot visite tu sitio, antes comprobar\u00e1 el archivo robots.txt y sabr\u00e1 qu\u00e9 instrucciones seguir.<\/p>\n
No confundas noindex<\/em> con robots.txt<\/span><\/h3>\n
\u00a1Ojo! Incluir una determinada URL en el archivo robots.txt no garantiza que Google no la vaya a indexar. Al hacerlo, solo le est\u00e1s sugiriendo a Google que no lo haga, pero al final, el que decide es \u00e9l.<\/p>\n
Si realmente no quieres que una p\u00e1gina web aparezca en Google, lo ideal es utilizar la etiqueta noindex <\/em>o proteger la p\u00e1gina con una contrase\u00f1a.<\/p>\n
![\"para](\"https:\/\/www.lucushost.com\/blog\/wp-content\/uploads\/2022\/08\/para-que-sirve-el-archivo-robots.txt-300x118.jpg\" "\\"\\"")
<\/p>\n\u00bfPor qu\u00e9 es importante el archivo robots.txt?<\/span><\/h2>\n
Si a\u00fan no tienes claro por qu\u00e9 es imprescindible a\u00f1adir un archivo robots.txt a tu web, aqu\u00ed te muestro algunas razones. \u00a1As\u00ed que toma nota!<\/p>\n
- \n
- Control del rastreo:<\/strong> Permite a los administradores de sitios web gestionar qu\u00e9 partes del sitio pueden ser examinadas por los motores de b\u00fasqueda. Esto es crucial para evitar que se indexen p\u00e1ginas irrelevantes o sensibles y asegura que el rastreo se concentre en las secciones m\u00e1s importantes para el SEO.<\/li>\n
- Optimizaci\u00f3n del rendimiento del sitio:<\/strong> Al restringir el rastreo de ciertas secciones del sitio, como scripts, hojas de estilo o p\u00e1ginas duplicadas, puedes reducir la carga en tu servidor. Esto es especialmente relevante para sitios grandes o con muchos recursos, ya que los rastreadores pueden consumir ancho de banda y recursos del servidor.<\/li>\n
- Seguridad del contenido sensible:<\/strong> El archivo robots.txt puede bloquear el acceso de los motores de b\u00fasqueda a directorios o archivos que contienen informaci\u00f3n privada o confidencial, como p\u00e1ginas de inicio de sesi\u00f3n, datos de usuario o contenido delicado. Aunque no garantiza una protecci\u00f3n total, es un primer paso para evitar que esta informaci\u00f3n sea expuesta p\u00fablicamente.<\/li>\n
- Mejora del SEO:<\/strong> Al guiar a los rastreadores hacia las p\u00e1ginas clave y evitar que indexen contenido irrelevante o duplicado, el archivo robots.txt contribuye a una estrategia de SEO m\u00e1s efectiva. Esto facilita que los motores de b\u00fasqueda se enfoquen en las p\u00e1ginas m\u00e1s importantes para atraer tr\u00e1fico org\u00e1nico.<\/li>\n
- Control de errores y redirecciones<\/a>:<\/strong> El archivo robots.txt puede ayudarte a gestionar el rastreo de p\u00e1ginas eliminadas o redirigidas, evitando que los motores de b\u00fasqueda muestren contenido desactualizado en sus resultados.<\/li>\n<\/ul>\n
Apuesto a que ahora tienes mucho m\u00e1s claro por qu\u00e9 es importante contar con un archivo robots.txt en tu web, \u00bfverdad? \ud83d\ude09<\/p>\n
\u00bfC\u00f3mo funciona un archivo robots.txt?<\/span><\/h2>\n
La funci\u00f3n principal del archivo robots.txt es ofrecer instrucciones a los motores de b\u00fasqueda (tambi\u00e9n conocidos como \u00abbots\u00bb o \u00abcrawlers\u00bb) sobre qu\u00e9 partes del sitio web pueden o no pueden rastrear e indexar. A continuaci\u00f3n, te explico c\u00f3mo funciona:<\/p>\n
Ubicaci\u00f3n del archivo<\/span><\/h3>\n
El archivo robots.txt se sit\u00faa en la ra\u00edz del dominio. Cuando un bot de motor de b\u00fasqueda accede a tu sitio, su primer paso es buscar este archivo para identificar si hay restricciones en el rastreo.<\/p>\n
Estructura del archivo<\/span><\/h3>\n
El archivo robots.txt sigue una estructura espec\u00edfica para definir las reglas de rastreo. Primero, el comando User-agent indica a qu\u00e9 bots se aplican las siguientes reglas. Los bots, como Googlebot para Google, se identifican por nombres espec\u00edficos, aunque tambi\u00e9n se puede usar el asterisco (*) como comod\u00edn para aplicar las directrices a todos los bots.<\/p>\n
A continuaci\u00f3n, el comando Disallow especifica las URL o directorios que no deseas que los bots rastreen. Si quieres bloquear una URL en particular, simplemente la colocas despu\u00e9s de Disallow.<\/p>\n
El comando Allow permite el rastreo de subrutas espec\u00edficas dentro de un directorio bloqueado. Si dentro de un directorio prohibido quieres permitir el acceso a una p\u00e1gina concreta, lo puedes hacer con Allow.<\/p>\n
Finalmente, aunque no es obligatorio, puedes a\u00f1adir una l\u00ednea con Sitemap para incluir la URL de tu archivo sitemap.xml. Esto ayuda a los bots a encontrar y rastrear todas las p\u00e1ginas de tu sitio que deseas que se indexen.<\/p>\n
Si te parece complicado, no te preocupes. Te mostrar\u00e9 un ejemplo sencillo para que lo entiendas mejor:<\/p>\n
User-agent: *\r\nDisallow: \/admin\/\r\nAllow: \/admin\/help.html\r\nSitemap: www.tuweb.com\/sitemap.xml<\/pre>\n
Como puedes ver, todos los bots (**User-agent: * **) tienen prohibido rastrear el directorio \/admin\/<\/em>, pero se les permite acceder a la p\u00e1gina espec\u00edfica \/admin\/help.html<\/em>. Adem\u00e1s, se proporciona la ubicaci\u00f3n del archivo del mapa del sitio para facilitar la indexaci\u00f3n de las p\u00e1ginas del sitio web.<\/p>\n
Comportamiento de los bots<\/span><\/h3>\n
Los bots de motores de b\u00fasqueda leen el archivo robots.txt para decidir qu\u00e9 contenido deben explorar o evitar. Las p\u00e1ginas y archivos que se permiten en robots.txt ser\u00e1n rastreados e indexados, lo que significa que podr\u00e1n aparecer en los resultados de b\u00fasqueda.<\/p>\n
Aunque la mayor\u00eda de los bots siguen las instrucciones del robots.txt, algunos bots maliciosos pueden no cumplirlas.<\/p>\n
Limitaciones<\/span><\/h3>\n
Bloquear una p\u00e1gina en robots.txt no la protege de ser accesible, solo indica a los motores de b\u00fasqueda que no la rastreen. Si una URL bloqueada es enlazada desde otro sitio, puede ser indexada sin rastreo.<\/p>\n
Como mencion\u00e9 anteriormente y quiero reiterar (m\u00e1s que nada, ya que es muy importante \ud83d\ude0a), si otros sitios enlazan a una p\u00e1gina bloqueada y los bots la descubren, esta puede ser indexada a pesar de que el archivo robots.txt lo proh\u00edba. Para prevenir la indexaci\u00f3n, es necesario utilizar m\u00e9todos adicionales, como la etiqueta noindex en el HTML de la p\u00e1gina.<\/p>\n
![\"archivo](\"https:\/\/www.lucushost.com\/blog\/wp-content\/uploads\/2022\/08\/archivo-robots-txt-ejempl-300x118.jpg\" "\\"\\"")
<\/p>\n\u00bfD\u00f3nde est\u00e1 el archivo robots.txt?<\/span><\/h2>\n
Anteriormente, cuando te expliqu\u00e9 el funcionamiento del archivo robots.txt, ya te adelant\u00e9 que este archivo se encuentra en la ra\u00edz de tu p\u00e1gina web. De hecho, tiene una ruta del tipo:<\/p>\n
- \n
- https:\/\/tudominio.com\/robots.txt<\/em><\/li>\n<\/ul>\n
Reglas y formato del archivo robots.txt<\/span><\/h2>\n
Antes de ver los principales comandos que puedes incluir en el archivo robots.txt, es importante que tengas en cuenta algunos aspectos.<\/p>\n
- \n
- El archivo debe llamarse s\u00ed o s\u00ed robots.txt. No puede tener otro nombre, de lo contrario no ser\u00e1 le\u00eddo por los robots.<\/li>\n
- Tu web \u00fanicamente puede tener un archivo robots.txt.<\/li>\n
- El archivo robots.txt debe ubicarse en la ra\u00edz de la web, no en un subdirectorio. Por tanto, https:\/\/tudominio.com\/robots.txt<\/em> ser\u00eda v\u00e1lido, pero https:\/\/tudominio.com\/blog\/robots.txt no lo ser\u00eda.<\/li>\n
- Puedes crear un archivo robots.txt para un subdominio que aplique \u00fanicamente a ese subdominio. Por ejemplo, https:\/\/shop.tudominio.com\/robots.txt ser\u00eda v\u00e1lido para el subdominio shop.tudominio.com<\/em>.<\/li>\n<\/ul>\n
Principales comandos de robots.txt<\/span><\/h2>\n
Para crear el archivo robots.txt, es importante que conozcas algunos comandos b\u00e1sicos.<\/p>\n
Comando User-agent<\/span><\/h3>\n
Este comando indica qu\u00e9 robot tiene que cumplir las directivas que componen en el archivo.<\/p>\n
Si no quieres especificar qu\u00e9 robot debe cumplir las indicaciones, utiliza el siguiente comando:<\/p>\n
User-agent: *<\/pre>\n
Para dar instrucciones espec\u00edficas al robot de Google debes establecer:<\/p>\n
User-agent: googlebot<\/pre>\n
En el caso del robot de Bing debes utilizar:<\/p>\n
User-agent: googlebot<\/pre>\n
Comando Disallow<\/span><\/h3>\n
Este comando indica qu\u00e9 directorio o p\u00e1gina de tu web no debe incluirse en los resultados de b\u00fasqueda.<\/p>\n
En WordPress, es muy com\u00fan bloquear todas las URLs del panel de administraci\u00f3n. Para ello se utiliza:<\/p>\n
Disallow: \/wp-admin<\/pre>\n
O, en el caso del \u00e1rea de clientes, podr\u00edas utilizar:<\/p>\n
Disallow: \/area-de-clientes<\/pre>\n
Para indexar todo el contenido:<\/p>\n
Disallow:<\/pre>\n
O, por el contrario, si no quieres que se rastree ninguna p\u00e1gina del sitio:<\/p>\n
Disallow: \/<\/pre>\n
Comando Allow<\/span><\/h3>\n
Con este comando, indicas a los motores de b\u00fasqueda qu\u00e9 p\u00e1ginas o directorios deseas que sean rastreados.<\/p>\n
Por defecto, se rastrea todo el contenido, por lo que solo necesitas este comando si quieres permitir el acceso a un contenido que has bloqueado con el comando Disallow. Por ejemplo:<\/p>\n
Disallow: \/noticias\r\n\r\nAllow: \/noticias\/actualidad<\/pre>\n
Comando Sitemap<\/span><\/h3>\n
El archivo robots.txt ayuda a los motores de b\u00fasqueda a indexar el contenido, por lo que tambi\u00e9n es muy \u00fatil incluir en \u00e9l el sitemap de tu sitio web.<\/p>\n
Aunque es opcional, puedes a\u00f1adir este comando incluyendo la ruta del mapa o mapas de tu sitio:<\/p>\n
Sitemap: https:\/\/tudominio.com\/sitemap.xml<\/pre>\n
Comando Crawl-delay<\/span><\/h3>\n
Este comando sirve para retrasar el tiempo de rastreo entre p\u00e1gina y p\u00e1gina para no afectar al rendimiento de tu sitio. Es especialmente \u00fatil para sitios web muy grandes.<\/p>\n
Crawl-delay: 1<\/pre>\n
Comodines $,\u00a0 * y #<\/span><\/h3>\n
Adem\u00e1s de los comandos, existe una serie de comodines que resultan \u00fatiles y necesarios para crear un archivo robots.txt:<\/p>\n
- \n
- $<\/strong>: el s\u00edmbolo del d\u00f3lar indica el final de una URL.<\/li>\n
- *<\/strong>: el asterisco representa \u00abtodos\u00bb.<\/li>\n
- #<\/strong>: la almohadilla sirve para incluir comentarios en el archivo.<\/li>\n<\/ul>\n
C\u00f3mo crear un archivo robots.txt<\/span><\/h2>\n
Cuando instalas algunas aplicaciones como PrestaShop o Mautic<\/a>, ver\u00e1s que ya tienen el archivo robots.txt preconfigurado en la ra\u00edz del dominio. Sin embargo, en otros gestores de contenido como WordPress, es necesario crear y subir el archivo robots.txt al hosting.<\/p>\n
\u00bfQuieres ver c\u00f3mo crear un archivo robots.txt? Vamos a ello.<\/p>\n
- \n
- Abre un editor de texto como, por ejemplo, el bloc de notas de Windows.<\/li>\n
- Establece el user-agent. Puedes utilizar el comod\u00edn * para referirte a cualquier robot, o \u00abgooglebot\u00bb si las directrices son \u00fanicamente para el robot de Google.<\/li>\n
- Escribe las reglas que debe interpretar el user-agent. Utilizando los comandos que te mostr\u00e9 anteriormente, establece qu\u00e9 URL prefieres que Google no rastree.<\/li>\n
- A\u00f1ade la ruta del sitemap de tu sitio.<\/li>\n
- Guarda el archivo con el nombre robots.txt y s\u00fabelo a la ra\u00edz de tu sitio. Esto puedes hacerlo mediante una conexi\u00f3n FTP o utilizando el \u00abAdministrador de archivos\u00bb si utilizas un hosting cPanel<\/a>.<\/li>\n
- Comprueba si es archivo robots.txt es legible o presenta alg\u00fan error desde la herramienta Robots Testing Tools<\/strong><\/a> de Google Search Console<\/li>\n<\/ol>\n
Aqu\u00ed tienes un ejemplo de un archivo robots.txt sencillo:<\/p>\n
![\"Ejemplo](\"https:\/\/www.lucushost.com\/blog\/wp-content\/uploads\/2022\/08\/ejemplo-archivo-robots-txt.png\" "\\"\\"")
<\/p>\nCrear el archivo robots.txt en WordPress<\/span><\/h2>\n
Teniendo en cuenta que WordPress es el gestor de contenidos<\/a><\/strong> m\u00e1s utilizado para crear p\u00e1ginas web, es importante aclarar que, aunque este gestor de contenidos no genera el archivo robots.txt por defecto durante la instalaci\u00f3n, muchos plugins, como Yoast o Rank Math<\/a><\/strong> lo hacen autom\u00e1ticamente por ti.<\/p>\n
\u00bfVemos c\u00f3mo la hacen?<\/p>\n
Crear el archivo robots.txt con Yoast SEO<\/span><\/h3>\n
Si tienes instalado Yoast SEO en tu aplicaci\u00f3n, puedes crear y modificar este archivo en solo un par de clics. De hecho, es as\u00ed de sencillo:<\/p>\n
- \n
- Accede al panel de administraci\u00f3n de WordPress y, en el men\u00fa lateral, haz clic en \u00abYoast SEO\u00bb para abrir la configuraci\u00f3n del plugin.<\/li>\n
- Abre la secci\u00f3n \u00abTools\u00bb o \u00abHerramientas\u00bb y selecciona la segunda opci\u00f3n \u00abFile editor\u00bb.<\/li>\n
- Desde aqu\u00ed ver\u00e1s que Yoast SEO te da la opci\u00f3n de crear el archivo robots.txt pulsando en el bot\u00f3n \u00abCreate robots.txt file\u00bb.<\/li>\n
- Por defecto, se genera un archivo robots.txt como este, pero puedes a\u00f1adir nuevas directrices o eliminar las que no se ajusten a tu sitio.
![\"Archivo](\"https:\/\/www.lucushost.com\/blog\/wp-content\/uploads\/2022\/08\/archivo-robots-txt-yoast-seo.png\" "\\"\\"")
<\/li>\n<\/ol>\nCrear el archivo robots.txt con Rank Math<\/span><\/h3>\n
- Comprueba si es archivo robots.txt es legible o presenta alg\u00fan error desde la herramienta Robots Testing Tools<\/strong><\/a> de Google Search Console<\/li>\n<\/ol>\n
- *<\/strong>: el asterisco representa \u00abtodos\u00bb.<\/li>\n
- Puedes crear un archivo robots.txt para un subdominio que aplique \u00fanicamente a ese subdominio. Por ejemplo, https:\/\/shop.tudominio.com\/robots.txt ser\u00eda v\u00e1lido para el subdominio shop.tudominio.com<\/em>.<\/li>\n<\/ul>\n
- Optimizaci\u00f3n del rendimiento del sitio:<\/strong> Al restringir el rastreo de ciertas secciones del sitio, como scripts, hojas de estilo o p\u00e1ginas duplicadas, puedes reducir la carga en tu servidor. Esto es especialmente relevante para sitios grandes o con muchos recursos, ya que los rastreadores pueden consumir ancho de banda y recursos del servidor.<\/li>\n
- \u00bfTe ha resultado complicado crear un archivo robots.txt para tu web?<\/a><\/li><\/ul><\/div>\n\n
- Crear el archivo robots.txt con Rank Math<\/a><\/li><\/ul><\/li>
- Comando Disallow<\/a><\/li>
- Estructura del archivo<\/a><\/li>
- \u00bfPor qu\u00e9 es importante el archivo robots.txt?<\/a><\/li>
- No confundas noindex con robots.txt<\/a><\/li><\/ul><\/li>
![\"Crear](\"https:\/\/www.lucushost.com\/blog\/wp-content\/uploads\/2022\/08\/crear-archivo-robots-txt-rank-math.png\" "\\"\\""){kind=icon}
<\/li>\n<\/ol>\n![\"Probador](\"https:\/\/www.lucushost.com\/blog\/wp-content\/uploads\/2022\/08\/probador-robots-txt-search-console.png\" "\\"\\"")
<\/p>\n