Qué encontrará en este artículo

La metaetiqueta robots dice a los motores de búsqueda qué páginas deben indexar y de qué manera. Este artículo ofrece explicaciones de algunas de sus complejidades y sobre todo cómo utilizar la metaetiqueta de manera que sirva a su propósito.

¿Qué es la metaetiqueta robots?

La metaetiqueta robots puede concretar qué contenido deberían los motores de búsqueda indexar y visualizar a los usuarios en la página de resultados (SERP). Se encuentra en el código fuente de la página y se parece al siguiente trozo de código:

<meta name="robots" content="noindex,follow" />

En este ejemplo la metaetiqueta dice a los motores de búsqueda que no indexen la página, pero que sigan sus enlaces y que les pasen la autoridad. Estas instrucciones (noindex,follow) se llaman directivas y se los explicaremos más tarde.

Por qué debería saber utilizar la metaetiqueta robots

No importa si tiene su propio sitio web o si es un especialista SEO, siempre necesita dar claras señales a los motores de búsqueda acerca de la indexación del sitio web. La metaetiqueta robots se lo facilitará.

Aunque los motores de búsqueda evolucionaron muchísimo en cuanto a la comprensión de los sitios web, si se trata de la indexación no debería confiar exclusivamente en sus algoritmos. Usted debería decidir qué contenido será indexado y el cual no. Por eso la metaetiqueta robots debería formar parte integral de su arsenal SEO.

Se utiliza a menudo para prevenir problemas con el contenido duplicado - si tiene las páginas idénticas o muy similares accesibles a través de distintas URL (para los motores de búsqueda son señales contradictorias, lo que no es bueno).

Hay que mencionar sin embargo que existen otros medios (a menudo mejores) para prevenir los problemas con el contenido duplicado: por ejemplo URL canónicas y archivo robots.txt. La metaetiqueta robots se utiliza sobre todo en casos especiales que mostraremos más adelante. Primero focalicemos sus directivas.

Las directivas de las metaetiquetas robots

La metaetiqueta es tan eficaz sobre todo gracias a su universalidad. Aquí abajo encontrará una lista completa de las directivas que puede utilizar para comunicar a los motores de búsqueda sus preferencias acerca de la indexación.

noindex

La directiva noindex comunica a los motores de búsqueda que no muestren la página en los resultados de búsqueda.

nofollow

La directiva nofollow comunica a los robots que no sigan los enlaces en la página y no pasen ninguna autoridad de enlace.

none

La directiva none comunica a los motores de búsqueda que ignoren la página. Se utiliza también como alternativa de las directivas noindex y nofollow.

Protip: si utiliza la directiva none o las directivas noindex,nofollow se recomienda impedir el acceso a la página también en su archivo robots.txt.

noarchive

La directiva noarchive comunica a los motores de búsqueda que no muestren la versión de la página almacenada en caché.

nosnippet

La directiva nosnippet comunica a los motores de búsqueda que no muestren en los resultados los fragmentos del contenido de la página en vez de la meta descripción y adicionalmente previene el almacenamiento de la página en caché.

noodp

La directiva noodp impedía a los motores de búsqueda mostrar la descripción de DMOZ (proyecto de directorio abierto de enlaces administrado por voluntarios) en vez de la meta descripción en los resultados de la búsqueda. En mayo 2017 DMOZ terminó su actividad, por lo que esta directiva no se utiliza más.

notranslate

La directiva notranslate comunica a los motores de búsqueda que no ofrezcan una versión traducida de la página en los resultados de búsqueda.

unavailable_after

La directiva unavailable_after comunica a los motores de búsqueda que no muestren la página después de un tiempo determinado. La fecha/el tiempo deben tener el formato RFC 850.

index y all

Las directivas index y all comunican a los motores de búsqueda que quiere que indexen la página. Habitualmente no hay que indicarlo, ya que lo hacen automáticamente (si no lo prohíbe otra directiva).

follow y all

Las directivas follow y all comunican a los motores de búsqueda que sigan los enlaces en la página y que les pasen la autoridad. Aquí vale lo mismo que para la directiva index - los motores de búsqueda siguen los enlaces automáticamente, no hay que especificarlo.

Situaciones en las que debería utilizar la metaetiqueta robots

Aunque la metaetiqueta robots es un medio poderoso para dar instrucciones a los motores de búsqueda sobre la indexación de su contenido, habitualmente no se utiliza para este propósito. Si quiere que una página no sea indexada, utilice mejor el enlace canónico o impida el acceso a la página por completo en el archivo robots.txt. Solamente si no puede utilizar ni enlace canónico ni archivo robots.txt, utilice la metaetiqueta robots.

Un caso especial para utilizar la metaetiqueta robots es con las páginas provisionales. Si necesita publicar una página que todavía no está terminada y no tiene mucho contenido, la metaetiqueta robots es la solución apropiada para evitar su indexación.

Combinaciones de directivas en la metaetiqueta robots

Es normal que quiere dar a los robots que exploran su página varias instrucciones a la vez. La mejor manera de hacerlo es a través de la metaetiqueta robots utilizando las directivas que facilitan las acciones simultáneas.

Ejemplo:

<meta name="robots" content="noindex,nofollow” />

A veces puede dar a distintos motores de búsqueda distintas instrucciones. Las directivas noindex,nofollow en el siguiente ejemplo son válidas para Google, mientras que Bing y los otros motores de búsqueda pueden ignorar por completo la directiva noindex.

<meta name="robots" content="nofollow" /> <meta name="googlebot" content=“noindex" />

En caso de directivas contradictorias los crawlers obedecerán la directiva más restrictiva (lo mismo hacen en caso del archivo robots.txt).

Encabezado HTTP X-Robots-Tag

Si tiene otros archivos que HTML (imágenes, archivos PDF,...) que no deberían ser indexados, la mejor manera de impedirlo es a través del encabezado X-Robots-Tag. Cuando el servidor web responde a la demanda del navegador o del motor de búsqueda del usuario, no le envía solamente el contenido, sino también los encabezados HTTP. Con el encabezado HTTP X-Robots-Tag el servidor puede comunicar a los motores de búsqueda sus preferencias acerca de la indexación de distintos archivos - tanto HTML como los otros.

Si por ejemplo utiliza el servidor web Apache y quiere añadir X-Robots-Tag noindex,nofollow a la respuesta HTTP para todos los ficheros PDF, utilice lo siguiente:

<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex,nofollow" </Files>

Puede hacer lo mismo para las imágenes en formatos png, jpg y gif:

<Files ~ “\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>

Metaetiqueta robots vs encabezado X‑Robots‑Tag vs archivo robots.txt

Hay diferentes medios para comunicar a los motores de búsqueda sus preferencias acerca de la indexación. Cada uno tiene un objetivo especial. ¿Qué elegir entonces? Para ayudarle a responder esta pregunta, aquí está un corto resumen de cada método (la metaetiqueta robots, el encabezado X-Robots-Tag y el archivo robots.txt) con la explicación de dónde utilizar cada uno de ellos:

Metaetiqueta robots: se utiliza para comunicar sus preferencias acerca de la indexación de sus páginas. Gracias a esta metaetiqueta los motores de búsqueda pueden ignorar una página por completo o determinar qué enlaces hay que seguir y los cuales no.

Encabezado X-Robots-Tag: el encabezado X-Robots-Tag se parece a la metaetiqueta robots pero en vez de dar instrucciones en el código HTML hay que especificarlas en el nivel del servidor web. En caso de archivos PDF o de imágenes es la única opción de comunicarlo y esto es también el objetivo principal del encabezado X-Robots-Tag.

Robots.txt: el archivo robots.txt se utiliza para comunicar a los motores de búsqueda sus preferencias acerca del acceso a sus páginas. Debe saber que si les impide el acceso a sus páginas, nunca podrán indexar su contenido correctamente.

Preguntas frecuentes

Algunas de las preguntas más frecuentes acerca de la metaetiqueta robots:

  1. ¿Qué pasa si no hay espacios entre las directivas en la metaetiqueta robots?
  2. ¿Qué pasa si no hay comas entre las directivas en la metaetiqueta robots?
  3. ¿Tienen las mayúsculas alguna importancia?
  4. ¿Dónde puedo encontrar el encabezado X-Robots-Tag?
  5. ¿Explorarán los motores de búsqueda las páginas con la metaetiqueta robots?

1. ¿Qué pasa si no hay espacios entre las directivas en la metaetiqueta robots?

En realidad no es problema - ninguno de los motores de búsqueda principales toma en cuenta los espacios entre las directivas. No es criterio distintivo. Vea el siguiente ejemplo:

<HEAD> <meta name=”robots” content=”noarchive,noodp,noydir” /> </HEAD>

es lo mismo que

<meta name=”robots” content=”noarchive, noodp, noydir” />

2. ¿Qué pasa si no hay comas entre las directivas en la metaetiqueta robots?

Se recomienda utilizar las comas. Aunque Bing no hace diferencia si hay comas o no, para Google es importante. Esto ya es una razón suficiente para utilizarlas. Aquí un ejemplo CÓMO NO HACERLO:

<meta name=”robots” content=”noarchive noodp noydir” />

3. ¿Tienen las mayúsculas alguna importancia?

No. No importa si utiliza mayúsculas o minúsculas, Google, Yahoo y Bing reconocerán las directivas. Un ejemplo:

<meta name=”ROBOTS” content=”NOODP” /> <meta name=”robots” content=”noodp” /> <meta name=”robots” content=”NoOdp” />

4. ¿Dónde puedo encontrar el encabezado X‑Robots‑Tag?

Se halla entre los encabezados HTTP. No es tan fácil buscarlo en su navegador, por lo que recomendamos utilizar para este propósito una herramienta como ContentKing.

5. ¿Explorarán los motores de búsqueda las páginas con la metaetiqueta robots?

Si no hay ninguna directiva en su archivo robots.txt que impida la exploración de las páginas, los motores de búsqueda las explorarán.

Conclusión

La metaetiqueta robots es uno de los métodos de lucha contra el contenido duplicado. Si no quiere impedir la indexación de las páginas provisionales, es mejor utilizar o enlace canónico o hacerlo a través del archivo robots.txt. Pero si no se puede, la metaetiqueta robots es un medio seguro de tomar control sobre la indexación de su sitio web y de su visualización en los resultados de búsqueda.

Comenzar tus 14 días de prueba gratuita

Comience en tan solo 20 segundos

Ponga un nombre de dominio válido, por favor (www.ejemplo.es).
  • No se requiere ninguna tarjeta de crêdito
  • No hay que instalar nada
  • Sin compromiso