El rastreo y la indexación en pocas palabras

Toma el control de los procesos de rastreo e indexación en tu sitio web al comunicarle tus preferencias a los motores de búsqueda.

Esto les ayudará a entender en qué partes de tu sitio web deben centrarse y cuáles deben ignorar. Existen muchos métodos para hacerlo; ¿cuál usar en cada momento?

En este artículo discutimos en qué momento utilizar cada uno de los métodos e incluimos sus pros y sus contras.

 

Los motores de búsqueda rastrean billones de páginas cada día. Sin embargo, indexan menos páginas de las que rastrean, y muestran aún menos páginas en sus resultados. Tu posiblemente querrás que tus páginas se encuentren entre estas últimas. Entonces, ¿cómo puedes controlar todo este proceso y mejorar tu posicionamiento en los ranking?

Para responder a esta pregunta, primero necesitamos echarle un vistazo a los procesos de rastreo e indexación y a su funcionamiento. Después, discutiremos todos los métodos que puedes utilizar para controlarlos.

¿Cómo funciona el rastreo?

Los rastreadores de los motores de búsqueda se encargan de encontrar y rastrear todas las URLs posibles. Lo hacen para ver si ver si hay contenido nuevo ahí fuera. Estas URLs pueden ser tanto nuevas o ya conocidas. Los rastreadores encuentran nuevas URLs al rastrear páginas que ya conocían, y tras el rastreo, pasan los resultados al indexador. Las páginas que pueden ser rastreadas por motores de búsqueda se denominan comúnmente rastreables.

¿Cómo funciona la indexación?

Los indexadores reciben el contenido de las URLs desde los rastreadores. Los indexadores se encargan de darle sentido al contenido al analizarlo (incluyendo los posibles enlaces que aparezcan). El indexador procesa las URLs canónicas y determina la autoridad de cada URL. A su vez, el indexador también determina si una página debería ser indexada o no. Las páginas que pueden ser indexadas por motores de búsqueda se denominan comúnmente indexables.

Tras ser rastreada, la página es remitida a los indexadores.
Tras ser rastreada, la página es remitida a los indexadores.

Los indexadores también analizan páginas web y ejecutan JavaScript. Si al final del proceso se ha encontrado algún enlace, este se pasa de vuelta al rastreador.

Gerry White
Gerry White

Asegúrate de que tu sitio es fácilmente rastreable y de que no se desperdicia crawl budget. Ya sabemos que Google tiene una capacidad de rastreo increíble, pero especialmente para grandes sitios web de eCommerce realmente merece la pena asegurarse de que Google rastrea e indexa las páginas correctas. Con esto se mejora la relevancia, conversión y consecuentemente los ingresos.

Kevin Indig
Kevin Indig

Controlar la indexación consiste el asegurar que tu crawl budget se utiliza en tus páginas más fructíferas. Pero aún hay más: se trata de mostrarle a tus usuarios solo tu mejor contenido y productos.

¿Cómo controlar el rastreo y la indexación?

Controla los procesos de rastreo e indexación dejándole tus preferencias claras a los motores de búsqueda. Al hacerlo, les ayudas a entender qué partes de tu sitio web son las más importantes para ti.
En este capítulo cubriremos todos los métodos y cuál es mejor usar en cada momento. Además hemos creado una tabla para ilustrar qué pueden y qué no pueden hacer.

Empecemos explicando algunos conceptos:

  • Rastreable: ¿son los motores de búsqueda capaces de rastrear la URL?
  • Indexable: ¿son los motores de búsqueda capaces de indexar la URL?
  • Evita contenido duplicado:  ¿previene este método la aparición de contenido duplicado?
  • Consolida las señales: ¿son los motores de búsqueda capaces de consolidar la relevancia tópica y las señales de autoridad de la URL, según lo definido por el contenido y  enlaces de la URL?

Además, es importante entender qué es el crawl budget. El crawl budget es la cantidad de tiempo invertido por los motores de búsqueda en tu sitio web. Tú quieres que inviertan este tiempo de manera adecuada, y para ello puedes darle algunas instrucciones.

Barry Adams
Barry Adams

Para los sitios web más grandes puede ser complicado lograr el equilibrio entre el intento de los motores de búsqueda de rastrear e indexar todas las páginas necesarias, sin a su vez bloquear demasiadas páginas. Idealmente, una estructura de web bien elaborada debería evitar muchos de los problemas de rastreo a largo plazo, pero hay veces que el uso de robots.txt nos puede servir. También me gusta utilizar rel=nofollow para enlaces específicos que no quiero que los motores de búsqueda rasteen, como en el caso de la navegación facetada.

Métodos para controlar el rastreo y la indexación

Rastreable Indexable Previene contenido duplicado Consolida señales
Robots.txt no no yes no
Directivas robots
(Encabezados meta y HTTP)
yes no yes no
URL canónica
(Enlace y enzabezado de HTTP)
yes no yes yes
Atributo hreflang yes yes yes no
Atributos de paginación yes yes yes yes
Atributo móvil yes yes yes no
Herramientas Webmaster no no yes yes
Autenticación HTTP no no yes no
David Iwanow
David Iwanow

A los motores de búsqueda no se les da mal decidir que páginas rastrear e indexar, pero es más recomendable comunicarles tus preferencias de rastreo e indexación. Así sabrán en qué páginas deben centrarse y cuáles deben ignorar durante el rastreo, lo que resultará en una indexación más eficiente con menos páginas basura indexadas.

Robots.txt

Controlling crawling and indexing with robots.txt.

El archivo robots.txt es una localización central que aporta las reglas básicas para los rastreadores . Llamamos directivas a estas reglas.  Si quieres evitar que los rastreadores rastreen ciertas URLs, el robots.txt es tu mejor opción.

Si los rastreadores no pueden rastrear y solicitar el contenido de una URL, el indexador nunca será capaz de analizar sus contenidos y enlaces. Esto puede prevenir contenido duplicado, y a su vez significa que esta URL nunca podrá ser incluida en los rankings. Además, los motores de búsqueda no serán capaces de consolidar relevancia tópica ni señales de autoridad ya que no saben lo que hay en la página, por lo que estas señales se perderán

La chuleta definitiva para el rastreo y la indexación

¿Sueles tardar mucho en decidir qué método usar para controlar los motores de búsqueda? ¡Ahorra tiempo y elige el método adecuado!

Por favor introduzca una dirección de correo electrónico válida

Un ejemplo de cómo usar robots.txt
La sección de administración de un sitio web es un buen ejemplo de donde puedes utilizar el archivo robots.txt para hacerla inaccesible para los rastreadores. Digamos que la sección de administración  se encuentra en:https://www.ejemplo.es/admin/.

Evita que los rastreadores accedan a esta sección utilizando la siguiente directiva en tu robots.txt:

Disallow /admin
¿No puedes cambiar tu archivo robots.txt? Utiliza la directiva robots noindex en la sección/admin.

Notas importantes
Recuerda que las URLs que están desautorizadas para ser rastreadas aún pueden aparecer en los resultados de búsqueda. Esto ocurre cuando las URLs están enlazadas desde otras páginas, o ya eran conocidas por los motores de búsqueda antes de que se hiciesen inaccesibles mediante robots.txt. En este caso, los motores de búsqueda mostrarían algo como esto:

Page is inaccessible through robots.txt

Robots.txt no puede resolver contenido duplicado ya existente. Los motores de búsqueda no se olvidan de una URL simplemente porque ya no puedan acceder a ella.

Añadiendo una URL canónica o un atributo meta robot noindex a una URL que ha sido bloqueada mediante robots.txt no hará que sea desindexada. Los motores de búsqueda no sabrán jamás de tu solicitud de desindexación porque tu archivo robots.txt esta evitando que lo descubran.

El archivo robots.txt es una herramienta esencial para optimizar el crawl budget de tu sitio web. Utilizando el archivo robots.txt puedes decirle a los motores de búsqueda que no deben rastrear las partes de tu sitio web que son irrelevantes para ellos.

El archivo robots.txt es capaz de:

  • Prevenir que los motores de búsqueda rastreen ciertas partes de tu sitio web, de forma que mantenga el crawl budget.
  • Evitar que los motores de búsqueda indexen ciertas partes de tu sitio web, siempre que no haya enlaces hacia ellas.
  • Evitar la aparición de nuevo contenido duplicado.

El archivo robots.txt no es capaz de:

  • Consolidar la relevancia y señales de autoridad.
  • Eliminar contenido que ya ha sido indexado*

* Aunque Google respalda la directiva noindex y eliminará contenido, no está recomendado utilizar estar este método ya que es un estándar no oficial, solo respaldado por Google y no 100% infalible. Utilízalo sólo cuando no puedas usar directivas robots o URLs canónicas.

¿Quieres leer más acerca de robots.txt?
Échale un vistazo a la guía definitiva sobre robots.txt.

Paddy Moogan
Paddy Moogan

Por experiencia sé que Googlebot puede ser muy agresivo al rastrear URLs si dejas que averigüe las cosas por sí mismo. Cualquier cosa que se parezca mínimamente a una URL en tu código fuente puede ser rastreada, y yo les he visto "probar" URLs que no parecen existir. Para la mayor parte de sitios esto no supone un gran problema, pero si tu sitio web tiene más de unos miles de páginas, deberías pensar en controlar Googlebot y asegurarte de que pasa todo el tiempo posible rastreando las URLs que te importan.

Directivas robots

Controlling crawling and indexing with Meta Robots noindex.

Las directivas robots se encargan de darle instrucciones a los motores de búsqueda acerca de cómo indexar páginas mientras que las mantienen accesibles para los visitantes. Normalmente se utilizan para comunicar a los motores de búsqueda que no deben indexar ciertas páginas. Cuando se trate de indexar, es una señal más fuerte que la de la URL canónica.

Para páginas, normalmente se incluye la directiva robots en la fuente utilizando la metaetiqueta robots. Para usarlas en otros documentos como PDF o imágenes, se utiliza el encabezado X-Robots-Tag HTTP.

Un ejemplo del uso de las directivas robots
Imagina que tienes diez páginas de aterrizaje para el tráfico de Google AdWords. Has copiado el contenido desde otras páginas y simplemente lo has modificado ligeramente. No quieres que estas páginas de aterrizaje sean indexadas ya que esto daría lugar a la aparición de contenido duplicado, por lo que incluyes la directiva robots con el atributo noindex.

Notas importantes 
La directiva robots te ayuda a prevenir contenido duplicado, pero no otorga relevancia ni autoridad a la URL. Esto se ha perdido.

Aparte de ordenar a los motores de búsqueda que no indexen una página, la directiva robots noindex también disuade a motores de búsqueda de rastrear la página. Esto mantiene parte del crawl budget.

Al contrario de lo que su nombre podría indicar, el atributo nofollow de la directiva robots no afecta al proceso de rastreo de la página que contiene el atributo nofollow. Sin embargo, al utilizar el atributo nofollow se consigue que los motores de búsqueda no usen los enlaces en esta página para rastrear otras páginas, por lo que no transmitirán autoridad a estas otras páginas.

La directiva robots es capaz de:

  • Prevenir que los motores de búsqueda indexen ciertas partes de tu sitio web.
  • Prevenir problemas de contenido duplicado.

La directiva robots no es capaz de:

  • Evitar que los motores de búsqueda rastreen ciertas partes de tu sitio web, lo que mantiene el crawl budget.
  • Consolidar la mayoría de las señales de autoridad y relevancia.

¿Quieres leer más acerca de las directivas robots?
Échale un vistazo a la guía definitiva de las metaetiquetas robots.

Omi Sido
Omi Sido

"Tu contenido no vale para nada si Googlebot ignora las secciones clave de tu sitio web simplemente porque no es capaz de entender la estructura de tu sitio web."

URLs canónicas

Controlling crawling and indexing with Canonical URLs.

Una URL canónica dirige los motores de búsqueda hacia la versión canónica de una página de forma que esta sea la indexada. La URL canónica puede referenciarse a sí misma o a otras páginas. Si para los visitantes de la página es útil poder acceder a varias versiones de esta, y tú quieres que los motores de búsqueda traten todas las versiones como una sola, la URL canónica es tu mejor opción. Cuando una página referencia a otra utilizando una URL canónica, la mayoría de su relevancia y autoridad es atribuida a la URL de destino.

Un ejemplo de cómo utilizar una URL canónica
Imagina que tienes un sitio web de comercio electrónico con un mismo producto en tres categorías. Este producto será accesible a partir de tres URLs diferentes. Esto no es problema para los visitantes, pero los motores de búsqueda deberían centrarse solo en rastrear e indexar una URL. Elige una de las categorías como la principal y canonicaliza las otras dos categorías hacia ella.

Notas importantes
Asegúrate de implementar redirecciones de tipo 301 en las URLs que ya no son de utilidad para los visitantes para dirigirlas a la versión canónica. Esto te permite atribuirle toda su relevancia y autoridad a la versión canónica. Además esto te ayudará a que otros sitios web enlacen a la versión canónica.

Una URL canónica es una guía más que una directiva. Los motores de búsqueda pueden decidir ignorarla.

Utilizar una URL canónica mantendrá el crawl budget ya que no evita que los motores de búsqueda rastreen las páginas. Sin embargo, evita que estas páginas aparezcan en los resultados de búsqueda ya que están vinculadas a la versión canónica de la URL.
indexen otras versiones de las páginas.

La URL canónica es capaz de:

  • Evitar que los motores de búsqueda indexen ciertas partes de tu sitio web.
  • Evitar los problemas de contenido duplicado.
  • Consolidar la mayor parte de las señales de autoridad y relevancia.

La URL canónica no es capaz de:

  • Evitar que los motores de búsqueda rastreen ciertas partes de tu sitio web, por tanto preservando el crawl budget.

¿Quieres leer más acerca de las URLs canónicas?
Échale un vistazo a la guía definitiva sobre la URL canónica.

Atributo hreflang

Controlling crawling and indexing with hreflang.

El atributo rel=“alternate” hreflang=“x” atributohreflangpara abreviar, se utiliza para comunicarle a los motores de búsqueda en que idioma está tu contenido y a que región geográfica está destinado. Si estás usando el mismo contenido, o similar, para dirigirte a varias regiones geográficas, hreflang tu mejor opción. El atributo hreflang te permite posicionarte con el mismo contenido en cada uno de los mercados.

Sin embargo no previene el contenido duplicado, tener dos páginas con exactamente el mismo contenido para España y, por ejemplo, Argentina aún puede considerarse contenido duplicado. Aparte del contenido duplicado, lo más importante es que tu contenido encaje con el público. Para asegúrarte de que tu público se siente como en casa, tener texto e imágenes (algo) distintas para España y Argentina es recomendable.

Un ejemplo del uso de hreflang
Cuando te diriges a varios mercados de habla inglesa utilizando diferentes subdominios para cada uno de ellos. Cada subdominio contiene el mismo contenido:

  • www.ejemplo.com para el mercado estadounidense
  • ca.ejemplo.com para el mercado canadiense
  • uk.ejemplo.com para el mercado británico
  • au.ejemplo.com para el mercado australiano

Así, puedes posicionarte en cada uno de los mercados con el mismo contenido sin causar contenido duplicado. Es aquí donde entra en juego hreflang.

El atributo hreflang es capaz de:

  • Dirigirse a diferentes públicos con el mismo contenido.
  • Prevenir problemas de contenido duplicado.

El atributo hreflang no es capaz de:

  • Evitar que los motores de búsqueda rastreen ciertas partes de tu sitio web, manteniendo el crawl budget.
  • Evitar que los motores de búsqueda indexen ciertas partes de tu sitio web.
  • Consolidar señales de relevancia y autoridad.

¿Quieres leer más acerca del atributo hreflang?
Échale un vistazo a la guía definitiva sobre el atributo hreflang.

Atributos de paginación

Controlling crawling and indexing with rel=“prev” and rel=“next”.

Los atributos rel=“prev” y rel=“next”, o atributos de paginación para abreviar, se utilizan para comunicarle a los motores de búsqueda la relación entre una serie de páginas. Para series de páginas similares, como páginas de blogs, o páginas de categorías de productos, es muy recomendable utilizar los atributos de paginación. Los motores de búsqueda entenderán que se trata de páginas muy similares, evitando problemas de contenido duplicado.

En la mayoría de casos, los motores de búsqueda no incluiran en los rankings otras páginas que no sean la primera de la serie de páginas.

Los atributos de paginación son capaces de:

  • Prevenir problemas de contenido duplicado.
  • Consolidar señales de relevancia y autoridad.

Los atributos de paginación no son capaces de:

  • Prevenir que los motores de búsqueda rastreen ciertas partes de tu sitio web, mantenido el crawl budget.
  • Prevenir que los motores de búsqueda indexen ciertan partes de tu sitio web.

¿Quieres leer más acerca de los atributos de paginación?
Échale un vistazo a la guía definitiva acerca de la paginación.

Atributo móvil

Controlling crawling and indexing with rel=“alternate” mobile attribute.

El atributo rel=“alternate” mobile, o simplemente atributo móvil, se encarga de comunicarle a los motores de búsqueda la relación entre la versión de un sitio web para móvil y la versión para ordenador. Ayuda a los motores de búsqueda a mostrar la versión correcta para cada dispositivo a la vez que previene los problemas de contenido duplicado.

El atributo mobile es capaz de:

  • Prevenir problemas de contenido duplicado.
  • Consolidar las señales de autoridad y relevancia.

El atributo mobile no es capaz de:

  • Prevenir que los motores de búsqueda rastreen ciertas partes de tu sitio web, mantenido el crawl budget.
  • Prevenir que los motores de búsqueda indexen ciertas partes de tu sitio web.

¿Quieres leer más acerca del atributo rel=”alternate” mobile?

Échale un vistazo a la guía definitiva acerca del atributo rel=”alternate” mobile.

Gestión de parámetros en Herramientas Webmaster

Controlling crawling and indexing with Webmaster Tools.

Si no eres capaz de realizar cambios (rápidamente) en tu sitio web, puedes configurar la gestión de parámetros en Google Search Console y Bing Webmaster Tools. La gestión de parámetros establece como deberían tratar los motores de búsqueda a aquellas URLs que contienen parámetros. Utilizando esta herramientas le puedes indicar a Google y Bing qué URLs no deben rastrear y/o indexar.

Para configurar la gestión de parámetros necesitas URLs que sean identificables mediante un patrón. La gestión de parámetros sólamente debería utilizarse en ciertas situaciones, como para clasificar, filtrar, traducir o guardar datos de sesión.

Nota importante
Recuerda que configurar esta herramienta para Google o Bing no afectará a la manera en que otros motores de búsqueda rastrearán tu sitio web.

La gestión de parámetros es capaz de:

  • Prevenir que los motores de búsqueda rastreen ciertas partes de tu sitio web, mantenido el crawl budget.
  • Prevenir que los motores de búsqueda indexen ciertas partes de tu sitio web.
  • Prevenir problemas de contenido duplicado.
  • Consolidar las señales de autoridad y relevancia.

La gestión de parámetros no es capaz de:

  • Permitirte configurar rastreo e indexación para URLs individuales.

Autenticación HTTP

Controlling crawling and indexing with HTTP authentication.

La autenticación HTTP necesita que usuarios o máquinas inicien sesión para poder tener acceso un sitio web o a parte de él. Aquí mostramos un ejemplo de cómo se ve:

Authentication required

Sin un usuario y una contraseña, tú o un robot no seríais capaces de pasar más allá de la pantalla de inicio de sesión, ni podríais acceder al contenido. La autenticación HTTP es una manera de mantener lejos de, por ejemplo, entornos de prueba, a visitantes indeseados, tanto humanos como rastreadores de motores de búsqueda. Google recomienda utilizar la autenticación HTTP para prevenir que rastreadores de motores de búsqueda entren en entornos de prueba:

Si tienes contenido privado o confidencial que no quieres que se muestre en los resultados de Búsqueda de Google, la forma más sencilla y eficaz de bloquear URL privadas para que no se muestren es guardarlas en un directorio protegido con contraseña en el servidor del sitio. Ni el robot de Google ni el resto de rastreadores web pueden acceder al contenido que se encuentra en directorios protegidos con contraseña.

La autenticación HTTP es capaz de:

  • Prevenir que los motores de búsqueda rastreen ciertas partes de tu sitio web, mantenido el crawl budget.
  • Prevenir que los motores de búsqueda indexen ciertas partes de tu sitio web.
  • Prevenir problemas de contenido duplicado.

La autenticación HTTP no es capaz de:

  • Consolidar las señales de autoridad y relevancia.

La chuleta definitiva del rastreo y la indexación

¡Elige rápidamente el método adecuado para encargarte de los problemas de rastreo e indexación!

Por favor introduzca una dirección de correo electrónico válida

Realiza búsquedas como lo hacen motores de búsqueda: ponte en su lugar

¿Cómo ven tus páginas los motores de búsqueda y son procesadas? Ponte en su lugar utilizando sus herramientas de "Explorar y procesar"
La herramienta de Google "Explorar como Googlebot" es la más conocida. Se encuentra en Google Search Console y te permite introducir una URL de tu sitio para que Google te muestre lo que sus rastreadores ven en esta URL, y cómo la procesan. Puedes hacerlo para tanto ordenadores como dispositivos móviles. Echa un vistazo a qué aspecto tiene:

Explorando una URL

Procesando una URL

Es un buen método para comprobar si las URLs están respondiendo según lo previsto, así como para forzar la indexación de la URL ("Solicitar indexación"). En unos segundos se puede rastrear e indexar una URL. Aunque no se procesará su contenido, ni se reajustarán los rankings de forma inmediata, esto te permitirá acelerar los procesos de rastreo e indexación.

Otras situaciones en las que Explora como Googlebot resulta útil

Explora como Googlebot no sólo es útil para acelerar los procesos de rastreo e indexación de una URL determinada, sino que también te permite:

  1. Acelerar el descubrimiento de nuevas secciones de tu sitio webExplora la URL desde la que las nuevas secciones se enlazan y elige "Solicitar index" con la opción de "Rastrear esta URL y sus enlaces directos"
  2. Controla las experiencias móviles que los usuarios tienen en tu sitio:
    Explora una URL como "Mobile: smartphone".
  3. Comprueba si las redirecciones de tipo 301 funcionan correctamente.
    Introduce una URL y comprueba la respuesta de encabezado.

Notas:

  • La situación 3 se puede hacer más fácilmente en grandes cantidades con ContentKing.
  • Google te permite indexar 500 URLs al mes.
  • Google te permite indexar 10 URLs al mes y rastrear todas las URLs enlazadas desde estas.
  • Bing tiene una herramienta parecida, llamada "Explorar como Bingbot".

Preguntas más frecuentes acerca de rastreo e indexación

1.¿Con qué frecuencia rastrea Google mi sitio web?

Google Search Console comparte sus medidas de rastreo contigo. Para comprobarlo sigue estas instrucciones:

  1. Inicia sesión en Google Search Console y selecciona un sitio web.
  2. Dirígete “Rastreo” > “Estadísticas de rastreo” y aquí encontrarás con qué frecuencia rastrea Google tu sitio web.

Si eres bastante experto en tecnología, puedes encontrar la frecuencia con la que rastrea Google tu sitio web analizando los archivos de acceso de tu sitio web.

No cuesta nada que Google determine cómo de frecuentemente debería rastrear tu sitio web utilizando el crawl budget para tu sitio web.

2.¿Puedo ralentizar los rastreadores cuando están rastreando mi sitio web?

A pesar de que no está recomendado para Google y Bing, puedes usar la directiva crawl-delay robots.txt para conseguirlo. Nosotros nunca recomendaríamos configurarlo para Google o Bing, ya que sus rastreadores son suficientemente eficientes como para saber cuando tu sitio web está en un momento complicado y en ese caso volver más tarde.

3. ¿Cómo puedo evitar que los motores de búsqueda rastreen un sitio o página web?

Hay varias formas de prevenir que los motores de búsqueda rastreen ciertas partes de tu sitio web, o páginas específicas:

  • Robots.txt: se pueden usar para prevenir el rastreo de un sitio web entero, partes de este, o páginas individuales.
  • Gestión de parámetros: se pueden usar para prevenir el rastreo de URLs que contienen un parámetro determinado.
  • Autenticación HTTP: se puede utilizar para prevenir el rastreo de un sitio web entero, de partes de este, o de páginas individuales.

4. ¿Qué significa indexar un sitio web?

Indexar recoge las acciones que llevan a cabo los operadores de motores de búsqueda para determinar el contenido de un sitio web de forma que pueda ser encontrado por sus motores de búsqueda.

5. ¿Es mi sitio web indexable por motores de búsqueda?

La mejor manera de responder a esto es crear una cuenta en ContentKing para evaluar como de indexable es tu sitio web para los motores de búsqueda.  Como has podido leer arriba, hay muchas maneras de influir en cómo los motores de búsqueda indexan tu sitio web.

6. ¿Con qué frecuencia indexa Google mi sitio web?

Con la misma frecuencia con la que Google rastrea tu sitio web. Sus rastreadores transmiten lo que han encontrado a los indexadores, que se encargan de indexar sitio web.

7. ¿Cuánto tardará Google en indexar mi nuevo sitio web?

No hay una sola respuesta para esta pregunta, ya que depende de la promoción del nuevo sitio web. La promoción acelera los procesos de rastreo e indexación. Si haces esto bien, un sitio web pequeño puede ser indexado en una hora. Por el contrario, puede llevar hasta meses indexar por completo un sitio web nuevo.

Recuerda que aunque los motores de búsqueda indexen tu sitio web, no significa que tus páginas vayan a estar bien posicionadas de inmediato. Conseguir un buen posicionamiento lleva mucho más tiempo.

8. ¿Cómo evito que los motores de búsqueda indexen un sitio o página web?

Se puede evitar que los motores de búsqueda indexen un sitio o página web utilizando cualquiera de estos métodos:

  • La metaetiqueta robots noindex: es una señal muy potente para los motores de búsqueda que les impede indexar una página. No le transmite relevancia o autoridad a otras páginas.
  • Una URL canónica: es una señal moderadamente potente para los motores de búsqueda que les indica que páginas indexar y a cuáles atribuir relevancia y autoridad.
  • Autenticación HTTP: solo prevendrá el rastreo e indexación de nuevas páginas desde el punto de vista del SEO. Aun así es una buena idea utilizar la autenticación HTTP en entornos de prueba para mantener a usuarios y motores de búsqueda lejos.
  • Robots.txt: solo se pueden utilizar para prevenir el rastreo e indexación de nuevas páginas.
  • Gestión de parámetros: se puede utilizar para evitar el rastreo e indexación de URLs que contienen un cierto parámetro.

Comenzar tus 14 días de prueba gratuita

Comience en tan solo 20 segundos

Ponga un nombre de dominio válido, por favor (www.ejemplo.es).
  • No se requiere ninguna tarjeta de crêdito
  • No hay que instalar nada
  • Sin compromiso