Hay dos maneras de evitar que nuestros rastreadores accedan a ciertas partes de tu sitio web: mediante el archivo robots.txt del sitio web, y mediante la Lista de exclusión de URLs de ContentKing.

IMPORTANTE: cuando utilices alguno de los métodos de arriba para excluir ciertas partes de tu sitio web de la monitorización, todos los datos que ContentKing haya recogido de las URLs determinadas hasta ese momento será eliminado. Aunque siempre puedes retomar la monitorización de estas URLs, estos datos no podrán ser restablecidos.

Utilizar la Lista de exclusión de URLs

El método más fácil de configurar es nuestra Lista de exclusión de URLs. En la aplicación dirígete a los ajustes del sitio web mediante Cuenta > Sitios web. En la parte de abajo de la página haz clic en "Configurar la lista de exclusión de URLs". En la primera pantalla se muestra una breve explicación de la Lista de exclusión de URLs.

Si el sitio web contiene un archivo robots.txt, ContentKing mostrará las directivas que encuentre aquí en la siguiente pantalla: el segundo paso. Utiliza este paso para seleccionar qué directivas quieres importar (si es necesario).

ContentKing URL pattern

Si así lo deseas, utiliza la siguiente pantalla para añadir tus propios modelos de URL para excluirlos de la monitorización. La Lista de exclusión se basa en el formato robots.txt. Si has importado directivas robots.txt preexistentes también se mostrarán aquí.

Una vez que todo esté configurado como quieres, haz clic en "Aplicar cambios", y las URLs serán excluidas del rastreo en los siguientes minutos.

Utilizar robots.txt

La segunda manera de evitar que ContentKing monitorice ciertas partes de tu sitio web es mediante el archivo robots.txt.  Sin embargo, ya que uno de los usos de ContentKing es la detección de archivos robots.txt configurados incorrectamente, ignoramos el comodín en las cadenas de user-agent. Para dirigirte a nuestros rastreadores, es mejor utilizar la cadena usuario-agente KingKevinBot.

User-agent: KingKevinBot
Disallow: /admin

Nuestros rastreados respaldan el formato robots.txt.

Comenzar tus 14 días de prueba gratuita

Comience en tan solo 20 segundos

Ponga un nombre de dominio válido, por favor (www.ejemplo.es).
  • No se requiere ninguna tarjeta de crêdito
  • No hay que instalar nada
  • Sin compromiso