Crawl Foundry
Operaciones SEO

Sitios, verificación y configuración del crawl

Sites y setup definen qué propiedad puede rastrear Crawl Foundry, cómo se demuestra control y qué evidencia puede recoger un futuro run.

Revisa los ajustes de rastreo y la verificación del sitio antes de iniciar una ejecución que servirá de referencia.

Crawl acotado

Mantén propiedad, autorización, run y cobertura visibles.

Evidencia rastreable

Pasa de resúmenes a reglas, URL, enlaces, assets y hechos guardados.

Verificación comparable

Confirma un cambio en otro run con alcance equivalente.

Mantén cada propiedad auditada en su contexto

Un sitio pertenece a un workspace y conserva URL base, autorización, verificación, ajustes, calendarios e historial. Separa los hosts cuya propiedad, tecnología o ciclo de entrega requiera investigaciones diferentes.

  • Los planes actuales permiten por defecto 3, 5, 10 o 50 sitios Site Audit activos por organización.
  • La vista Sites une cada propiedad con su último run conservado; las fechas de crawl pueden variar entre filas.
  • Un sitio bloqueado no puede ejecutar crawls y uno no verificado sigue limitado a la muestra pública.

Confirma sitio y run antes de leer resultados

El sitio determina la propiedad autorizada; el run, la observación guardada. Cambiar de run cambia el contexto de todas las vistas asociadas sin alterar su evidencia histórica.

Un ajuste puede cambiar después. Aun así, el run conserva la política aplicada, el límite solicitado, la estimación, los contadores y las marcas de tiempo necesarias para explicar lo que ocurrió.

El setup expone cada decisión de alcance

1
Elige crawl completo o Quick check público.
2
Introduce sitio, protocolo y host correctos.
3
Completa la verificación del servidor para el modo completo.
4
Define límite, profundidad, rutas, robots y renderizado.
5
Revisa estimación, saldo y límites antes de iniciar.

La verificación demuestra control en el servidor

Se admite una metaetiqueta del CMS, un archivo HTML en la raíz o un registro DNS TXT. El challenge queda unido al sitio y método y caduca a los siete días. La interfaz no puede marcar por sí sola el sitio como verificado.

Un intento fallido guarda la hora, un código y un mensaje limitado. Revisa protocolo, host, HTML desplegado, propagación DNS, método y caducidad antes de concluir que la propiedad no puede verificarse.

Quick check reduce el alcance a propósito

Admite hasta 100 URL, profundidad dos, sin renderizado, concurrencia dos, al menos un segundo entre solicitudes y lotes de 25. Siempre respeta robots.txt y sirve como muestra pública, no como auditoría completa.

Define la frontera de evidencia antes de empezar

AjusteEfecto
URL baseFija punto de partida, protocolo y host.
Límite de URLAcota páginas admitidas, evidencia y coste potencial.
ProfundidadAcota distancia de descubrimiento.
Rutas incluidasDeterminan qué zonas internas se pueden admitir tras normalizarlas.
Rutas excluidasRetiran de forma explícita zonas del conjunto rastreable.
RobotsDefine cómo afectan las restricciones a la recogida.
RenderizadoDefine qué páginas pueden aportar evidencia renderizada.

Plan y workspace imponen máximos reales

Un crawl completo nunca supera 5.000 URL. Los defaults actuales son 500, 1.000, 2.500 o 5.000 páginas por crawl y 3, 5, 10 o 50 sitios según plan. Un valor efectivo del control plane puede sustituirlos y es el que manda en producto.

Las URL descubiertas por encima del límite admitido siguen siendo un dato de cobertura. No son páginas fallidas ni deben sumarse en silencio al denominador de páginas rastreadas.

El renderizado cambia evidencia y estimación

Eligible reserva actualmente renderizado para el 25 % del límite; required, para todas las páginas admitidas. El cierre cobra unidades auditadas y renderizadas reales y libera reserva no usada cuando corresponde.

El renderizado puede cambiar metadatos, enlaces, recursos, datos estructurados y hallazgos. Mantén la misma política al comparar runs y no atribuyas evidencia de navegador a un crawl que lo tenía desactivado.

Separa estimación, reserva y liquidación

El servidor estima antes de admitir, reserva saldo al empezar y liquida unidades reales al terminar. La estimación no es coste final ni prueba de ejecución del worker.

El ledger del run separa reserva, trabajo auditado, unidades renderizadas, liquidación y posible liberación. Usa ese historial terminal para explicar un coste en vez de depender solo de la pantalla inicial.

Inicia con un contexto comprobable

1
Confirma propiedad, autorización y alcance.
2
Revisa estimación, saldo, cuotas y capacidad.
3
Comprueba que no haya otro run o informe activo del sitio.
4
Sigue admisión y dispatch después de solicitarlo.
5
Espera recogida y publicación secundaria antes de darlo por terminado.

Una solicitud guardada no demuestra ejecución

requested, reserved, dispatch_pending, queued, crawling, analyzing y completed son fases distintas. Revisa estado, contadores y publicación, no solo la respuesta exitosa al inicio.

Una vez disponible el informe, examina la cobertura y las estadísticas del rastreo antes de interpretar la puntuación de salud.

La retención conserva tendencias, no detalle infinito

Hay detalle completo hasta 30 días y para los diez runs terminales más recientes; compactación anunciada hasta 183 días; un ancla mensual apta hasta 365; eliminación después, salvo el último terminal del sitio. Cinco pins pueden retrasar compactación, no el límite anual.

Archivar activa otra vía de eliminación

Tras siete días de gracia, los datos del sitio archivado pasan a eliminación sin importar su edad. Revisa calendarios, comparaciones, exportaciones y necesidades de prueba. La evidencia de facturación sigue una retención separada.