Ajustes de crawl y verificación de dominio
Para un sitio nuevo, sigue el proceso de configuración del rastreo antes de reutilizar las reglas de otro sitio.
Crawl acotado
Evidencia rastreable
Verificación comparable
Los ajustes son el contrato de los futuros crawls
No reescriben runs guardados. Determinan qué URL puede descubrir, admitir, recoger y renderizar un run nuevo. Documenta cualquier cambio usado en informes longitudinales.
Límite y profundidad acotan dimensiones distintas
El límite acota páginas admitidas, evidencia y coste potencial. La profundidad limita distancia desde el inicio. Aumentar uno no elimina una restricción del otro.
El servidor también aplica los límites efectivos del plan y su máximo absoluto. Una URL descubierta por encima del límite sigue siendo un dato de cobertura, no una página fallida.
Prueba las reglas de ruta con URL reales
Comprueba casos típicos, fronterizos y no deseados. Un pequeño error de patrón puede excluir un directorio entero o admitir un espacio infinito de parámetros.
Documenta los cambios en las reglas de inclusión y exclusión al planificar una comparación entre rastreos.
El renderizado tiene política y coste propios
Disabled usa HTML recogido. Eligible estima el 25 % del límite renderizado; required prevé todas las páginas admitidas. La liquidación final usa unidades realmente renderizadas.
La política robots cambia el sitio observable
Una zona bloqueada puede quedar visible como límite sin aportar la evidencia de un fetch correcto. Los Quick checks respetan robots.txt siempre.
En un crawl completo, la política guardada forma parte del contrato del run. Mantén el mismo comportamiento al comparar y documenta cualquier cambio que altere qué zonas podían observarse.
Elige una verificación compatible
| Método | Uso |
|---|---|
| Metaetiqueta CMS | Publicar el valor exacto en el head de inicio. |
| Archivo HTML | Servir el archivo indicado en la raíz. |
| DNS TXT | Demostrar control de DNS considerando propagación. |
El challenge caduca y queda unido al servidor
Token, sitio y método forman un conjunto y caducan tras siete días. Crawl Foundry solo asigna verified o admin_approved después de comprobarlo en el servidor.
Los límites de Quick check reducen riesgo
Cien URL, profundidad dos, renderizado apagado, concurrencia baja, un segundo mínimo y lotes pequeños acotan esta muestra pública. Declara siempre su cobertura.
La estimación usa la configuración efectiva
Defaults, overrides, límite y renderizado cambian la cotización. La reserva financia admisión; la liquidación terminal sigue páginas auditadas y renderizadas reales.
Verificar no elimina bloqueos técnicos
Firewall, autenticación, rate limit, robots y red todavía pueden impedir recogida. Incluye estas barreras al valorar cobertura.