Réglages du crawl et vérification du domaine
Pour un nouveau site, suivez le parcours de configuration du crawl avant de reprendre les règles d'un site existant.
Crawl borné
Preuves traçables
Vérification comparable
Les réglages sont le contrat des futurs crawls
Ils ne réécrivent pas les runs enregistrés. Ils déterminent quelles URL un nouveau run peut découvrir, admettre, récupérer et rendre. Documentez tout changement utilisé dans un rapport longitudinal.
Plafond et profondeur bornent deux dimensions
Le plafond limite pages admises, preuves et coût potentiel. La profondeur limite la distance depuis le départ. Augmenter l’un ne répare pas automatiquement une restriction de l’autre.
Le serveur applique aussi les limites effectives du plan et son plafond absolu. Une URL découverte au-delà du plafond reste un fait de couverture, pas une page échouée.
Tester les règles de chemin sur de vraies URL
Vérifiez cas typiques, limites et indésirables. Une petite erreur de motif peut exclure tout un répertoire ou admettre un espace infini de paramètres.
Documentez les changements de règles d'inclusion et d'exclusion lors de la comparaison de plusieurs crawls.
Le rendu suit une politique et une facturation propres
Disabled utilise le HTML récupéré. Eligible estime 25 % du plafond rendu; required prévoit toutes les pages admises. Le règlement final suit les unités réellement rendues.
La politique robots change le site observable
Une zone interdite peut être visible comme limite sans fournir la même preuve de page qu’un fetch réussi. Les Quick checks respectent toujours robots.txt.
Choisir une méthode de vérification prise en charge
| Méthode | Usage |
|---|---|
| Balise meta CMS | Publier une valeur exacte dans le head de la page d’accueil. |
| Fichier HTML | Servir un fichier imposé directement à la racine. |
| DNS TXT | Prouver le contrôle de la zone DNS en tenant compte de la propagation. |
Le challenge expire et reste lié au serveur
Token, site et méthode forment un ensemble et expirent après sept jours. Crawl Foundry ne passe à verified ou admin_approved qu’après la vérification serveur.
Les limites du Quick check réduisent le risque
Cent URL, profondeur deux, rendu désactivé, concurrence faible, délai minimal d’une seconde et petits lots bornent ce sondage public. Qualifiez toujours sa couverture.
L’estimation serveur utilise la configuration effective
Defaults de plan, overrides, plafond et rendu modifient le devis. La réservation finance l’admission; le règlement terminal utilise les unités auditées et rendues.
La vérification ne supprime pas les blocages techniques
Firewall, authentification, rate limit, robots et réseau peuvent encore empêcher la collecte. Ces limites doivent apparaître dans la lecture de couverture.