Einstellungen und Verifikation

Einstellungen sind der Datenvertrag künftiger Läufe

Eine Änderung wirkt nicht rückwirkend auf gespeicherte Crawls. Sie bestimmt, welche URLs ein neuer Lauf entdecken, zulassen, abrufen und gegebenenfalls rendern darf. Dokumentiere den Wechsel, wenn alte und neue Evidenz gemeinsam berichtet wird.

URL-Limit und Tiefe begrenzen unterschiedliche Dinge

Das URL-Limit deckelt die zugelassenen Seiten und damit Evidenz sowie mögliche Kosten. Die Tiefe begrenzt die Entfernung vom Startpunkt. Ein hohes URL-Limit kompensiert keinen zu flachen Entdeckungsweg, und große Tiefe garantiert keine Aufnahme außerhalb der übrigen Regeln.

Pfadregeln brauchen Tests mit echten URLs

Ein- und Ausschlüsse formen den Scope vor der Auswertung. Prüfe typische, grenzwertige und unerwünschte URLs. Schon ein kleines Musterproblem kann ein Verzeichnis unbemerkt ausschließen oder einen endlosen Parameterraum zulassen.

Dokumentiere Änderungen an Ein- und Ausschlussregeln, wenn du einen Vergleich zwischen Crawl-Läufen planst.

Rendering folgt einer bewussten Richtlinie

Deaktiviert nutzt die abgerufene HTML-Antwort. Geeignet rendert nur ausgewählte Seiten und reserviert in der Schätzung aktuell 25 Prozent des Limits. Erforderlich plant Rendering für alle zugelassenen Seiten. Tatsächliche Rendering-Einheiten werden terminal abgerechnet.

Robots-Verhalten verändert die beobachtbare Site

Die gewählte Policy legt fest, wie robots.txt in der Sammlung berücksichtigt wird. Ein blockierter Bereich kann weiterhin als Scope-Grenze sichtbar sein, liefert aber nicht dieselbe Seitenevidenz wie ein erfolgreicher Abruf. Quick Checks respektieren robots.txt immer.

Wähle eine der drei unterstützten Verifizierungsmethoden

Die Challenge ist kurzlebig und servergebunden

Token, Site und Methode gehören zusammen; die Challenge läuft nach sieben Tagen ab. Crawl Foundry prüft den Nachweis serverseitig und setzt erst dann verified oder admin_approved. Entferne den Nachweis nicht vorschnell, wenn spätere Prüfungen ihn erneut benötigen.

Quick Checks reduzieren Risiko durch feste Grenzen

Der Modus begrenzt sich auf 100 URLs, Tiefe zwei, Rendering aus, geringe Parallelität, mindestens 1.000 Millisekunden Abstand und kleine Batches. Verwende die Ergebnisse als öffentliche Probe mit eingeschränkter Abdeckung.

Lass den Server den wirksamen Scope schätzen

Tarifdefaults, Control-Plane-Overrides, URL-Limit und Rendering beeinflussen die Schätzung. Die Reservierung schützt vor einer unfinanzierten Ausführung; die endgültige Abrechnung folgt den tatsächlichen auditieren und gerenderten Einheiten.

Verifizierung hebt technische Sperren nicht auf

Eigentumsnachweis erlaubt den vollständigen Modus, garantiert aber keinen Zugriff durch Firewall, Authentifizierung, Rate Limit, robots.txt oder Netzwerkpolicy. Solche Grenzen gehören als Laufproblem in die Bewertung der Abdeckung.

Behandle eine Scope-Änderung wie eine Messmethodenänderung

Beispiel: Einen Crawl auf einen Bereich eingrenzen

Häufige Fragen