Überblick

Dieses Tutorial zeigt Ihnen, wie Sie Dataimpulse Residential-Proxies in Screaming Frog SEO Spider unter Windows für zuverlässiges SEO-Monitoring, Rank-Tracking und SERP-Analyse konfigurieren. Indem Sie Screaming Frog über die rotierenden Residential-IPs von Dataimpulse leiten, können Sie IP-basierte Sperren vermeiden und genaue Suchdaten in großem Umfang sammeln.

Dataimpulse bietet Pay-as-you-go-Residential- und Mobile-Proxies mit HTTP- und SOCKS5-Unterstützung sowie einen Pool von über 90 Mio. IPs. Ihre Residential-Proxies sind für hochvolumiges Web-Scraping und Datenerfassung optimiert und eignen sich daher gut für SEO-Crawls.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

Einen Computer mit Windows 10 oder Windows 11.
Screaming Frog SEO Spider installiert (Download von der offiziellen Website).
Ein Dataimpulse-Konto mit aktivierten Residential-Proxies (registrieren oder anmelden).
Ihre Dataimpulse-Proxy-Anmeldedaten: Host, Port, Benutzername und Passwort (in Ihrem Dashboard verfügbar).
Grundlegende Vertrautheit mit den Konfigurationsmenüs von Screaming Frog.

Schritt 1: Sammeln Sie Ihre Dataimpulse-Proxy-Anmeldedaten

Melden Sie sich in Ihrem Dataimpulse-Dashboard an und suchen Sie Ihre Proxy-Anmeldedaten. Sie benötigen:

Proxy-Host: Der Gateway-Hostname für Ihre Proxies (z. B. proxy.dataimpulse.com — prüfen Sie Ihr Dashboard auf den genauen Host).
Proxy-Port: Die Portnummer für HTTP oder SOCKS5 (z. B. 8000 oder 823).
Benutzername: Ihr Dataimpulse-Benutzername.
Passwort: Ihr Dataimpulse-Passwort.

Dataimpulse unterstützt sowohl HTTP- als auch SOCKS5-Protokolle. Für Screaming Frog ist HTTP die einfachste Option, da es ohne weitere Konfiguration mit den Proxy-Einstellungen des Tools funktioniert.

Schritt 2: Erstellen Sie eine Proxy-Listendatei

Screaming Frog akzeptiert eine Textdatei mit einem Proxy pro Zeile. Sie können jede Zeile als username:password@host:port oder host:port:username:password formatieren. Wir verwenden das erste Format.

Erstellen Sie eine neue Textdatei (z. B. dataimpulse_proxies.txt) und fügen Sie Ihren Proxy-Eintrag hinzu:

username:[email protected]:8000

Wenn Sie mehrere Proxies haben (z. B. verschiedene Ports für die Rotation), fügen Sie jeden in einer neuen Zeile hinzu. Speichern Sie die Datei an einem leicht auffindbaren Ort, z. B. C:\SEO\dataimpulse_proxies.txt.

Hinweis: Wenn Ihr Passwort Sonderzeichen wie @, :, oder / enthält, URL-kodieren Sie sie (z. B. wird @ zu %40). Dies ist wichtig für das Format username:password@host:port.

Schritt 3: Konfigurieren Sie Screaming Frog für die Verwendung der Proxy-Liste

Öffnen Sie Screaming Frog SEO Spider.
Gehen Sie zu Configuration > Proxy.
Wählen Sie im Tab Proxy die Option Use proxy list aus.
Klicken Sie auf Browse und wählen Sie Ihre Datei dataimpulse_proxies.txt aus.
Stellen Sie Proxy rotation auf Every request ein (oder Every N requests, wenn Sie dieselbe IP für einige Anfragen wiederverwenden möchten). Für SEO-Monitoring hilft die Rotation bei jeder Anfrage, die Last zu verteilen und Ratenlimits zu vermeiden.
Wenn Ihre Proxies eine Authentifizierung erfordern, stellen Sie sicher, dass die Felder Username und Password leer bleiben (da die Anmeldedaten in der Datei stehen) oder nur ausgefüllt werden, wenn Sie keine Proxy-Liste verwenden.
Klicken Sie auf OK, um zu speichern.

Schritt 4: Testen Sie die Proxy-Verbindung

Bevor Sie einen vollständigen Crawl ausführen, überprüfen Sie, ob Screaming Frog eine Verbindung über Dataimpulse herstellen kann. Sie können den Proxy unabhängig mit PowerShell oder curl testen.

Öffnen Sie PowerShell und führen Sie Folgendes aus:

curl -x http://username:[email protected]:8000 https://httpbin.org/ip

Ersetzen Sie username, password, proxy.dataimpulse.com und 8000 durch Ihre tatsächlichen Anmeldedaten. Die Antwort sollte eine andere IP-Adresse als Ihre lokale anzeigen, was bestätigt, dass der Proxy funktioniert.

Alternativ können Sie die integrierte Schaltfläche Test von Screaming Frog im Proxy-Konfigurationsfenster verwenden, um die Konnektivität zu prüfen.

Schritt 5: Führen Sie einen Test-Crawl aus

Geben Sie in Screaming Frog eine Test-URL (z. B. https://example.com) in die Adressleiste ein.
Klicken Sie auf Start, um einen Crawl zu starten.
Überwachen Sie den Fortschritt des Crawls. Wenn der Crawl ohne Fehler abgeschlossen wird und der Tab External Ergebnisse anzeigt, funktioniert der Proxy.
Um zu überprüfen, dass Anfragen über Dataimpulse geleitet werden, können Sie die Crawl-Protokolle prüfen oder einen IP-Prüfdienst als Ziel-URL verwenden (z. B. https://httpbin.org/ip) und die HTML-Antwort untersuchen.

Fehlerbehebung

Authentifizierungsfehler: Überprüfen Sie Ihren Benutzernamen und Ihr Passwort. Wenn Ihr Passwort Sonderzeichen enthält, URL-kodieren Sie sie in der Proxy-Listendatei.
Verbindungszeitüberschreitungen: Stellen Sie sicher, dass Proxy-Host und Port korrekt sind. Prüfen Sie, ob Ihre Firewall oder Ihr Antivirus den Netzwerkzugriff von Screaming Frog blockiert.
Von Zielwebsite blockiert: Einige Websites blockieren möglicherweise weiterhin Datacenter-IPs, aber Dataimpulse Residential-IPs werden seltener blockiert. Wenn Sie auf Sperren stoßen, reduzieren Sie die Crawl-Geschwindigkeit oder wechseln Sie zu Mobile-Proxies (auch bei Dataimpulse erhältlich).
Proxy-Rotation funktioniert nicht: Überprüfen Sie, ob die Proxy-Listendatei korrekt formatiert ist und ob Screaming Frog für die Verwendung der Liste konfiguriert ist. Wenn Sie Sitzungspersistenz benötigen, prüfen Sie Ihr Dataimpulse-Dashboard auf Sticky-Session-Endpunkte.
SSL-Fehler: Wenn SSL-Fehler angezeigt werden, stellen Sie sicher, dass Screaming Frog so konfiguriert ist, dass es dem Zertifikat des Proxys vertraut, oder deaktivieren Sie die SSL-Verifizierung vorübergehend zum Testen (nicht für die Produktion empfohlen).

Zusammenfassung

Sie haben Dataimpulse Residential-Proxies in Screaming Frog SEO Spider unter Windows konfiguriert. Dieses Setup ermöglicht es Ihnen, SEO-Crawls und Rank-Tracking-Aufgaben in großem Umfang auszuführen, ohne IP-basierte Sperren auszulösen. Denken Sie daran, Ihre Proxy-Nutzung zu überwachen, die Rotationseinstellungen nach Bedarf anzupassen und die Dataimpulse-Dokumentation für erweiterte Funktionen wie Sticky Sessions oder SOCKS5-Unterstützung zu konsultieren.