Skip to content
Beginner / 4 min read

So richten Sie Smartproxy Residential-Proxies unter Windows für Web Scraping ein

Ein anfängerfreundliches Windows-Tutorial zum Konfigurieren von Smartproxy Residential-Proxies und zu deren Verwendung in Browser-, cURL-, Python-Requests- und Scrapy-Scraping-Workflows.

Windows SOCKS5 HTTP(S) Web Scraping

Überblick

Smartproxy bietet Residential- und Datacenter-Proxies mit HTTP- und SOCKS5-Unterstützung. Dieses Tutorial zeigt, wie Sie Smartproxy Residential-Proxies unter Windows für Web Scraping verwenden. Sie rufen Ihre Proxy-Anmeldedaten ab, testen die Verbindung und konfigurieren gängige Scraping-Tools. Die Schritte verwenden Platzhalter: HOST, PORT, USERNAME und PASSWORD. Ersetzen Sie sie durch die Werte aus Ihrem Smartproxy-Konto.

Schritte

  1. Bestätigen Sie die Voraussetzungen. Sie benötigen ein Smartproxy-Konto mit aktivierten Residential-Proxies, einen Windows-10- oder -11-Rechner und ein Scraping-Tool wie Python Requests, Scrapy oder einen Browser. Smartproxy Residential-Proxies unterstützen HTTP und SOCKS5. Wählen Sie daher das Protokoll, das Ihr Tool am besten unterstützt. Datacenter-Proxies sind ebenfalls verfügbar, wenn Sie schnellere, nicht-residentielle IPs benötigen.

  2. Rufen Sie Ihre Proxy-Details ab. Melden Sie sich bei Ihrem Smartproxy-Konto an und suchen Sie den Residential-Proxy-Endpunkt. Notieren Sie den Hostnamen oder die IP-Adresse, den Port für HTTP oder SOCKS5 sowie den Benutzernamen und das Passwort. Wenn Sie die IP-Authentifizierung anstelle von Benutzername/Passwort verwenden, notieren Sie die Whitelist-IP-Einrichtung. Halten Sie diese Details bereit.

  3. Testen Sie den Proxy mit cURL. Öffnen Sie die Eingabeaufforderung oder PowerShell. Für einen HTTP-Proxy führen Sie Folgendes aus: curl -x http://USERNAME:PASSWORD@HOST:PORT https://httpbin.org/ip Für einen SOCKS5-Proxy führen Sie Folgendes aus: curl --socks5 HOST:PORT -U USERNAME:PASSWORD https://httpbin.org/ip Die Antwort sollte eine IP-Adresse anzeigen, die sich von Ihrer eigenen unterscheidet. Wenn die Authentifizierung fehlschlägt, überprüfen Sie Benutzername, Passwort und Port.

  4. Konfigurieren Sie einen Browser manuell. Öffnen Sie für Chrome oder Edge die Windows-Einstellungen > Netzwerk & Internet > Proxy und legen Sie einen manuellen HTTP-Proxy mit Ihrem Smartproxy-Host und -Port fest. Verwenden Sie für SOCKS5 einen Browser, der SOCKS5 direkt unterstützt, wie Firefox: Einstellungen > Netzwerkeinstellungen > Manuelle Proxy-Konfiguration, und geben Sie dann den SOCKS5-Host und -Port ein. Wenn Sie die Smartproxy-Browsererweiterung verwenden, installieren Sie sie aus dem Erweiterungsstore Ihres Browsers und folgen Sie stattdessen den Aufforderungen der Erweiterung.

  5. Konfigurieren Sie Python Requests. Installieren Sie Requests und die SOCKS-Abhängigkeit, falls erforderlich: pip install requests requests[socks] Verwenden Sie dann ein Proxies-Wörterbuch. Für HTTP: proxies = {'http': 'http://USERNAME:PASSWORD@HOST:PORT', 'https': 'http://USERNAME:PASSWORD@HOST:PORT'} Für SOCKS5: proxies = {'http': 'socks5://USERNAME:PASSWORD@HOST:PORT', 'https': 'socks5://USERNAME:PASSWORD@HOST:PORT'} Übergeben Sie proxies=proxies an requests.get() oder requests.post().

  6. Konfigurieren Sie Scrapy. Öffnen Sie in Ihrem Scrapy-Projekt settings.py und setzen Sie HTTPPROXY_ENABLED = True. Fügen Sie Ihren Proxy zum Request-Meta hinzu, zum Beispiel: yield scrapy.Request(url, meta={'proxy': 'http://USERNAME:PASSWORD@HOST:PORT'}) Verwenden Sie für SOCKS5 socks5://USERNAME:PASSWORD@HOST:PORT und installieren Sie die Bibliothek PySocks.

  7. Verwenden Sie Rotation oder Sticky Sessions, wenn Ihr Konto diese enthält. Smartproxy stellt möglicherweise rotierende Endpunkte oder Sitzungs-IDs in Ihrem Konto bereit. Falls verfügbar, konfigurieren Sie die Rotation mithilfe des rotierenden Endpunkts oder behalten Sie eine Sitzung bei, indem Sie den Sitzungsparameter zum Benutzernamen oder Endpunkt hinzufügen, wie in Ihrem Smartproxy-Konto dokumentiert. Wenn Sie unsicher sind, beginnen Sie mit dem Standard-Endpunkt und testen Sie.

  8. Behandeln Sie Fehler und Rate Limits. Legen Sie Timeouts in Ihrem Scraping-Tool fest, fangen Sie Proxy-Verbindungsfehler ab und wiederholen Sie die Anfrage bei Bedarf mit einer neuen. Respektieren Sie die robots.txt und die Nutzungsbedingungen der Zielwebsite. Fügen Sie Verzögerungen zwischen Anfragen hinzu, um das Auslösen von Rate Limits zu vermeiden. Residential-Proxies sind oft besser für Websites, die Datacenter-IPs blockieren.

  9. Überprüfen und beheben Sie Probleme. Führen Sie den cURL-Test nach der Konfiguration erneut aus. Wenn sich die IP-Adresse nicht ändert, bestätigen Sie, dass Ihr Tool den Proxy verwendet. Suchen Sie nach Tippfehlern, stellen Sie sicher, dass der Port zum Protokoll passt, und überprüfen Sie, ob Ihre Windows-Firewall oder Ihr Antivirusprogramm die Verbindung blockiert. Für HTTPS-Websites verwendet ein HTTP-Proxy die CONNECT-Methode; wenn Ihr Tool CONNECT nicht unterstützt, verwenden Sie SOCKS5.

  10. Skalieren Sie sorgfältig. Beginnen Sie mit wenigen gleichzeitigen Anfragen und erhöhen Sie dann langsam. Überwachen Sie Erfolgsraten und Antwortcodes. Wenn Sie viele IPs benötigen, umfasst der Residential-Pool von Smartproxy laut Anbieter 65 Mio.+ IPs, aber verwenden Sie den Pool stets verantwortungsvoll und im Rahmen Ihrer Tarifgrenzen.