Skip to content
Intermediate / 2 min read

Rotierende Residential-Proxies für Web Scraping mit ChangeMyIP

Erstellen Sie einen respektvollen Web-Scraping-Workflow mit rotierenden Residential-Proxies von ChangeMyIP, Python und HTTP- oder SOCKS5-Endpunkten.

SOCKS5 HTTP(S) Web Scraping Privatsphäre/Anonymität

Überblick

Dieses Tutorial behandelt eine praktische Web-Scraping-Einrichtung mit rotierenden Residential-Proxies von ChangeMyIP. ChangeMyIP bietet Residential-Proxies, rotierende IPs, Datacenter-Proxies und mehrere Protokolle, darunter HTTP und SOCKS5. Sie verwenden Python, um Anfragen über ChangeMyIP zu senden und Rotation, Wiederholungsversuche und Validierung zu handhaben. Prüfen Sie vor dem Scraping stets die Nutzungsbedingungen und die robots.txt der Zielwebsite.

Schritte

  1. Melden Sie sich bei ChangeMyIP an und identifizieren Sie Ihren Residential-Proxy-Endpunkt. Wenn Ihr Tarif rotierende IPs umfasst, kopieren Sie den rotierenden Host und Port. Andernfalls bereiten Sie eine Liste fester Endpunkte aus Ihrem Konto vor.
  2. Installieren Sie die Python-Abhängigkeiten: pip install requests requests[socks]
  3. Speichern Sie Ihre ChangeMyIP-Zugangsdaten in Umgebungsvariablen: export CMY_HOST=your-host export CMY_PORT=your-port export CMY_USER=your-username export CMY_PASS=your-password
  4. Erstellen Sie eine Python-Session und konfigurieren Sie einen HTTP-Proxy: proxies = {'http': f'http://{user}:{password}@{host}:{port}', 'https': f'http://{user}:{password}@{host}:{port}'}
  5. Wenn Sie SOCKS5 bevorzugen, verwenden Sie eine socks5h://-Proxy-URL mit denselben ChangeMyIP-Zugangsdaten.
  6. Senden Sie eine Testanfrage an einen IP-Prüfendpunkt und bestätigen Sie, dass die IP zu ChangeMyIP gehört.
  7. Verwenden Sie für die Rotation den rotierenden ChangeMyIP-Endpunkt, falls verfügbar, oder wechseln Sie zyklisch durch Ihre festen Endpunkte. Erstellen Sie die Proxy-URL für jede Anfrage neu.
  8. Fügen Sie Timeouts, Wiederholungsversuche und exponentielles Backoff hinzu. Behandeln Sie HTTP-407-, 429- und 5xx-Antworten als Signale, um langsamer zu werden oder Endpunkte zu wechseln.
  9. Setzen Sie normale, browserähnliche Header nur, wenn dies für Ihren Anwendungsfall angemessen ist. Fälschen Sie keine Header, um Ihre Identität falsch darzustellen, wenn dies gegen die Richtlinien der Website verstößt.
  10. Validieren Sie Antworten, indem Sie Statuscodes und Seiteninhalt prüfen. Protokollieren Sie den verwendeten Proxy-Endpunkt, damit Sie Fehler debuggen können.
  11. Respektieren Sie Ratenbegrenzungen und Nutzungsbedingungen. Rotierende Proxies sind ein Werkzeug für autorisierte Datenerfassung, nicht zum Umgehen von Zugriffskontrollen.