Skip to content
Intermediate / 2 min read

Proxies résidentiels rotatifs pour le scraping web avec ChangeMyIP

Mettez en place un workflow de scraping web respectueux en utilisant les proxies résidentiels rotatifs ChangeMyIP, Python et des points de terminaison HTTP ou SOCKS5.

SOCKS5 HTTP(S) Scraping Web Confidentialité/Anonymat

Aperçu

Ce tutoriel présente une configuration pratique de scraping web utilisant les proxies résidentiels rotatifs ChangeMyIP. ChangeMyIP propose des proxies résidentiels, des IP rotatives, des proxies de centre de données et plusieurs protocoles, notamment HTTP et SOCKS5. Vous utiliserez Python pour envoyer des requêtes via ChangeMyIP et gérer la rotation, les nouvelles tentatives et la validation. Examinez toujours les conditions d'utilisation et le fichier robots.txt du site cible avant de procéder au scraping.

Étapes

  1. Connectez-vous à ChangeMyIP et identifiez votre point de terminaison de proxy résidentiel. Si votre offre inclut des IP rotatives, copiez l'hôte et le port rotatifs. Sinon, préparez une liste de points de terminaison fixes depuis votre compte.
  2. Installez les dépendances Python : pip install requests requests[socks]
  3. Stockez vos identifiants ChangeMyIP dans des variables d'environnement : export CMY_HOST=your-host export CMY_PORT=your-port export CMY_USER=your-username export CMY_PASS=your-password
  4. Créez une session Python et configurez un proxy HTTP : proxies = {'http': f'http://{user}:{password}@{host}:{port}', 'https': f'http://{user}:{password}@{host}:{port}'}
  5. Si vous préférez SOCKS5, utilisez une URL de proxy socks5h:// avec les mêmes identifiants ChangeMyIP.
  6. Envoyez une requête de test à un point de terminaison de vérification d'IP et confirmez que l'IP appartient à ChangeMyIP.
  7. Pour la rotation, utilisez le point de terminaison rotatif ChangeMyIP s'il est disponible, ou alternez entre vos points de terminaison fixes. Reconstruisez l'URL du proxy pour chaque requête.
  8. Ajoutez des délais d'attente, des nouvelles tentatives et un backoff exponentiel. Considérez les réponses HTTP 407, 429 et 5xx comme des signaux pour ralentir ou changer de point de terminaison.
  9. Définissez des en-têtes normaux ressemblant à ceux d'un navigateur uniquement lorsque cela est approprié pour votre cas d'utilisation. N'usurpez pas les en-têtes pour dénaturer votre identité lorsque cela enfreint la politique du site.
  10. Validez les réponses en vérifiant les codes de statut et le contenu de la page. Journalisez le point de terminaison proxy utilisé afin de pouvoir déboguer les échecs.
  11. Respectez les limites de débit et les conditions d'utilisation. Les proxies rotatifs sont un outil de collecte de données autorisée, pas pour contourner les contrôles d'accès.