Skip to content
Beginner / 5 min read

Comment configurer les proxys résidentiels Smartproxy sur Windows pour le scraping web

Un tutoriel Windows adapté aux débutants pour configurer les proxys résidentiels Smartproxy et les utiliser dans des workflows de scraping avec navigateur, cURL, Python Requests et Scrapy.

Windows SOCKS5 HTTP(S) Scraping Web

Aperçu

Smartproxy fournit des proxys résidentiels et datacenter avec prise en charge de HTTP et SOCKS5. Ce tutoriel montre comment utiliser les proxys résidentiels Smartproxy sur Windows pour le scraping web. Vous récupérerez vos identifiants de proxy, testerez la connexion et configurerez les outils de scraping courants. Les étapes utilisent des espaces réservés : HOST, PORT, USERNAME et PASSWORD. Remplacez-les par les valeurs de votre compte Smartproxy.

Étapes

  1. Vérifiez les prérequis. Vous avez besoin d'un compte Smartproxy avec les proxys résidentiels activés, d'une machine Windows 10 ou 11 et d'un outil de scraping tel que Python Requests, Scrapy ou un navigateur. Les proxys résidentiels Smartproxy prennent en charge HTTP et SOCKS5, choisissez donc le protocole que votre outil gère le mieux. Les proxys datacenter sont également disponibles si vous avez besoin d'IP non résidentielles plus rapides.

  2. Récupérez les détails de votre proxy. Connectez-vous à votre compte Smartproxy et localisez le point d'accès du proxy résidentiel. Notez le nom d'hôte ou l'adresse IP, le port pour HTTP ou SOCKS5, ainsi que le nom d'utilisateur et le mot de passe. Si vous utilisez l'authentification par IP au lieu du nom d'utilisateur/mot de passe, notez la configuration de l'IP en liste blanche. Gardez ces détails à portée de main.

  3. Testez le proxy avec cURL. Ouvrez l'invite de commandes ou PowerShell. Pour un proxy HTTP, exécutez : curl -x http://USERNAME:PASSWORD@HOST:PORT https://httpbin.org/ip Pour un proxy SOCKS5, exécutez : curl --socks5 HOST:PORT -U USERNAME:PASSWORD https://httpbin.org/ip La réponse doit afficher une adresse IP différente de la vôtre. Si l'authentification échoue, vérifiez le nom d'utilisateur, le mot de passe et le port.

  4. Configurez un navigateur manuellement. Pour Chrome ou Edge, ouvrez Paramètres Windows > Réseau et Internet > Proxy et définissez un proxy HTTP manuel avec votre hôte et votre port Smartproxy. Pour SOCKS5, utilisez un navigateur qui prend en charge SOCKS5 directement, comme Firefox : Paramètres > Paramètres réseau > Configuration manuelle du proxy, puis saisissez l'hôte et le port SOCKS5. Si vous utilisez l'extension de navigateur Smartproxy, installez-la depuis le magasin d'extensions de votre navigateur et suivez plutôt les invites de l'extension.

  5. Configurez Python Requests. Installez Requests et la dépendance SOCKS si nécessaire : pip install requests requests[socks] Utilisez ensuite un dictionnaire proxies. Pour HTTP : proxies = {'http': 'http://USERNAME:PASSWORD@HOST:PORT', 'https': 'http://USERNAME:PASSWORD@HOST:PORT'} Pour SOCKS5 : proxies = {'http': 'socks5://USERNAME:PASSWORD@HOST:PORT', 'https': 'socks5://USERNAME:PASSWORD@HOST:PORT'} Passez proxies=proxies à requests.get() ou requests.post().

  6. Configurez Scrapy. Dans votre projet Scrapy, ouvrez settings.py et définissez HTTPPROXY_ENABLED = True. Ajoutez votre proxy aux métadonnées de la requête, par exemple : yield scrapy.Request(url, meta={'proxy': 'http://USERNAME:PASSWORD@HOST:PORT'}) Pour SOCKS5, utilisez socks5://USERNAME:PASSWORD@HOST:PORT et installez la bibliothèque PySocks.

  7. Utilisez la rotation ou les sessions persistantes si votre compte les inclut. Smartproxy peut fournir des points d'accès rotatifs ou des identifiants de session dans votre compte. Si disponibles, configurez la rotation en utilisant le point d'accès rotatif, ou conservez une session en ajoutant le paramètre de session au nom d'utilisateur ou au point d'accès, comme documenté dans votre compte Smartproxy. En cas de doute, commencez par le point d'accès standard et testez.

  8. Gérez les erreurs et les limites de débit. Définissez des délais d'attente dans votre outil de scraping, interceptez les erreurs de connexion proxy et réessayez avec une nouvelle requête si nécessaire. Respectez le fichier robots.txt et les conditions d'utilisation du site cible. Ajoutez des délais entre les requêtes pour éviter de déclencher des limites de débit. Les proxys résidentiels sont souvent plus adaptés aux sites qui bloquent les IP de datacenter.

  9. Vérifiez et dépannez. Réexécutez le test cURL après la configuration. Si l'IP ne change pas, confirmez que votre outil utilise le proxy. Vérifiez les fautes de frappe, assurez-vous que le port correspond au protocole et vérifiez que votre pare-feu Windows ou votre antivirus ne bloque pas la connexion. Pour les sites HTTPS, un proxy HTTP utilise la méthode CONNECT ; si votre outil ne prend pas en charge CONNECT, utilisez SOCKS5.

  10. Mettez à l'échelle avec prudence. Commencez par quelques requêtes simultanées, puis augmentez lentement. Surveillez les taux de réussite et les codes de réponse. Si vous avez besoin de nombreuses IP, le pool résidentiel de Smartproxy comprend plus de 65 millions d'IP selon le fournisseur, mais utilisez toujours le pool de manière responsable et dans les limites de votre forfait.