Comment utiliser les proxys SOCKS5 de ProxyScrape sur Windows Terminal et PowerShell pour le scraping web
Un guide pratique pour configurer les proxys SOCKS5 de ProxyScrape pour les outils en ligne de commande sous Windows, notamment curl, Windows Terminal et PowerShell, avec des stratégies de rotation pour le scraping web.
Aperçu
Ce tutoriel vous montre comment configurer les proxys SOCKS5 de ProxyScrape pour les outils en ligne de commande sous Windows, notamment Windows Terminal, PowerShell et curl. SOCKS5 est un protocole proxy polyvalent qui peut gérer tout type de trafic, ce qui le rend idéal pour le scraping web, les tests d'API et l'automatisation. Nous aborderons le test de votre proxy, la définition des variables d'environnement et la rotation des proxys pour le scraping à grande échelle.
ProxyScrape propose des proxys résidentiels, datacenter et mobiles avec prise en charge HTTP et SOCKS5. Leur pool de plus de 97 millions d'IP et leur disponibilité fiable en font un choix solide pour les équipes qui ont besoin d'une infrastructure fiable.
Prérequis
Avant de commencer, assurez-vous d'avoir :
- Un abonnement ProxyScrape actif (résidentiel, datacenter ou mobile).
- Les détails de votre point de terminaison SOCKS5 ProxyScrape : hôte, port, nom d'utilisateur et mot de passe.
- Windows 10 ou 11 avec Windows Terminal (ou Invite de commandes) et PowerShell.
- curl installé. Windows 10 (version 1803+) et Windows 11 incluent curl par défaut. Sinon, téléchargez-le depuis le site officiel de curl.
Étapes
1. Récupérer votre point de terminaison SOCKS5 ProxyScrape
Connectez-vous à votre tableau de bord ProxyScrape et accédez à la liste des proxys ou à la section des points de terminaison. Sélectionnez SOCKS5 comme protocole, puis copiez l'hôte, le port, le nom d'utilisateur et le mot de passe pour le type de proxy choisi (résidentiel, datacenter ou mobile). Vous pouvez également voir une liste de plusieurs points de terminaison si vous avez un plan rotatif.
2. Tester le proxy avec curl dans Windows Terminal
Ouvrez Windows Terminal (ou Invite de commandes) et exécutez une simple commande curl pour vérifier que le proxy fonctionne. Utilisez l'option --socks5-hostname pour acheminer également le DNS via le proxy.
curl --socks5-hostname username:password@host:port https://httpbin.org/ip
Remplacez username, password, host et port par vos identifiants réels. Si cela réussit, la réponse affichera l'adresse IP du proxy au lieu de la vôtre.
3. Configurer les variables d'environnement pour une utilisation système du proxy
De nombreux outils en ligne de commande respectent la variable d'environnement ALL_PROXY. Dans PowerShell, vous pouvez la définir pour la session en cours :
$env:ALL_PROXY = "socks5://username:password@host:port"
Pour l'Invite de commandes, utilisez :
set ALL_PROXY=socks5://username:password@host:port
Pour la rendre permanente, ajoutez-la à vos variables d'environnement système via les Paramètres Windows ou en utilisant setx. Notez que tous les outils ne prennent pas en charge SOCKS5 via les variables d'environnement, mais curl, wget et beaucoup d'autres le font.
4. Utiliser le SOCKS5 de ProxyScrape avec curl pour le scraping web
Une fois le proxy configuré, vous pouvez récupérer des pages web. Par exemple, pour enregistrer une page dans un fichier :
curl --socks5-hostname username:password@host:port -o output.html https://example.com
Si vous avez une liste de proxys (par exemple, une liste de points de terminaison rotatifs de ProxyScrape), vous pouvez les parcourir en boucle dans un script.
5. Acheminer Invoke-WebRequest de PowerShell via ProxyScrape
La commande Invoke-WebRequest de PowerShell ne prend pas en charge SOCKS5 nativement. Si vous devez utiliser les applets de commande PowerShell, utilisez plutôt un proxy HTTP. ProxyScrape fournit également des proxys HTTP ; vous pouvez utiliser votre point de terminaison HTTP avec Invoke-WebRequest :
Invoke-WebRequest -Uri "https://example.com" -Proxy "http://username:password@host:port"
Pour SOCKS5 dans PowerShell, appelez directement curl.exe comme indiqué à l'étape 2.
6. Utiliser SOCKS5 de ProxyScrape avec requests Python (Facultatif)
Si vous utilisez Python pour le scraping, installez la bibliothèque requests avec le support SOCKS :
pip install requests[socks]
Ensuite, utilisez le proxy dans votre script :
import requests
proxies = {
'http': 'socks5://username:password@host:port',
'https': 'socks5://username:password@host:port'
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.text)
7. Faire tourner les proxys pour le scraping à grande échelle
Pour les tâches importantes, alternez entre plusieurs proxys pour éviter les limites de débit. Créez un fichier texte proxies.txt avec un proxy par ligne au format host:port:username:password. Ensuite, utilisez un script PowerShell pour itérer :
$proxies = Get-Content proxies.txt
foreach ($proxy in $proxies) {
$parts = $proxy -split ':'
$host = $parts[0]
$port = $parts[1]
$user = $parts[2]
$pass = $parts[3]
$proxyUrl = "socks5://${user}:${pass}@${host}:${port}"
$env:ALL_PROXY = $proxyUrl
curl.exe -s --socks5-hostname "${user}:${pass}@${host}:${port}" https://httpbin.org/ip
}
Adaptez le script à votre cible de scraping.
Dépannage
- Connexion refusée : Vérifiez que l'hôte et le port sont corrects et que votre IP est autorisée si nécessaire.
- Échec de l'authentification : Vérifiez votre nom d'utilisateur et votre mot de passe. Les caractères spéciaux peuvent nécessiter un encodage URL (par exemple,
@devient%40). - Erreurs de résolution DNS : Utilisez toujours
--socks5-hostnameavec curl pour laisser le proxy résoudre le DNS. - Performances lentes : Essayez les proxys datacenter pour la vitesse ; les proxys résidentiels sont plus furtifs mais plus lents.
- Variables d'environnement ne fonctionnant pas : Certains outils ignorent
ALL_PROXY. Utilisez plutôt des options en ligne de commande.
Résumé
Vous avez appris à utiliser les proxys SOCKS5 de ProxyScrape avec des outils en ligne de commande sous Windows, notamment curl, Windows Terminal et PowerShell. Nous avons couvert le test de votre proxy, la définition des variables d'environnement, la rotation des proxys pour le scraping et les contournements pour les applets de commande PowerShell. L'infrastructure fiable de ProxyScrape et son large pool de plus de 97 millions d'IP en font un choix solide pour le scraping web et l'automatisation. Pour des configurations plus avancées, envisagez d'utiliser leurs proxys résidentiels pour la furtivité ou les proxys datacenter pour les tâches à grande vitesse.