Aperçu

SOCKS5 est un protocole proxy polyvalent qui gère tout trafic TCP, ce qui le rend idéal pour les outils en ligne de commande et les scripts Python. Ce tutoriel montre comment utiliser les proxys Dataimpulse SOCKS5 sur macOS avec curl et la bibliothèque requests de Python, y compris des conseils d'authentification et de rotation.

Prérequis

macOS 10.15 ou version ultérieure
Identifiants du proxy Dataimpulse SOCKS5 (hôte, port, nom d'utilisateur, mot de passe)
curl (préinstallé) et Python 3
Facultatif : pip pour installer des paquets Python

Pourquoi SOCKS5 ?

Dataimpulse prend en charge à la fois HTTP et SOCKS5. SOCKS5 fonctionne à un niveau inférieur, prenant en charge UDP et TCP, et est souvent plus fiable pour le trafic non HTTP. Pour le web scraping, il peut aider à éviter les blocages spécifiques à un protocole.

Étapes

Récupérez vos identifiants SOCKS5 Dataimpulse. Dans votre tableau de bord Dataimpulse, localisez un point de terminaison SOCKS5. Notez l'hôte, le port, le nom d'utilisateur et le mot de passe.
Définissez les variables d'environnement (facultatif mais pratique). Ouvrez Terminal et exécutez :
```
export DAI_PROXY_HOST="your-proxy-host"
export DAI_PROXY_PORT="your-proxy-port"
export DAI_PROXY_USER="your-username"
export DAI_PROXY_PASS="your-password"
```
Ces variables seront utilisées dans les commandes suivantes.
Testez avec curl. Utilisez l'option --proxy avec le schéma socks5h (le h garantit la résolution DNS via le proxy) :
```
curl --proxy socks5h://$DAI_PROXY_USER:$DAI_PROXY_PASS@$DAI_PROXY_HOST:$DAI_PROXY_PORT https://httpbin.org/ip
```
Vous devriez voir une réponse JSON avec l'IP Dataimpulse.

Utilisez Python avec requests et PySocks. Installez les paquets requis :

pip3 install requests requests[socks]

Créez un script Python proxy_test.py :

import os
import requests

proxy_host = os.getenv('DAI_PROXY_HOST')
proxy_port = os.getenv('DAI_PROXY_PORT')
proxy_user = os.getenv('DAI_PROXY_USER')
proxy_pass = os.getenv('DAI_PROXY_PASS')

proxies = {
    'http': f'socks5h://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}',
    'https': f'socks5h://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=30)
print(response.json())

Exécutez-le :

python3 proxy_test.py

Intégrez-le à un script de scraping. Pour un scraping simple, réutilisez le dictionnaire proxies. Pour des proxys rotatifs, demandez une nouvelle session par requête ou utilisez un point de terminaison rotatif si Dataimpulse en fournit un (vérifiez votre tableau de bord). Exemple :

import requests
import random

# Assuming you have a list of proxy endpoints
proxy_list = [
    f'socks5h://{user}:{pass}@{host}:{port}' for host, port, user, pass in [
        # your endpoints
    ]
]

def fetch(url):
    proxy = random.choice(proxy_list)
    return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=30)

Vérifiez le DNS et l'IP. Utilisez curl avec socks5h pour vous assurer que le DNS est résolu à distance. Si vous voyez votre véritable IP, vérifiez que vous utilisez socks5h et non socks5.

Dépannage

Connexion refusée : Vérifiez l'hôte et le port. Assurez-vous que votre IP est en liste blanche si nécessaire.
Erreur d'authentification : Vérifiez le nom d'utilisateur et le mot de passe. Certains caractères spéciaux peuvent nécessiter un encodage URL dans l'URL du proxy.
Fuites DNS : Utilisez toujours socks5h (ou configurez la résolution DNS à distance) pour éviter les requêtes DNS locales.
Erreurs de délai d'attente : Augmentez le délai d'attente dans Python et testez d'abord avec curl. Les proxys mobiles peuvent avoir une latence plus élevée.

Résumé

L'utilisation des proxys Dataimpulse SOCKS5 sur macOS avec curl et Python est simple une fois que vous gérez correctement l'authentification et la résolution DNS. Le schéma socks5h garantit un DNS distant, et la bibliothèque requests de Python avec PySocks offre un moyen flexible d'intégrer des proxys dans vos scripts. Testez toujours avec httpbin.org/ip pour confirmer votre IP sortante.