Aperçu

Puppeteer est une bibliothèque Node.js qui fournit une API de haut niveau pour contrôler Chrome ou Chromium en mode headless. Lorsque vous effectuez du scraping à grande échelle, l'utilisation de proxys résidentiels comme Dataimpulse aide à éviter les bannissements d'IP et les limites de débit. Ce tutoriel vous montre comment configurer Puppeteer pour acheminer le trafic via les proxys résidentiels Dataimpulse sur un système Linux. Nous aborderons l'authentification proxy HTTP, les tests et la rotation de base.

Prérequis

Avant de commencer, assurez-vous de disposer de :

Une machine Linux (Ubuntu 20.04+ ou similaire).
Node.js 14+ et npm installés.
Un compte Dataimpulse avec les identifiants de proxy résidentiel (nom d'utilisateur, mot de passe, point de terminaison, port). Vous pouvez souscrire à un forfait pay-as-you-go sur le site web Dataimpulse.
Une familiarité de base avec la ligne de commande et JavaScript.

Étape 1 : Installer Node.js et Puppeteer sous Linux

Tout d'abord, mettez à jour votre liste de paquets et installez Node.js si ce n'est pas déjà fait.

sudo apt update
sudo apt install -y nodejs npm

Vérifiez l'installation :

node --version
npm --version

Créez un nouveau répertoire de projet et initialisez-le :

mkdir puppeteer-dataimpulse
cd puppeteer-dataimpulse
npm init -y

Installez Puppeteer :

npm install puppeteer

Remarque : Puppeteer télécharge par défaut un binaire Chromium compatible. Sous Linux, vous devrez peut-être installer des dépendances supplémentaires. Si des bibliothèques manquantes apparaissent, installez-les :

sudo apt install -y libx11-xcb1 libxcomposite1 libxcursor1 libxdamage1 libxi6 libxtst6 libnss3 libcups2 libxss1 libxrandr2 libasound2 libatk1.0-0 libatk-bridge2.0-0 libgtk-3-0

Étape 2 : Obtenir les identifiants de proxy Dataimpulse

Connectez-vous à votre tableau de bord Dataimpulse et localisez vos identifiants de proxy résidentiel. Vous aurez besoin de :

Hôte du proxy (le point de terminaison fourni par Dataimpulse)
Port (par ex., 823 pour HTTP, 824 pour SOCKS5)
Nom d'utilisateur et mot de passe pour l'authentification

Dataimpulse utilise par défaut un point de terminaison unique avec rotation des IP. Pour ce tutoriel, nous utiliserons le point de terminaison HTTP. Remplacez les espaces réservés dans le code ci-dessous par vos identifiants réels.

Étape 3 : Configurer Puppeteer pour utiliser le proxy

Créez un nouveau fichier appelé scrape.js et ajoutez le code suivant pour lancer Puppeteer avec le proxy Dataimpulse.

const puppeteer = require('puppeteer');

(async () => {
  const proxyHost = 'your-proxy-host.dataimpulse.com'; // remplacez par votre hôte
  const proxyPort = 823; // remplacez par votre port
  const proxyUser = 'your_username';
  const proxyPass = 'your_password';

  const browser = await puppeteer.launch({
    headless: true, // ou false pour le débogage
    args: [
      `--proxy-server=http://${proxyHost}:${proxyPort}`,
      '--no-sandbox',
      '--disable-setuid-sandbox'
    ]
  });

  const page = await browser.newPage();

  // Authentification auprès du proxy
  await page.authenticate({
    username: proxyUser,
    password: proxyPass
  });

  // Accédez à une page de test pour vérifier l'IP
  await page.goto('https://httpbin.org/ip', { waitUntil: 'networkidle2' });

  // Extrayez l'adresse IP
  const ipInfo = await page.evaluate(() => document.body.innerText);
  console.log('Votre adresse IP :', ipInfo);

  await browser.close();
})();

Exécutez le script :

node scrape.js

Si tout se passe bien, vous verrez une adresse IP différente de la vôtre, appartenant au pool de Dataimpulse.

Étape 4 : Gérer l'authentification proxy

La méthode page.authenticate() de Puppeteer fonctionne pour les proxys HTTP. Toutefois, si vous utilisez des proxys SOCKS5, Puppeteer ne prend pas en charge l'authentification SOCKS5 directement. Dans ce cas, vous devrez peut-être utiliser un convertisseur de proxy local comme gost ou proxychains. Pour ce tutoriel, nous nous concentrons sur les proxys HTTP.

Si vous préférez intégrer les identifiants dans l'URL du proxy (certaines configurations le permettent), vous pouvez essayer :

args: [
  `--proxy-server=http://${proxyUser}:${proxyPass}@${proxyHost}:${proxyPort}`
]

Mais notez que Chrome peut ne pas accepter les identifiants dans l'URL pour des raisons de sécurité. L'approche page.authenticate() est plus fiable.

Étape 5 : Tester la connexion proxy

Pour vous assurer que vos requêtes passent par le proxy et que les IP changent, vous pouvez exécuter le script plusieurs fois. Chaque exécution devrait renvoyer une adresse IP différente.

for i in {1..3}; do node scrape.js; done

Vous devriez voir trois IP différentes. Cela confirme que la rotation fonctionne.

Étape 6 : Mettre en œuvre la rotation d'IP et le contrôle de session (facultatif)

Dataimpulse vous permet de contrôler la rotation à l'aide d'un identifiant de session dans le nom d'utilisateur. La syntaxe exacte varie, alors référez-vous à votre tableau de bord Dataimpulse ou à la documentation pour le format correct. Généralement, vous pouvez ajouter un ID de session au nom d'utilisateur pour conserver la même IP sur plusieurs requêtes, ou l'omettre pour effectuer une rotation à chaque requête.

Dans Puppeteer, vous pouvez définir dynamiquement le nom d'utilisateur par instance de navigateur. Par exemple, si vous souhaitez une session persistante, vous pouvez utiliser :

const sessionId = 'abc123'; // remplacez par votre ID de session
const proxyUser = `your_username-session-${sessionId}`;

Cela vous permet de maintenir une session persistante pour une tâche de scraping, ce qui peut être utile pour les sites qui suivent les sessions.

Dépannage

Erreurs d'authentification : Assurez-vous que votre nom d'utilisateur et votre mot de passe sont corrects. Si vous utilisez des caractères spéciaux, encodez-les en URL.
Délais d'attente de connexion : Vérifiez les paramètres de votre pare-feu et assurez-vous que le port du proxy n'est pas bloqué. Essayez un autre port si disponible.
Puppeteer ne parvient pas à se lancer : Installez les dépendances manquantes. Exécutez ldd chrome | grep not found pour trouver les bibliothèques manquantes (le chemin vers Chrome peut varier).
La rotation du proxy ne fonctionne pas : Vérifiez que vous n'utilisez pas un nom d'utilisateur de session persistante. Chaque requête doit obtenir une nouvelle IP si aucune session n'est spécifiée.
Erreurs SSL : Certains sites peuvent rejeter les proxys. Essayez d'ajouter --ignore-certificate-errors aux arguments pour les tests (non recommandé en production).

Résumé

Dans ce tutoriel, vous avez appris à intégrer les proxys résidentiels Dataimpulse avec Puppeteer sous Linux. Vous avez installé Puppeteer, configuré l'authentification proxy, testé la rotation d'IP et exploré le contrôle de session. Cette configuration permet un scraping web fiable à grande échelle en répartissant les requêtes sur plus de 90 millions d'IP résidentielles. N'oubliez pas de respecter les conditions d'utilisation des sites web et le fichier robots.txt. Pour d'autres outils de scraping, les mêmes identifiants proxy fonctionnent avec n'importe quel client HTTP.