Skip to content
Advanced / 5 min read

Fortgeschrittenes Web Scraping mit ChangeMyIP Residential Proxies und Playwright

Kombinieren Sie die rotierenden Residential Proxies von ChangeMyIP mit Playwright, um dynamische Websites im großen Maßstab zu scrapen. Dieses fortgeschrittene Tutorial behandelt IP-Rotation pro Anfrage, die Umgehung von Browser-Fingerprints und robuste Fehlerbehandlung.

SOCKS5 Web Scraping Privatsphäre/Anonymität

Überblick

Playwright ist eine leistungsstarke Bibliothek zur Browser-Automatisierung, die Chromium, Firefox und WebKit unterstützt. In Kombination mit ChangeMyIP Residential Proxies wird sie zu einem robusten Werkzeug für fortgeschrittenes Web Scraping, das Geo-Beschränkungen und Rate Limits umgeht. Dieses Tutorial behandelt die Einrichtung von Playwright mit den rotierenden Residential Proxies von ChangeMyIP, die Implementierung von IP-Rotation pro Anfrage, die Verwaltung von Browser-Fingerprints und den Umgang mit dynamischen Inhalten.

Voraussetzungen

  • Node.js 16+ und npm
  • Ein ChangeMyIP-Konto mit Zugriff auf Residential Proxies (oder Datacenter, falls Sie das bevorzugen)
  • Grundkenntnisse in JavaScript/Node.js

ChangeMyIP Residential-Proxy-Endpunkte verstehen

ChangeMyIP bietet Residential Proxies in über 40 Ländern. Sie können sich mit Benutzername/Passwort authentifizieren. Das Endpunktformat für HTTP-Proxies ist:

http://<username>:<password>@<proxy-host>:<port>

Für SOCKS5:

socks5://<username>:<password>@<proxy-host>:<port>

Ersetzen Sie die Platzhalter durch die Zugangsdaten aus Ihrem ChangeMyIP-Dashboard. Rotierende Residential Proxies weisen standardmäßig pro Anfrage eine neue IP zu, oder Sie können eine Sticky Session über eine Session-ID im Benutzernamen beibehalten (siehe ChangeMyIP-Dokumentation). Für dieses Tutorial gehen wir von Rotation aus.

Schritt 1: Ein Playwright-Projekt einrichten

  1. Erstellen Sie ein neues Verzeichnis und initialisieren Sie npm:
mkdir changeMyIP-playwright-scraper
cd changeMyIP-playwright-scraper
npm init -y
  1. Installieren Sie Playwright und seine Abhängigkeiten:
npm install playwright
npx playwright install

Schritt 2: Playwright für die Verwendung eines ChangeMyIP-Proxys konfigurieren

Erstellen Sie eine Datei scraper.js und fügen Sie den folgenden Code hinzu. Dieser startet einen Chromium-Browser mit Ihrem ChangeMyIP-Proxy:

const { chromium } = require('playwright');

const proxyUrl = 'http://username:password@proxy-host:port'; // Replace with your ChangeMyIP details

(async () => {
  const browser = await chromium.launch({
    proxy: {
      server: proxyUrl,
    },
  });
  const page = await browser.newPage();
  await page.goto('https://httpbin.org/ip');
  const content = await page.textContent('body');
  console.log(content);
  await browser.close();
})();

Führen Sie es mit node scraper.js aus. Sie sollten die Proxy-IP sehen, nicht Ihre echte IP.

Schritt 3: Rotierende Proxies pro Anfrage implementieren

Für fortgeschrittenes Scraping möchten Sie möglicherweise für jede Seite oder Anfrage eine frische IP. Da die Residential Proxies von ChangeMyIP standardmäßig bei jeder Anfrage rotieren, können Sie einfach für jeden Scrape-Job einen neuen Browser-Kontext erstellen. Wenn Sie eine neue IP erzwingen müssen, starten Sie eine neue Browser-Instanz oder verwenden Sie eine neue Proxy-Session.

Hier ist eine Funktion, die eine URL jedes Mal mit einer neuen IP scrapt:

async function scrapeWithNewIP(url) {
  const browser = await chromium.launch({
    proxy: { server: proxyUrl },
  });
  const page = await browser.newPage();
  await page.goto(url, { waitUntil: 'networkidle' });
  const data = await page.evaluate(() => document.body.innerText);
  await browser.close();
  return data;
}

Rufen Sie diese Funktion für jede Ziel-URL auf. Aus Effizienzgründen können Sie den Browser wiederverwenden und einen neuen Kontext mit einem anderen Proxy erstellen (sofern Ihr Tarif mehrere Endpunkte zulässt). Andernfalls ist das Starten eines neuen Browsers für moderate Skalierung akzeptabel.

Schritt 4: Browser-Fingerprints verwalten, um Sperren zu vermeiden

Anti-Bot-Systeme erkennen Automatisierung. Randomisieren Sie die Browser-Eigenschaften pro Session. Mit Playwright können Sie User Agent, Viewport, Zeitzone und mehr festlegen. Verwenden Sie eine Bibliothek wie playwright-extra mit puppeteer-extra-plugin-stealth (kompatibel mit Playwright über playwright-extra). Oder setzen Sie die Header manuell.

Beispiel: Start mit benutzerdefiniertem User Agent und Viewport:

const browser = await chromium.launch({
  proxy: { server: proxyUrl },
});
const context = await browser.newContext({
  userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
  viewport: { width: 1920, height: 1080 },
  locale: 'en-US',
  timezoneId: 'America/New_York',
});

Rotieren Sie User Agents aus einer Liste für jede Session.

Schritt 5: Dynamische Inhalte scrapen und Paginierung handhaben

Playwright wartet automatisch auf Elemente. Verwenden Sie page.waitForSelector für dynamische Inhalte. Beim Infinite Scroll scrollen Sie, bis keine neuen Elemente mehr geladen werden.

Beispiel: Produkttitel von einer E-Commerce-Seite mit Infinite Scroll scrapen:

async function scrapeProducts(page) {
  await page.goto('https://example.com/products', { waitUntil: 'networkidle' });
  let previousHeight = 0;
  while (true) {
    const currentHeight = await page.evaluate(() => document.body.scrollHeight);
    if (currentHeight === previousHeight) break;
    previousHeight = currentHeight;
    await page.evaluate(() => window.scrollTo(0, document.body.scrollHeight));
    await page.waitForTimeout(2000);
  }
  const products = await page.evaluate(() => {
    return Array.from(document.querySelectorAll('.product-title')).map(el => el.innerText);
  });
  return products;
}

Schritt 6: Retry-Logik mit frischen IPs implementieren

Wenn eine Anfrage fehlschlägt (z. B. CAPTCHA, Timeout), wiederholen Sie sie mit einer neuen IP. Da rotierende Proxies die IP pro Anfrage ändern, kann ein einfacher erneuter Versuch ausreichen. Bei Sticky Sessions können Sie die Session-ID ändern.

async function scrapeWithRetry(url, maxRetries = 3) {
  for (let i = 0; i < maxRetries; i++) {
    const browser = await chromium.launch({ proxy: { server: proxyUrl } });
    try {
      const page = await browser.newPage();
      await page.goto(url, { timeout: 30000 });
      const data = await page.content();
      await browser.close();
      return data;
    } catch (error) {
      console.error(`Attempt ${i + 1} failed: ${error.message}`);
      await browser.close();
    }
  }
  throw new Error(`Failed after ${maxRetries} retries`);
}

Fehlerbehebung

  • Authentifizierungsfehler: Überprüfen Sie Benutzername und Passwort. Stellen Sie sicher, dass sie URL-kodiert sind, wenn sie Sonderzeichen enthalten.
  • Proxy-Verbindung verweigert: Überprüfen Sie Proxy-Host und Port. Prüfen Sie, ob Ihre IP auf der Whitelist steht, wenn Sie IP-Authentifizierung verwenden (ChangeMyIP unterstützt Benutzername/Passwort, verwenden Sie also diese Variante).
  • CAPTCHA oder Sperre: Rotieren Sie User Agents und fügen Sie zufällige Verzögerungen ein. Verwenden Sie Residential Proxies für bessere Erfolgsraten.
  • Langsame Leistung: Reduzieren Sie die Anzahl der Browser-Instanzen, verwenden Sie den Headless-Modus und blockieren Sie unnötige Ressourcen (Bilder, CSS) mit page.route.
  • Sticky Session funktioniert nicht: Konsultieren Sie die ChangeMyIP-Dokumentation für das korrekte Session-ID-Format im Benutzernamen.

Zusammenfassung

Sie haben gelernt, wie Sie die Residential Proxies von ChangeMyIP mit Playwright für fortgeschrittenes Web Scraping integrieren. Durch die Rotation von IPs, die Verwaltung von Browser-Fingerprints und den Umgang mit dynamischen Inhalten können Sie im großen Maßstab scrapen und dabei Sperren vermeiden. Denken Sie daran, die Nutzungsbedingungen der Websites und die robots.txt zu respektieren. Das Residential-Proxy-Netzwerk von ChangeMyIP bietet über 40 Länder und mehrere Protokolle und ist damit eine geeignete Wahl für diese Aufgaben.