Skip to content
Advanced / 5 min read

Fortgeschrittenes Web Scraping mit rotierenden Residential-Proxys von Dataimpulse und Playwright

Erfahren Sie, wie Sie die rotierenden Residential-Proxys von Dataimpulse in Playwright integrieren, um eine robuste, skalierbare Web-Scraping-Pipeline aufzubauen, die dynamische Inhalte und Anti-Bot-Maßnahmen bewältigt.

Linux HTTP(S) Web Scraping

Überblick

Dataimpulse bietet kosteneffiziente Residential- und Mobile-Proxys mit HTTP- und SOCKS5-Unterstützung, ideal für Web-Scraping mit hohem Volumen. In Kombination mit Playwright, einer leistungsstarken Bibliothek zur Browserautomatisierung, können Sie dynamische, JavaScript-lastige Websites scrapen und dabei IPs rotieren, um Blockierungen zu vermeiden. Dieses Tutorial behandelt fortgeschrittene Techniken zur Integration von Dataimpulse-Proxys in Playwright unter Verwendung von Pythons asyncio für gleichzeitiges Scraping.

Voraussetzungen

  • Ein Dataimpulse-Konto mit Residential- oder Mobile-Proxys (Pay-as-you-go). Sie benötigen Ihren Proxy-Host, Port, Benutzername und Passwort.
  • Python 3.8 oder höher.
  • Playwright installiert: pip install playwright und playwright install.
  • Grundkenntnisse in Python async/await.

Schritte

1. Richten Sie Ihre Dataimpulse-Proxy-Anmeldedaten ein

Melden Sie sich in Ihrem Dataimpulse-Dashboard an und notieren Sie Ihren Proxy-Endpunkt. Dataimpulse unterstützt sowohl HTTP- als auch SOCKS5-Protokolle. Für dieses Tutorial verwenden wir HTTP, aber Sie können das Schema bei Bedarf durch socks5 ersetzen.

Speichern Sie Ihre Anmeldedaten in Umgebungsvariablen, um Hardcoding zu vermeiden:

export DI_PROXY_HOST="your-proxy-host.dataimpulse.com"
export DI_PROXY_PORT="12345"
export DI_PROXY_USER="your-username"
export DI_PROXY_PASS="your-password"

Ersetzen Sie die Werte durch Ihre tatsächlichen Dataimpulse-Anmeldedaten.

2. Installieren Sie die erforderlichen Python-Pakete

Erstellen Sie eine neue Python-Datei, z. B. scraper.py, und installieren Sie die erforderlichen Pakete:

pip install playwright aiohttp

3. Starten Sie Playwright mit Dataimpulse-Proxy

Mit der Option proxy von Playwright können Sie den Proxy-Server, den Benutzernamen und das Passwort angeben. So starten Sie Chromium mit Ihrem Dataimpulse-Proxy:

import os
from playwright.async_api import async_playwright

async def scrape_with_proxy():
    async with async_playwright() as p:
        proxy_settings = {
            "server": f"http://{os.getenv('DI_PROXY_HOST')}:{os.getenv('DI_PROXY_PORT')}",
            "username": os.getenv('DI_PROXY_USER'),
            "password": os.getenv('DI_PROXY_PASS')
        }
        browser = await p.chromium.launch(proxy=proxy_settings, headless=True)
        page = await browser.new_page()
        await page.goto("https://httpbin.org/ip")
        content = await page.content()
        print(content)
        await browser.close()

# Run
import asyncio
asyncio.run(scrape_with_proxy())

Führen Sie das Skript aus, um zu überprüfen, ob Ihre IP die IP des Proxys ist.

4. Implementieren Sie die IP-Rotation

Dataimpulse Residential-Proxys rotieren IPs automatisch bei jeder Anfrage, oder Sie können Sticky Sessions verwenden. Um bei jeder Anfrage zu rotieren, erstellen Sie einfach einen neuen Browserkontext oder eine neue Seite für jede URL, die Sie scrapen. Für bessere Leistung verwenden Sie die Browserinstanz wieder, erstellen aber pro Anfrage einen neuen Kontext:

async def scrape_urls(urls):
    async with async_playwright() as p:
        proxy_settings = {
            "server": f"http://{os.getenv('DI_PROXY_HOST')}:{os.getenv('DI_PROXY_PORT')}",
            "username": os.getenv('DI_PROXY_USER'),
            "password": os.getenv('DI_PROXY_PASS')
        }
        browser = await p.chromium.launch(proxy=proxy_settings, headless=True)
        
        for url in urls:
            context = await browser.new_context()
            page = await context.new_page()
            try:
                await page.goto(url, timeout=30000)
                # Extract data...
                print(f"Scraped {url} with new IP")
            except Exception as e:
                print(f"Error scraping {url}: {e}")
            finally:
                await context.close()
        
        await browser.close()

5. Verwenden Sie Sticky Sessions für mehrstufige Abläufe

Wenn Sie dieselbe IP über mehrere Anfragen hinweg beibehalten müssen (z. B. Anmelden, dann Navigieren), unterstützt Dataimpulse möglicherweise Sticky Sessions über eine Sitzungs-ID im Benutzernamen. Überprüfen Sie die Dataimpulse-Dokumentation für das genaue Format. Normalerweise hängen Sie eine Sitzungs-ID an den Benutzernamen an, z. B. username-session-abc123. Hier ist ein Beispiel:

session_id = "abc123"
proxy_settings = {
    "server": f"http://{os.getenv('DI_PROXY_HOST')}:{os.getenv('DI_PROXY_PORT')}",
    "username": f"{os.getenv('DI_PROXY_USER')}-session-{session_id}",
    "password": os.getenv('DI_PROXY_PASS')
}

6. Umgang mit Nebenläufigkeit und Fehlerbehandlung

Für groß angelegtes Scraping verwenden Sie asyncio, um mehrere Scraper gleichzeitig auszuführen. Beachten Sie die Ratenlimits von Dataimpulse und die Toleranz der Zielwebsite. Verwenden Sie Semaphoren, um die Nebenläufigkeit zu begrenzen:

import asyncio
from asyncio import Semaphore

async def worker(url, browser, semaphore):
    async with semaphore:
        context = await browser.new_context()
        page = await context.new_page()
        try:
            await page.goto(url, timeout=30000)
            # Extract data...
            return await page.title()
        except Exception as e:
            print(f"Error: {e}")
            return None
        finally:
            await context.close()

async def main(urls):
    semaphore = Semaphore(10)  # limit to 10 concurrent pages
    async with async_playwright() as p:
        proxy_settings = {...}  # as before
        browser = await p.chromium.launch(proxy=proxy_settings, headless=True)
        tasks = [worker(url, browser, semaphore) for url in urls]
        results = await asyncio.gather(*tasks)
        await browser.close()
        return results

urls = ["https://example.com/page1", "https://example.com/page2"]
titles = asyncio.run(main(urls))
print(titles)

Fehlerbehebung

  • Proxy-Authentifizierung schlägt fehl: Überprüfen Sie Ihren Benutzernamen/Ihr Passwort. Stellen Sie sicher, dass Sie den richtigen Host und Port von Dataimpulse verwenden.
  • Timeouts oder langsame Antworten: Erhöhen Sie den Timeout in page.goto(). Erwägen Sie, einen anderen Proxy-Standort zu verwenden oder die Nebenläufigkeit zu reduzieren.
  • IP blockiert: Auch Residential-IPs können blockiert werden. Implementieren Sie Verzögerungen, rotieren Sie User-Agents und behandeln Sie CAPTCHAs geschickt.
  • Playwright stürzt unter Linux ab: Installieren Sie fehlende Abhängigkeiten mit playwright install-deps.

Zusammenfassung

Sie haben gelernt, wie Sie die rotierenden Residential-Proxys von Dataimpulse in Playwright für fortgeschrittenes Web Scraping integrieren. Durch die Nutzung von Playwrights Browserautomatisierung und Dataimpulses großem IP-Pool können Sie dynamische Websites in großem Umfang scrapen und dabei Blockierungen minimieren. Denken Sie daran, die Nutzungsbedingungen und robots.txt der Zielwebsites zu respektieren.