Ikhtisar

Dataimpulse adalah penyedia proxy residensial yang hemat biaya dengan kumpulan lebih dari 90 juta IP, dioptimalkan untuk web scraping bervolume tinggi. Selenium adalah alat otomatisasi browser populer yang dapat merender JavaScript dan berinteraksi dengan situs web dinamis. Menggabungkan Selenium dengan proxy residensial memungkinkan Anda melakukan scraping dalam skala besar sekaligus menghindari blokir IP dan pembatasan geografis.

Dalam tutorial ini, Anda akan mempelajari cara mengonfigurasi Selenium di Windows untuk merutekan lalu lintas melalui proxy residensial Dataimpulse menggunakan HTTP, termasuk menangani autentikasi proxy. Pada akhirnya, Anda akan memiliki skrip yang berfungsi yang melakukan scraping halaman uji dan memverifikasi IP proxy.

Prasyarat

Sebelum memulai, pastikan Anda memiliki:

Akun Dataimpulse dengan proxy residensial diaktifkan (penagihan bayar sesuai pemakaian).
Python 3.7 atau lebih baru yang terinstal di Windows.
Google Chrome atau Mozilla Firefox yang terinstal.
Keakraban dasar dengan Python dan command line.

Langkah-langkah

1. Dapatkan Kredensial Proxy Dataimpulse Anda

Masuk ke dasbor Dataimpulse Anda dan arahkan ke bagian proxy residensial. Anda akan memerlukan:

Host proxy (mis., gateway.dataimpulse.com — periksa dasbor Anda untuk nama host yang tepat)
Port proxy (mis., 823)
Nama pengguna dan kata sandi untuk autentikasi

Dataimpulse mendukung protokol HTTP dan SOCKS5. Tutorial ini menggunakan HTTP, yang kompatibel langsung dengan Selenium. Catat kredensial tersebut; Anda akan menggunakannya dalam skrip.

2. Siapkan Lingkungan Virtual Python

Buka Command Prompt atau PowerShell dan buat lingkungan virtual untuk menjaga dependensi tetap terisolasi:

python -m venv dataimpulse-selenium
dataimpulse-selenium\Scripts\activate

3. Instal Selenium dan Selenium-Wire

Selenium-Wire memperluas Selenium untuk mendukung proxy terautentikasi. Instal kedua paket:

pip install selenium selenium-wire

4. Tulis Skrip Selenium dengan Autentikasi Proxy

Buat file baru bernama scrape_with_dataimpulse.py dan tempelkan kode berikut. Ganti nilai placeholder dengan kredensial Dataimpulse Anda.

from seleniumwire import webdriver
from selenium.webdriver.chrome.options import Options
import time

# Dataimpulse proxy credentials
proxy_host = "your_proxy_host"  # e.g., gateway.dataimpulse.com
proxy_port = "your_proxy_port"  # e.g., 823
proxy_username = "your_username"
proxy_password = "your_password"

# Configure Chrome options
chrome_options = Options()
chrome_options.add_argument("--headless")  # Run in headless mode (optional)
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-dev-shm-usage")

# Set up Selenium-Wire proxy with authentication
seleniumwire_options = {
    "proxy": {
        "http": f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}",
        "https": f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}",
        "no_proxy": "localhost,127.0.0.1"
    },
}

# Initialize the driver
driver = webdriver.Chrome(
    options=chrome_options,
    seleniumwire_options=seleniumwire_options
)

try:
    # Navigate to a page that shows your IP
    driver.get("http://httpbin.org/ip")
    time.sleep(3)  # Wait for page to load

    # Extract and print the IP address
    body = driver.find_element("tag name", "body").text
    print("Proxy IP response:", body)
finally:
    driver.quit()

Penjelasan:

seleniumwire_options mengonfigurasi proxy untuk lalu lintas HTTP dan HTTPS.
URL proxy mencakup nama pengguna dan kata sandi untuk autentikasi.
Skrip mengunjungi http://httpbin.org/ip untuk menampilkan alamat IP yang dilihat oleh server target.

5. Jalankan dan Verifikasi Proxy

Jalankan skrip dari lingkungan virtual yang telah diaktifkan:

python scrape_with_dataimpulse.py

Jika berhasil, Anda akan melihat keluaran seperti:

{
  "origin": "203.0.113.45"
}

IP yang ditampilkan harus berupa IP residensial Dataimpulse, bukan IP lokal Anda. Anda dapat memverifikasi dengan membandingkannya dengan IP Anda yang sebenarnya dari layanan seperti whatismyip.com.

6. (Opsional) Rotasi Proxy untuk Scraping Skala Besar

Proxy residensial Dataimpulse mendukung rotasi dengan mengubah pengenal sesi atau menggunakan port yang berbeda. Dengan Selenium-Wire, Anda dapat membuat instans driver baru untuk setiap rotasi, atau menggunakan parameter rotasi Dataimpulse jika tersedia (konsultasikan dengan dasbor Anda). Misalnya, untuk merotasi per permintaan, Anda dapat menambahkan ID sesi ke nama pengguna (mis., username-session-123). Periksa dokumentasi Dataimpulse untuk sintaks rotasi yang tepat.

Pola rotasi sederhana adalah dengan membuat instans driver baru untuk setiap halaman target:

def scrape_with_rotation(url):
    # Use a unique session ID per request if supported
    session_id = str(uuid.uuid4())[:8]
    username_with_session = f"{proxy_username}-session-{session_id}"
    # ... configure proxy with username_with_session ...
    driver = webdriver.Chrome(...)
    driver.get(url)
    # ... scrape ...
    driver.quit()

Pemecahan Masalah

Kesalahan autentikasi: Pastikan nama pengguna dan kata sandi Anda benar. Jika menggunakan karakter khusus, lakukan URL-encode pada karakter tersebut.
Koneksi proxy ditolak: Verifikasi host dan port proxy dari dasbor Dataimpulse Anda. Periksa bahwa IP Anda ada di daftar putih jika Anda menggunakan autentikasi IP (tidak dibahas di sini).
WebDriver tidak ditemukan: Unduh WebDriver yang sesuai (mis., ChromeDriver) dan pastikan ada di PATH Anda.
Performa lambat: Proxy residensial bisa lebih lambat daripada proxy pusat data. Kurangi konkurensi atau gunakan mode headless untuk mempercepat.
Kesalahan SSL: Jika Anda menemui masalah sertifikat SSL, tambahkan chrome_options.add_argument("--ignore-certificate-errors") untuk pengujian.

Ringkasan

Anda telah mempelajari cara mengintegrasikan proxy residensial Dataimpulse dengan Selenium di Windows. Dengan menggunakan Selenium-Wire, Anda dapat menangani autentikasi proxy dengan mulus dan merutekan lalu lintas browser melalui kumpulan 90M+ IP Dataimpulse. Penyiapan ini ideal untuk web scraping bervolume tinggi, karena model bayar sesuai pemakaian Dataimpulse membuat biaya tetap terprediksi. Ingatlah untuk merotasi proxy dan menghormati ketentuan layanan situs web.