Skip to content
intermediate

Proxy Residensial Rotasi untuk Web Scraping dengan ChangeMyIP

Bangun alur kerja web scraping yang menghormati aturan menggunakan proxy residensial rotasi ChangeMyIP, Python, dan endpoint HTTP atau SOCKS5.

SOCKS5 HTTP(S) Web Scraping Privasi/Anonimitas

Ringkasan

Tutorial ini membahas penyiapan web scraping praktis menggunakan proxy residensial rotasi ChangeMyIP. ChangeMyIP menawarkan proxy residensial, IP rotasi, proxy pusat data, dan berbagai protokol termasuk HTTP dan SOCKS5. Anda akan menggunakan Python untuk mengirim permintaan melalui ChangeMyIP serta menangani rotasi, percobaan ulang, dan validasi. Selalu tinjau persyaratan layanan dan robots.txt situs target sebelum melakukan scraping.

Langkah-langkah

  1. Masuk ke ChangeMyIP dan identifikasi endpoint proxy residensial Anda. Jika paket Anda mencakup IP rotasi, salin host dan port rotasi. Jika tidak, siapkan daftar endpoint tetap dari akun Anda.
  2. Instal dependensi Python: pip install requests requests[socks]
  3. Simpan kredensial ChangeMyIP Anda dalam variabel lingkungan: export CMY_HOST=your-host export CMY_PORT=your-port export CMY_USER=your-username export CMY_PASS=your-password
  4. Buat sesi Python dan konfigurasikan proxy HTTP: proxies = {'http': f'http://{user}:{password}@{host}:{port}', 'https': f'http://{user}:{password}@{host}:{port}'}
  5. Jika Anda lebih memilih SOCKS5, gunakan URL proxy socks5h:// dengan kredensial ChangeMyIP yang sama.
  6. Kirim permintaan uji ke endpoint pemeriksa IP dan pastikan IP tersebut milik ChangeMyIP.
  7. Untuk rotasi, gunakan endpoint rotasi ChangeMyIP jika tersedia, atau bergilir melalui endpoint tetap Anda. Bangun ulang URL proxy untuk setiap permintaan.
  8. Tambahkan timeout, percobaan ulang, dan backoff eksponensial. Perlakukan respons HTTP 407, 429, dan 5xx sebagai sinyal untuk memperlambat atau mengganti endpoint.
  9. Tetapkan header yang menyerupai browser normal hanya jika sesuai dengan kasus penggunaan Anda. Jangan memalsukan header untuk menyalahartikan identitas Anda di tempat yang melanggar kebijakan situs.
  10. Validasi respons dengan memeriksa kode status dan konten halaman. Catat endpoint proxy yang digunakan agar Anda dapat men-debug kegagalan.
  11. Hormati batas laju dan persyaratan layanan. Proxy rotasi adalah alat untuk pengumpulan data yang diizinkan, bukan untuk melewati kontrol akses.