Cara Menyiapkan Proxy SOCKS5 IPRoyal di Windows untuk Web Scraping

Ringkasan

Web scraping sering kali memerlukan rotasi alamat IP untuk menghindari pembatasan laju dan pemblokiran. Proxy SOCKS5 menyediakan cara fleksibel untuk merutekan lalu lintas di tingkat socket, mendukung TCP dan UDP. IPRoyal menawarkan proxy residensial, datacenter, dan ISP dengan dukungan SOCKS5, bersama dengan kumpulan 32M+ IP dan penagihan bayar sesuai pemakaian atau tarif bulanan tetap. Tutorial ini menunjukkan cara mengonfigurasi proxy SOCKS5 IPRoyal di Windows untuk tugas web scraping. Kita akan membahas cara mendapatkan kredensial, menyiapkan browser, dan menggunakan Python dengan pustaka requests. Langkah-langkahnya netral terhadap vendor dan dapat diadaptasi untuk penyedia lain.

Langkah-langkah

1. Daftar dan dapatkan kredensial proxy
   Buat akun dengan IPRoyal (atau penyedia pilihan Anda). Buka dasbor dan temukan kredensial proxy SOCKS5 Anda. Anda biasanya akan menerima:

   • Host proxy (mis., geo.iproyal.com atau alamat IP)
   • Port (mis., 12345)
   • Nama pengguna dan kata sandi
   • Secara opsional, daftar IP atau endpoint berotasi.

   Catatan: IPRoyal mendukung HTTP dan SOCKS5; pastikan Anda memilih SOCKS5 saat membuat kredensial.

2. Uji proxy Anda dengan perintah cURL sederhana
   Buka Command Prompt atau PowerShell dan jalankan:

   curl -x socks5://username:password@host:port https://httpbin.org/ip
   

   Ganti username, password, host, dan port dengan kredensial Anda. Jika berhasil, respons akan menampilkan alamat IP proxy.

3. Konfigurasikan browser web (Firefox) untuk penggunaan proxy manual

   • Buka Firefox dan kunjungi about:preferences.
   • Gulir ke bawah dan klik "Pengaturan..." di bawah Pengaturan Jaringan.
   • Pilih "Konfigurasi proxy manual".
   • Di kolom Host SOCKS, masukkan host dan port proxy Anda.
   • Pilih "SOCKS v5".
   • Centang "Proxy DNS saat menggunakan SOCKS v5" untuk mencegah kebocoran DNS.
   • Jika proxy Anda memerlukan autentikasi, Firefox akan meminta nama pengguna dan kata sandi saat pertama kali digunakan. Sebagai alternatif, gunakan ekstensi seperti FoxyProxy untuk pengelolaan yang lebih mudah.

4. Siapkan Python untuk scraping dengan SOCKS5
   Instal pustaka requests dan requests[socks]:

   pip install requests requests[socks]
   

   Gunakan kode berikut untuk mengirim permintaan melalui proxy:

   import requests
   
   proxies = {
       'http': 'socks5://username:password@host:port',
       'https': 'socks5://username:password@host:port'
   }
   response = requests.get('https://httpbin.org/ip', proxies=proxies)
   print(response.text)
   

   Ini akan merutekan permintaan Anda melalui proxy SOCKS5.

5. Terapkan rotasi IP
   Untuk scraping skala besar, Anda perlu merotasi IP. IPRoyal mungkin menyediakan endpoint berotasi atau daftar IP individual; periksa dasbor Anda. Dengan endpoint berotasi, setiap permintaan (atau sesi) dapat menggunakan IP yang berbeda. Misalnya, menggunakan sesi dengan proxy berotasi:

   import requests
   from itertools import cycle
   
   proxy_list = [
       'socks5://user:pass@host1:port1',
       'socks5://user:pass@host2:port2',
       # ...
   ]
   proxy_pool = cycle(proxy_list)
   
   for i in range(10):
       proxy = next(proxy_pool)
       try:
           response = requests.get('https://httpbin.org/ip', proxies={'http': proxy, 'https': proxy}, timeout=10)
           print(response.json())
       except:
           print("Proxy failed")
   

   Sesuaikan dengan metode rotasi penyedia Anda.

6. Tangani kesalahan dan patuhi robots.txt
   Selalu terapkan penanganan kesalahan, percobaan ulang, dan penundaan. Patuhi robots.txt situs target dan ketentuan layanan. Menggunakan proxy tidak membebaskan Anda dari praktik scraping yang legal dan etis.

7. Pantau dan skalakan
   Saat kebutuhan scraping Anda bertambah, pertimbangkan menggunakan manajer proxy atau layanan proxy berotasi. IPRoyal menawarkan paket bayar sesuai pemakaian dan paket bulanan tetap untuk berbagai volume. Pantau penggunaan dan tingkat keberhasilan Anda untuk mengoptimalkan.