Skip to content
beginner

Cara Menyiapkan Proxy Residensial Smartproxy di Windows untuk Web Scraping

Tutorial Windows yang ramah pemula untuk mengonfigurasi proxy residensial Smartproxy dan menggunakannya di browser, cURL, Python Requests, dan alur kerja scraping Scrapy.

Windows SOCKS5 HTTP(S) Web Scraping

Ikhtisar

Smartproxy menyediakan proxy residensial dan datacenter dengan dukungan HTTP dan SOCKS5. Tutorial ini menunjukkan cara menggunakan proxy residensial Smartproxy di Windows untuk web scraping. Anda akan mengambil kredensial proxy, menguji koneksi, dan mengonfigurasi alat scraping umum. Langkah-langkahnya menggunakan placeholder: HOST, PORT, USERNAME, dan PASSWORD. Ganti dengan nilai dari akun Smartproxy Anda.

Langkah-langkah

  1. Pastikan prasyarat. Anda memerlukan akun Smartproxy dengan proxy residensial aktif, mesin Windows 10 atau 11, dan alat scraping seperti Python Requests, Scrapy, atau browser. Proxy residensial Smartproxy mendukung HTTP dan SOCKS5, jadi pilih protokol yang paling baik ditangani alat Anda. Proxy datacenter juga tersedia jika Anda memerlukan IP non-residensial yang lebih cepat.

  2. Ambil detail proxy Anda. Masuk ke akun Smartproxy Anda dan temukan endpoint proxy residensial. Catat hostname atau alamat IP, port untuk HTTP atau SOCKS5, serta username dan password. Jika Anda menggunakan autentikasi IP alih-alih username/password, catat pengaturan IP yang diizinkan. Siapkan detail ini.

  3. Uji proxy dengan cURL. Buka Command Prompt atau PowerShell. Untuk proxy HTTP, jalankan: curl -x http://USERNAME:PASSWORD@HOST:PORT https://httpbin.org/ip Untuk proxy SOCKS5, jalankan: curl --socks5 HOST:PORT -U USERNAME:PASSWORD https://httpbin.org/ip Responsnya harus menunjukkan alamat IP yang berbeda dari milik Anda. Jika autentikasi gagal, periksa username, password, dan port.

  4. Konfigurasikan browser secara manual. Untuk Chrome atau Edge, buka Pengaturan Windows > Jaringan & Internet > Proxy dan atur proxy HTTP manual dengan host dan port Smartproxy Anda. Untuk SOCKS5, gunakan browser yang mendukung SOCKS5 secara langsung, seperti Firefox: Pengaturan > Pengaturan Jaringan > Konfigurasi proxy manual, lalu masukkan host dan port SOCKS5. Jika Anda menggunakan ekstensi browser Smartproxy, pasang dari toko ekstensi browser Anda dan ikuti petunjuk ekstensi sebagai gantinya.

  5. Konfigurasikan Python Requests. Pasang Requests dan dependensi SOCKS jika diperlukan: pip install requests requests[socks] Lalu gunakan dictionary proxies. Untuk HTTP: proxies = {'http': 'http://USERNAME:PASSWORD@HOST:PORT', 'https': 'http://USERNAME:PASSWORD@HOST:PORT'} Untuk SOCKS5: proxies = {'http': 'socks5://USERNAME:PASSWORD@HOST:PORT', 'https': 'socks5://USERNAME:PASSWORD@HOST:PORT'} Berikan proxies=proxies ke requests.get() atau requests.post().

  6. Konfigurasikan Scrapy. Di proyek Scrapy Anda, buka settings.py dan setel HTTPPROXY_ENABLED = True. Tambahkan proxy Anda ke meta permintaan, misalnya: yield scrapy.Request(url, meta={'proxy': 'http://USERNAME:PASSWORD@HOST:PORT'}) Untuk SOCKS5, gunakan socks5://USERNAME:PASSWORD@HOST:PORT dan pasang pustaka PySocks.

  7. Gunakan rotasi atau sesi sticky jika akun Anda menyertakannya. Smartproxy mungkin menyediakan endpoint rotasi atau pengenal sesi di akun Anda. Jika tersedia, konfigurasikan rotasi dengan menggunakan endpoint rotasi, atau pertahankan sesi dengan menambahkan parameter sesi ke username atau endpoint seperti yang didokumentasikan di akun Smartproxy Anda. Jika Anda tidak yakin, mulai dengan endpoint standar dan uji.

  8. Tangani error dan batas laju (rate limit). Setel timeout di alat scraping Anda, tangkap error koneksi proxy, dan coba lagi dengan permintaan baru jika diperlukan. Hormati robots.txt dan ketentuan layanan situs target. Tambahkan jeda antar permintaan untuk menghindari memicu batas laju. Proxy residensial seringkali lebih baik untuk situs yang memblokir IP datacenter.

  9. Verifikasi dan atasi masalah. Jalankan ulang uji cURL setelah konfigurasi. Jika IP tidak berubah, pastikan alat Anda menggunakan proxy. Periksa kesalahan ketik, pastikan port cocok dengan protokol, dan verifikasi bahwa firewall Windows atau antivirus Anda tidak memblokir koneksi. Untuk situs HTTPS, proxy HTTP menggunakan metode CONNECT; jika alat Anda tidak mendukung CONNECT, gunakan SOCKS5.

  10. Skalakan dengan hati-hati. Mulai dengan beberapa permintaan bersamaan, lalu tingkatkan secara perlahan. Pantau tingkat keberhasilan dan kode respons. Jika Anda memerlukan banyak IP, pool residensial Smartproxy mencakup 65 juta+ IP menurut penyedianya, tetapi selalu gunakan pool itu secara bertanggung jawab dan sesuai batas paket Anda.