Cara Menggunakan Proxy SOCKS5 ProxyScrape di Windows Terminal dan PowerShell untuk Web Scraping
Panduan praktis untuk mengonfigurasi proxy SOCKS5 ProxyScrape untuk alat command-line di Windows, termasuk curl, Windows Terminal, dan PowerShell, dengan strategi rotasi untuk web scraping.
Ringkasan
Tutorial ini menunjukkan cara mengonfigurasi proxy SOCKS5 ProxyScrape untuk alat command-line di Windows, termasuk Windows Terminal, PowerShell, dan curl. SOCKS5 adalah protokol proxy serbaguna yang dapat menangani semua jenis lalu lintas, sehingga ideal untuk web scraping, pengujian API, dan otomatisasi. Kami akan membahas pengujian proxy Anda, pengaturan variabel lingkungan, dan rotasi proxy untuk scraping skala besar.
ProxyScrape menawarkan proxy residensial, datacenter, dan mobile dengan dukungan HTTP dan SOCKS5. Kumpulan 97M+ IP mereka dan uptime yang andal menjadikannya pilihan yang solid bagi tim yang membutuhkan infrastruktur yang dapat diandalkan.
Prasyarat
Sebelum Anda mulai, pastikan Anda memiliki:
- Langganan ProxyScrape yang aktif (residensial, datacenter, atau mobile).
- Detail endpoint SOCKS5 ProxyScrape Anda: host, port, username, dan password.
- Windows 10 atau 11 dengan Windows Terminal (atau Command Prompt) dan PowerShell.
- curl terpasang. Windows 10 (versi 1803+) dan Windows 11 menyertakan curl secara default. Jika tidak, unduh dari situs web resmi curl.
Langkah-langkah
1. Dapatkan Endpoint SOCKS5 ProxyScrape Anda
Masuk ke dasbor ProxyScrape Anda dan navigasikan ke daftar proxy atau bagian endpoint. Pilih SOCKS5 sebagai protokol, lalu salin host, port, username, dan password untuk jenis proxy yang Anda pilih (residensial, datacenter, atau mobile). Anda mungkin juga melihat daftar beberapa endpoint jika Anda memiliki paket rotasi.
2. Uji Proxy dengan curl di Windows Terminal
Buka Windows Terminal (atau Command Prompt) dan jalankan perintah curl sederhana untuk memverifikasi proxy berfungsi. Gunakan flag --socks5-hostname untuk merutekan DNS melalui proxy juga.
curl --socks5-hostname username:password@host:port https://httpbin.org/ip
Ganti username, password, host, dan port dengan kredensial Anda yang sebenarnya. Jika berhasil, respons akan menampilkan alamat IP proxy, bukan IP Anda sendiri.
3. Siapkan Variabel Lingkungan untuk Penggunaan Proxy di Seluruh Sistem
Banyak alat command-line mematuhi variabel lingkungan ALL_PROXY. Di PowerShell, Anda dapat mengaturnya untuk sesi saat ini:
$env:ALL_PROXY = "socks5://username:password@host:port"
Untuk Command Prompt, gunakan:
set ALL_PROXY=socks5://username:password@host:port
Untuk membuatnya permanen, tambahkan ke variabel lingkungan sistem Anda melalui Windows Settings atau menggunakan setx. Perhatikan bahwa tidak semua alat mendukung SOCKS5 melalui variabel lingkungan, tetapi curl, wget, dan banyak lainnya mendukung.
4. Gunakan SOCKS5 ProxyScrape dengan curl untuk Web Scraping
Dengan proxy yang dikonfigurasi, Anda dapat mengambil halaman web. Misalnya, untuk menyimpan halaman ke file:
curl --socks5-hostname username:password@host:port -o output.html https://example.com
Jika Anda memiliki daftar proxy (misalnya, daftar endpoint rotasi dari ProxyScrape), Anda dapat melakukan loop melalui mereka dalam skrip.
5. Rutekan Invoke-WebRequest PowerShell Melalui ProxyScrape
Invoke-WebRequest PowerShell tidak mendukung SOCKS5 secara native. Jika Anda perlu menggunakan cmdlet PowerShell, gunakan proxy HTTP sebagai gantinya. ProxyScrape juga menyediakan proxy HTTP; Anda dapat menggunakan endpoint HTTP Anda dengan Invoke-WebRequest:
Invoke-WebRequest -Uri "https://example.com" -Proxy "http://username:password@host:port"
Untuk SOCKS5 di PowerShell, panggil curl.exe secara langsung seperti yang ditunjukkan pada langkah 2.
6. Gunakan SOCKS5 ProxyScrape dengan Python requests (Opsional)
Jika Anda menggunakan Python untuk scraping, pasang pustaka requests dengan dukungan SOCKS:
pip install requests[socks]
Kemudian gunakan proxy dalam skrip Anda:
import requests
proxies = {
'http': 'socks5://username:password@host:port',
'https': 'socks5://username:password@host:port'
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.text)
7. Rotasi Proxy untuk Scraping Skala Besar
Untuk pekerjaan besar, lakukan rotasi melalui beberapa proxy untuk menghindari batas laju. Buat file teks proxies.txt dengan satu proxy per baris dalam format host:port:username:password. Kemudian gunakan skrip PowerShell untuk melakukan iterasi:
$proxies = Get-Content proxies.txt
foreach ($proxy in $proxies) {
$parts = $proxy -split ':'
$host = $parts[0]
$port = $parts[1]
$user = $parts[2]
$pass = $parts[3]
$proxyUrl = "socks5://${user}:${pass}@${host}:${port}"
$env:ALL_PROXY = $proxyUrl
curl.exe -s --socks5-hostname "${user}:${pass}@${host}:${port}" https://httpbin.org/ip
}
Sesuaikan skrip agar sesuai dengan target scraping Anda.
Pemecahan Masalah
- Koneksi ditolak: Verifikasi host dan port sudah benar dan IP Anda ada dalam daftar putih jika diperlukan.
- Autentikasi gagal: Periksa kembali username dan password Anda. Karakter khusus mungkin perlu pengodean URL (misalnya,
@menjadi%40). - Kesalahan resolusi DNS: Selalu gunakan
--socks5-hostnamedengan curl agar proxy menyelesaikan DNS. - Performa lambat: Coba proxy datacenter untuk kecepatan; proxy residensial lebih siluman tetapi lebih lambat.
- Variabel lingkungan tidak berfungsi: Beberapa alat mengabaikan
ALL_PROXY. Gunakan flag command-line sebagai gantinya.
Ringkasan
Anda telah mempelajari cara menggunakan proxy SOCKS5 ProxyScrape dengan alat command-line di Windows, termasuk curl, Windows Terminal, dan PowerShell. Kami membahas pengujian proxy Anda, pengaturan variabel lingkungan, rotasi proxy untuk scraping, dan solusi untuk cmdlet PowerShell. Infrastruktur ProxyScrape yang andal dan kumpulan besar 97M+ IP menjadikannya pilihan kuat untuk web scraping dan otomatisasi. Untuk pengaturan yang lebih canggih, pertimbangkan menggunakan proxy residensial mereka untuk siluman atau proxy datacenter untuk tugas berkecepatan tinggi.