Skip to content
beginner

چگونه پروکسی‌های مسکونی Smartproxy را روی Windows برای وب‌اسکرپینگ راه‌اندازی کنیم

آموزش مقدماتی Windows برای پیکربندی پروکسی‌های مسکونی Smartproxy و استفاده از آن‌ها در مرورگر، cURL، Python Requests و جریان‌های اسکرپینگ با Scrapy.

Windows SOCKS5 HTTP(S) وب اسکرپینگ

مرور کلی

Smartproxy پروکسی‌های مسکونی و دیتاسنتری با پشتیبانی HTTP و SOCKS5 ارائه می‌دهد. این آموزش نشان می‌دهد چگونه از پروکسی‌های مسکونی Smartproxy روی Windows برای وب‌اسکرپینگ استفاده کنید. شما اعتبارنامه‌های پروکسی خود را دریافت می‌کنید، اتصال را آزمایش می‌کنید و ابزارهای رایج اسکرپینگ را پیکربندی می‌کنید. مراحل از جانگهدارها استفاده می‌کنند: HOST، PORT، USERNAME و PASSWORD. آن‌ها را با مقادیر حساب Smartproxy خود جایگزین کنید.

مراحل

  1. تأیید پیش‌نیازها. به حساب Smartproxy با پروکسی‌های مسکونی فعال، یک دستگاه Windows 10 یا 11 و ابزار اسکرپینگ مانند Python Requests، Scrapy یا یک مرورگر نیاز دارید. پروکسی‌های مسکونی Smartproxy از HTTP و SOCKS5 پشتیبانی می‌کنند، پس پروتکلی را انتخاب کنید که ابزارتان بهتر با آن کار می‌کند. اگر به IPهای سریع‌تر و غیرمسکونی نیاز دارید، پروکسی‌های دیتاسنتری نیز موجود هستند.

  2. جزئیات پروکسی خود را دریافت کنید. وارد حساب Smartproxy شوید و اندپوینت پروکسی مسکونی را پیدا کنید. نام میزبان یا نشانی IP، پورت HTTP یا SOCKS5، و نام کاربری و رمز عبور را یادداشت کنید. اگر به‌جای نام کاربری/رمز عبور از احراز هویت IP استفاده می‌کنید، تنظیم IP مجاز را یادداشت کنید. این جزئیات را آماده نگه دارید.

  3. پروکسی را با cURL آزمایش کنید. Command Prompt یا PowerShell را باز کنید. برای پروکسی HTTP، اجرا کنید: curl -x http://USERNAME:PASSWORD@HOST:PORT https://httpbin.org/ip برای پروکسی SOCKS5، اجرا کنید: curl --socks5 HOST:PORT -U USERNAME:PASSWORD https://httpbin.org/ip پاسخ باید نشانی IP متفاوت از IP خودتان نشان دهد. اگر احراز هویت ناموفق بود، نام کاربری، رمز عبور و پورت را بررسی کنید.

  4. یک مرورگر را به‌صورت دستی پیکربندی کنید. برای Chrome یا Edge، Windows Settings > Network & Internet > Proxy را باز کنید و یک پروکسی HTTP دستی با میزبان و پورت Smartproxy خود تنظیم کنید. برای SOCKS5، از مرورگری استفاده کنید که مستقیماً از SOCKS5 پشتیبانی می‌کند، مانند Firefox: Settings > Network Settings > Manual proxy configuration، سپس میزبان و پورت SOCKS5 را وارد کنید. اگر از افزونه مرورگر Smartproxy استفاده می‌کنید، آن را از فروشگاه افزونه مرورگر خود نصب کنید و به‌جای آن، دستورالعمل‌های افزونه را دنبال کنید.

  5. Python Requests را پیکربندی کنید. در صورت نیاز Requests و وابستگی SOCKS را نصب کنید: pip install requests requests[socks] سپس از یک دیکشنری proxies استفاده کنید. برای HTTP: proxies = {'http': 'http://USERNAME:PASSWORD@HOST:PORT', 'https': 'http://USERNAME:PASSWORD@HOST:PORT'} برای SOCKS5: proxies = {'http': 'socks5://USERNAME:PASSWORD@HOST:PORT', 'https': 'socks5://USERNAME:PASSWORD@HOST:PORT'} proxies=proxies را به requests.get() یا requests.post() بدهید.

  6. Scrapy را پیکربندی کنید. در پروژه Scrapy خود، settings.py را باز کنید و HTTPPROXY_ENABLED = True را تنظیم کنید. پروکسی خود را به meta درخواست اضافه کنید، برای مثال: yield scrapy.Request(url, meta={'proxy': 'http://USERNAME:PASSWORD@HOST:PORT'}) برای SOCKS5، از socks5://USERNAME:PASSWORD@HOST:PORT استفاده کنید و کتابخانه PySocks را نصب کنید.

  7. اگر حساب شما شامل آن است، از چرخش (rotation) یا نشست‌های چسبنده (sticky sessions) استفاده کنید. Smartproxy ممکن است اندپوینت‌های چرخشی یا شناسه‌های نشست را در حساب شما ارائه دهد. در صورت موجود بودن، چرخش را با استفاده از اندپوینت چرخشی پیکربندی کنید، یا با افزودن پارامتر session به نام کاربری یا اندپوینت، مطابق مستندات حساب Smartproxy خود، یک نشست را حفظ کنید. اگر مطمئن نیستید، با اندپوینت استاندارد شروع کنید و آزمایش کنید.

  8. خطاها و محدودیت‌های نرخ را مدیریت کنید. در ابزار اسکرپینگ خود timeout تنظیم کنید، خطاهای اتصال پروکسی را بگیرید و در صورت نیاز با درخواست جدید دوباره تلاش کنید. به robots.txt و شرایط استفاده سایت هدف احترام بگذارید. بین درخواست‌ها تأخیر بیندازید تا محدودیت‌های نرخ فعال نشوند. پروکسی‌های مسکونی اغلب برای سایت‌هایی که IPهای دیتاسنتری را مسدود می‌کنند بهتر هستند.

  9. تأیید و عیب‌یابی کنید. پس از پیکربندی، آزمایش cURL را دوباره اجرا کنید. اگر IP تغییر نکرد، تأیید کنید که ابزار شما از پروکسی استفاده می‌کند. غلط‌های تایپی را بررسی کنید، مطمئن شوید پورت با پروتکل مطابقت دارد، و تأیید کنید که فایروال یا آنتی‌ویروس Windows شما اتصال را مسدود نمی‌کند. برای سایت‌های HTTPS، یک پروکسی HTTP از متد CONNECT استفاده می‌کند؛ اگر ابزار شما از CONNECT پشتیبانی نمی‌کند، از SOCKS5 استفاده کنید.

  10. با احتیاط مقیاس‌پذیری کنید. با چند درخواست همزمان شروع کنید، سپس به‌آرامی افزایش دهید. نرخ‌های موفقیت و کدهای پاسخ را پایش کنید. اگر به IPهای زیادی نیاز دارید، استخر مسکونی Smartproxy طبق گفته ارائه‌دهنده شامل بیش از ۶۵ میلیون IP است، اما همیشه از استخر به‌صورت مسئولانه و در محدوده طرح خود استفاده کنید.