Skip to content
beginner

如何在 Windows 上设置 Smartproxy 住宅代理进行网页抓取

一份面向初学者的 Windows 教程，介绍如何配置 Smartproxy 住宅代理，并在浏览器、cURL、Python Requests 和 Scrapy 抓取工作流中使用它们。

Windows SOCKS5 HTTP(S) 网页抓取

概述

Smartproxy 提供支持 HTTP 和 SOCKS5 的住宅代理和数据中心代理。本教程展示如何在 Windows 上使用 Smartproxy 住宅代理进行网页抓取。你将获取代理凭据、测试连接，并配置常见的抓取工具。以下步骤使用占位符：HOST、PORT、USERNAME 和 PASSWORD。请将它们替换为你的 Smartproxy 账户中的值。

步骤

  1. 确认前提条件。你需要一个已启用住宅代理的 Smartproxy 账户、一台 Windows 10 或 11 计算机，以及一个抓取工具，例如 Python Requests、Scrapy 或浏览器。Smartproxy 住宅代理支持 HTTP 和 SOCKS5，因此请选择你的工具处理得最好的协议。如果你需要更快、非住宅的 IP，也可以使用数据中心代理。

  2. 获取你的代理详细信息。登录你的 Smartproxy 账户，找到住宅代理端点。记下主机名或 IP 地址、HTTP 或 SOCKS5 的端口，以及用户名和密码。如果你使用 IP 认证而不是用户名/密码，请记下白名单 IP 设置。准备好这些详细信息。

  3. 使用 cURL 测试代理。打开命令提示符或 PowerShell。对于 HTTP 代理，运行： curl -x http://USERNAME:PASSWORD@HOST:PORT https://httpbin.org/ip 对于 SOCKS5 代理，运行： curl --socks5 HOST:PORT -U USERNAME:PASSWORD https://httpbin.org/ip 响应应显示与你自己的 IP 不同的 IP 地址。如果认证失败，请检查用户名、密码和端口。

  4. 手动配置浏览器。对于 Chrome 或 Edge，打开 Windows 设置 > 网络和 Internet > 代理，并使用你的 Smartproxy 主机和端口设置手动 HTTP 代理。对于 SOCKS5，请使用直接支持 SOCKS5 的浏览器，例如 Firefox：设置 > 网络设置 > 手动代理配置，然后输入 SOCKS5 主机和端口。如果你使用 Smartproxy 浏览器扩展，请从浏览器的扩展商店安装它，并改为按照扩展提示操作。

  5. 配置 Python Requests。如有需要，安装 Requests 和 SOCKS 依赖： pip install requests requests[socks] 然后使用 proxies 字典。对于 HTTP： proxies = {'http': 'http://USERNAME:PASSWORD@HOST:PORT', 'https': 'http://USERNAME:PASSWORD@HOST:PORT'} 对于 SOCKS5： proxies = {'http': 'socks5://USERNAME:PASSWORD@HOST:PORT', 'https': 'socks5://USERNAME:PASSWORD@HOST:PORT'} 将 proxies=proxies 传递给 requests.get() 或 requests.post()。

  6. 配置 Scrapy。在你的 Scrapy 项目中，打开 settings.py 并设置 HTTPPROXY_ENABLED = True。将你的代理添加到请求 meta 中，例如： yield scrapy.Request(url, meta={'proxy': 'http://USERNAME:PASSWORD@HOST:PORT'}) 对于 SOCKS5，使用 socks5://USERNAME:PASSWORD@HOST:PORT 并安装 PySocks 库。

  7. 如果你的账户包含轮换或粘性会话，请使用它们。Smartproxy 可能会在你的账户中提供轮换端点或会话标识符。如果可用，请通过使用轮换端点来配置轮换，或者按照你的 Smartproxy 账户中的文档，将会话参数添加到用户名或端点以保持会话。如果不确定，请从标准端点开始并测试。

  8. 处理错误和速率限制。在你的抓取工具中设置超时，捕获代理连接错误，并在需要时用新请求重试。遵守目标网站的 robots.txt 和服务条款。在请求之间添加延迟，以避免触发速率限制。对于屏蔽数据中心 IP 的网站，住宅代理通常更好。

  9. 验证并排查问题。配置后重新运行 cURL 测试。如果 IP 没有变化，请确认你的工具正在使用代理。检查是否有拼写错误，确保端口与协议匹配，并验证你的 Windows 防火墙或杀毒软件没有阻止连接。对于 HTTPS 网站，HTTP 代理使用 CONNECT 方法；如果你的工具不支持 CONNECT，请使用 SOCKS5。

  10. 谨慎扩展。从少量并发请求开始，然后缓慢增加。监控成功率和响应代码。如果你需要许多 IP，根据提供商所述，Smartproxy 的住宅 IP 池包含 6500 万+ 个 IP，但请始终负责任地使用该池，并遵守你的套餐限制。