Обзор

В этом руководстве показано, как настроить резидентские прокси Dataimpulse в Screaming Frog SEO Spider на Windows для надежного SEO-мониторинга, отслеживания позиций и анализа SERP. Направляя Screaming Frog через ротационные резидентские IP-адреса Dataimpulse, вы можете избежать блокировок по IP и собирать точные поисковые данные в масштабе.

Dataimpulse предоставляет резидентские и мобильные прокси с оплатой по мере использования, поддержкой HTTP и SOCKS5 и пулом более 90 млн IP-адресов. Их резидентские прокси оптимизированы для масштабного веб-скрапинга и сбора данных, что делает их хорошим выбором для SEO-сканирований.

Предварительные требования

Перед началом убедитесь, что у вас есть:

Компьютер с Windows 10 или Windows 11.
Установленный Screaming Frog SEO Spider (скачать с официального сайта).
Аккаунт Dataimpulse с включенными резидентскими прокси (зарегистрируйтесь или войдите).
Ваши учетные данные прокси Dataimpulse: хост, порт, имя пользователя и пароль (доступны в панели управления).
Базовое знакомство с меню настроек Screaming Frog.

Шаг 1: Получите учетные данные прокси Dataimpulse

Войдите в панель управления Dataimpulse и найдите свои учетные данные прокси. Вам понадобятся:

Хост прокси: имя хоста шлюза для ваших прокси (например, proxy.dataimpulse.com — проверьте точный хост в панели управления).
Порт прокси: номер порта для HTTP или SOCKS5 (например, 8000 или 823).
Имя пользователя: ваше имя пользователя Dataimpulse.
Пароль: ваш пароль Dataimpulse.

Dataimpulse поддерживает протоколы HTTP и SOCKS5. Для Screaming Frog HTTP — самый простой вариант, поскольку он работает из коробки с настройками прокси этого инструмента.

Шаг 2: Создайте файл списка прокси

Screaming Frog принимает текстовый файл, содержащий один прокси на строку. Вы можете отформатировать каждую строку как username:password@host:port или host:port:username:password. Мы будем использовать первый формат.

Создайте новый текстовый файл (например, dataimpulse_proxies.txt) и добавьте запись прокси:

username:[email protected]:8000

Если у вас несколько прокси (например, разные порты для ротации), добавьте каждый на новой строке. Сохраните файл в легкодоступном месте, например C:\SEO\dataimpulse_proxies.txt.

Примечание: Если ваш пароль содержит специальные символы, такие как @, : или /, URL-кодируйте их (например, @ становится %40). Это важно для формата username:password@host:port.

Шаг 3: Настройте Screaming Frog на использование списка прокси

Откройте Screaming Frog SEO Spider.
Перейдите в Конфигурация > Прокси.
На вкладке Прокси выберите Использовать список прокси.
Нажмите Обзор и выберите ваш файл dataimpulse_proxies.txt.
Установите Ротацию прокси в значение Каждый запрос (или Каждые N запросов, если вы предпочитаете использовать один и тот же IP для нескольких запросов). Для SEO-мониторинга ротация на каждый запрос помогает распределить нагрузку и избежать ограничений скорости.
Если ваши прокси требуют аутентификации, убедитесь, что поля Имя пользователя и Пароль оставлены пустыми (поскольку учетные данные указаны в файле), или заполните их только если вы не используете список прокси.
Нажмите OK, чтобы сохранить.

Шаг 4: Проверьте подключение через прокси

Перед запуском полного сканирования убедитесь, что Screaming Frog может подключиться через Dataimpulse. Вы можете проверить прокси независимо с помощью PowerShell или curl.

Откройте PowerShell и выполните:

curl -x http://username:[email protected]:8000 https://httpbin.org/ip

Замените username, password, proxy.dataimpulse.com и 8000 на ваши фактические учетные данные. Ответ должен показать IP-адрес, отличный от вашего локального, что подтвердит работу прокси.

В качестве альтернативы используйте встроенную кнопку Тест в окне настройки прокси Screaming Frog для проверки подключения.

Шаг 5: Запустите тестовое сканирование

В Screaming Frog введите тестовый URL (например, https://example.com) в адресную строку.
Нажмите Старт, чтобы начать сканирование.
Следите за прогрессом сканирования. Если сканирование завершается без ошибок и вкладка Внешние показывает результаты, прокси работает.
Чтобы убедиться, что запросы идут через Dataimpulse, вы можете проверить логи сканирования или использовать сервис проверки IP в качестве целевого URL (например, https://httpbin.org/ip) и изучить HTML-ответ.

Устранение неполадок

Ошибки аутентификации: перепроверьте имя пользователя и пароль. Если ваш пароль содержит специальные символы, URL-кодируйте их в файле списка прокси.
Тайм-ауты подключения: убедитесь, что хост и порт прокси указаны верно. Проверьте, не блокирует ли ваш брандмауэр или антивирус сетевой доступ Screaming Frog.
Блокировка целевым сайтом: некоторые сайты все еще могут блокировать IP-адреса дата-центров, но резидентские IP-адреса Dataimpulse менее вероятно будут заблокированы. Если вы столкнулись с блокировками, снизьте скорость сканирования или переключитесь на мобильные прокси (также доступны от Dataimpulse).
Ротация прокси не работает: убедитесь, что файл списка прокси отформатирован правильно и Screaming Frog настроен на использование списка. Если вам нужно сохранение сессии, проверьте в панели управления Dataimpulse конечные точки sticky-сессий.
Ошибки SSL: если вы видите ошибки SSL, убедитесь, что Screaming Frog настроен доверять сертификату прокси, или временно отключите проверку SSL для тестирования (не рекомендуется для продакшена).

Итог

Вы настроили резидентские прокси Dataimpulse в Screaming Frog SEO Spider на Windows. Эта конфигурация позволяет запускать крупномасштабные SEO-сканирования и задачи по отслеживанию позиций без срабатывания блокировок по IP. Не забывайте следить за использованием прокси, при необходимости корректировать настройки ротации и обращаться к документации Dataimpulse для продвинутых функций, таких как sticky-сессии или поддержка SOCKS5.