Skip to content
Advanced / 2 min read

Продвинутый SEO-мониторинг с ProxyScrape: отслеживание позиций по городам с помощью стабильных резидентных прокси

Узнайте, как настроить резидентные прокси ProxyScrape для продвинутого отслеживания позиций SEO в нескольких городах, обеспечивая надёжный аптайм и точные данные SERP. Включает ротацию на Python и обработку ошибок.

Веб-скрейпинг SEO-мониторинг Другое

Обзор

Если вы искали "proxy scape", "proxyscaper" или "scrapeproxy", правильное название — ProxyScrape. ProxyScrape предоставляет резидентные, датацентровые и мобильные прокси через HTTP и SOCKS5 с оплатой по мере использования или фиксированной ежемесячной оплатой. Их пул из более чем 97 млн IP-адресов создан для команд, которым нужен надёжный долгосрочный аптайм, что делает его отличным выбором для SEO-мониторинга, где критически важен стабильный сбор данных.

Это продвинутое руководство показывает, как использовать резидентные прокси ProxyScrape для отслеживания позиций по городам для ваших целевых ключевых слов. Вы создадите систему на Python, которая ротирует прокси, обрабатывает ошибки и проверяет результаты, чтобы гарантировать точность данных SERP в разных географических локациях.

Предварительные требования

  • Учётная запись ProxyScrape с включёнными резидентными прокси (или мобильными прокси, если вам нужны результаты SERP для мобильных устройств).
  • Установленный Python 3.8 или новее.
  • Базовое знакомство с Python requests или httpx.
  • Список ключевых слов и целевых городов, которые вы хотите отслеживать.
  • Необязательно: библиотека или API для скрейпинга SERP, если вы не хотите напрямую парсить результаты Google.

Шаг 1: Выберите правильный тип прокси для SEO-мониторинга

ProxyScrape предлагает три типа прокси, каждый со своими компромиссами для SEO-мониторинга:

  • Резидентные прокси: лучше всего подходят для обхода блокировок и получения точных локальных результатов. Используйте их для отслеживания позиций по городам.
  • Датацентровые прокси: быстрее и дешевле, но чаще блокируются поисковыми системами. Подходят для массовых, некритичных проверок.
  • Мобильные прокси: идеальны для мобильных SERP, хотя и дороже.

Для отслеживания позиций по городам рекомендуются резидентные прокси, потому что они предоставляют реальные IP-адреса пользователей из целевых локаций. Резидентный пул ProxyScrape имеет высокий долгосрочный аптайм, что необходимо для ежедневного отслеживания позиций.

Шаг 2: Получите учётные данные и эндпоинты прокси

Войдите в панель управления ProxyScrape и перейдите в раздел резидентных прокси. Вы найдёте:

  • Эндпоинт прокси (хост и порт)
  • Ваше имя пользователя и пароль (или ключ API, в зависимости от вашего тарифа)
  • Список доступных стран (а иногда и городов) для таргетинга

ProxyScrape поддерживает протоколы HTTP и SOCKS5. Для SEO-мониторинга HTTP обычно достаточно и его легче отлаживать.

Пример формата прокси:

http://username:[email protected]:8000
socks5://username:[email protected]:1080

Если ваша панель управления предоставляет список IP-адресов, вы также можете использовать их напрямую.

Шаг 3: Создайте геотаргетированный пул прокси

Чтобы отслеживать позиции по городам, вам нужны прокси из этих городов. Панель управления ProxyScrape позволяет выбирать конкретные страны. Для таргетинга на уровне города проверьте, поддерживает ли это ваш тариф; если нет, вы можете использовать прокси уровня страны и фильтровать локальные результаты поисковой системы с помощью параметра геолокации (например, &uule= для Google).

Создайте список URL прокси на Python для каждого целевого города. Например:

proxies_by_city = {
    "new_york": ["http://user:[email protected]:8000"],
    "london": ["http://user:[email protected]:8001"],
    # Добавляйте другие города по мере необходимости
}

Если у вас есть только таргетинг по странам, сгруппируйте города по странам и используйте один и тот же пул прокси, но добавьте параметр uule в поисковый запрос, чтобы имитировать локальный поиск.

Шаг 4: Реализуйте ротацию и обработку ошибок

Один IP-адрес прокси быстро заблокируется при скрейпинге SERP. Ротируйте прокси для каждого запроса или каждых нескольких запросов. Вот пример функции Python с использованием requests:

import requests
import random
import time

def fetch_serp(keyword, city, proxies):
    proxy = random.choice(proxies)
    proxies_dict = {"http": proxy, "https": proxy}
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }
    # Добавьте параметр uule для поиска на уровне города (пример для Google)
    params = {"q": keyword, "uule": f"w+CAIQICI{city}"}  # Замените на правильную кодировку uule
    try:
        response = requests.get("https://www.google.com/search", params=params, proxies=proxies_dict, headers=headers, timeout=10)
        response.raise_for_status()
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"Request failed with proxy {proxy}: {e}")
        return None

# Использование
for city, proxy_list in proxies_by_city.items():
    html = fetch_serp("best running shoes", city, proxy_list)
    if html:
        # Разобрать позиции из html
        pass
    time.sleep(random.uniform(1, 3))  # Вежливая задержка

Примечание: Параметр uule требует определённой кодировки. Вы можете сгенерировать его с помощью бесплатных онлайн-инструментов или библиотек. Если вы не скрейпите Google напрямую, многие API SERP принимают параметр location.

Для массового отслеживания рассмотрите использование httpx с асинхронной поддержкой и промежуточным ПО для ротации прокси.

Шаг 5: Проверяйте результаты и отслеживайте аптайм прокси

Чтобы обеспечить точность данных, внедрите проверку:

  • Проверьте, что ответ содержит ожидаемые элементы (например, контейнер результатов поиска).
  • Сравните позицию известного ключевого слова через несколько прокси, чтобы выявить аномалии.
  • Отслеживайте аптайм прокси, регистрируя сбои. Стабильная инфраструктура ProxyScrape снижает простои, но вам всё равно следует отслеживать, какие прокси отказывают, и заменять их.

Пример фрагмента проверки:

def is_valid_serp(html):
    return "result-stats" in html or "search" in html.lower()

Настройте простую проверку аптайма:

def check_proxy(proxy):
    try:
        r = requests.get("http://httpbin.org/ip", proxies={"http": proxy, "https": proxy}, timeout=5)
        return r.status_code == 200
    except:
        return False

Шаг 6: Сохраняйте и анализируйте данные о позициях

Когда у вас есть валидные SERP, разберите позиции и сохраните их в базе данных (например, SQLite, PostgreSQL). Отслеживайте позицию вашего целевого URL для каждой комбинации ключевого слова и города с течением времени.

Пример с использованием sqlite3:

import sqlite3

conn = sqlite3.connect("rankings.db")
c = conn.cursor()
c.execute("""CREATE TABLE IF NOT EXISTS rankings
             (date TEXT, keyword TEXT, city TEXT, position INTEGER, url TEXT)""")
# Вставить разобранные данные
conn.commit()

Анализируйте тренды, чтобы выявлять локальные изменения позиций и соответственно корректировать вашу SEO-стратегию.

Устранение неполадок

Прокси работают медленно или истекает таймаут

  • Увеличьте таймаут до 15–20 секунд.
  • Снизьте параллелизм, если вы делаете много параллельных запросов.
  • Проверьте страницу статуса или панель управления ProxyScrape на наличие сообщений о проблемах.

Блокировки или появление CAPTCHA

  • Убедитесь, что вы ротируете прокси для каждого запроса.
  • Добавьте реалистичные заголовки и случайные задержки.
  • Используйте резидентные прокси вместо датацентровых для Google.
  • Рассмотрите использование API SERP, который обрабатывает CAPTCHA.

Таргетинг по городам не работает

  • Убедитесь, что ваш тариф ProxyScrape поддерживает таргетинг на уровне города. Если нет, используйте прокси уровня страны и параметр uule.
  • Перепроверьте кодировку uule для вашего целевого города.

Ошибки аутентификации

  • Убедитесь, что ваше имя пользователя и пароль верны.
  • Если вы используете белый список IP, убедитесь, что IP вашего сервера добавлен в панель управления ProxyScrape.

Итог

В этом руководстве вы настроили резидентные прокси ProxyScrape для продвинутого отслеживания позиций SEO по городам. Вы узнали, как выбрать правильный тип прокси, получить учётные данные, создать геотаргетированный пул, ротировать прокси с обработкой ошибок, проверять результаты и сохранять данные о позициях. Надёжный аптайм и большой резидентный пул ProxyScrape делают его прочным выбором для команд, которым нужен стабильный долгосрочный SEO-мониторинг. Помните, правильное название — ProxyScrape, а не "proxy scape" или "proxyscaper", — так вы сможете найти нужную документацию и поддержку при необходимости.