Инструкции

Прокси в Scrapy

Scrapy служит для создания краулеров на Python, которые собирают много страниц. Укажите proxy в meta запроса, и каждый запрос пойдёт через ProxySup.

Создать аккаунтДругие инструкции
  • Подключение через один адрес шлюза
  • Страна и сессия в имени пользователя
  • Токен доступа вместо пароля

Что нужно для подключения

Шлюз
gate.proxysup.com:7777
Имя пользователя
user-country-CODE
Пароль
Токен доступа вашего аккаунта
Обновлено
  • Установка в 1 строку
  • Шагов: 4
  • До 30 мин фиксированная сессия
  • HTTP, HTTPS, SOCKS5

По шагам

Scrapy: шаги подключения прокси

Выполняйте шаги по порядку. Вместо YOUR_TOKEN укажите свой токен доступа.

  1. Шаг 1

    Установка: Scrapy

    Терминал
    pip install scrapy

  2. Шаг 2

    Простое подключение

    Код
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Шаг 3

    Фиксированная сессия

    Что заменить
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Используйте одно имя сессии, чтобы после входа пройти несколько страниц подряд

  4. Шаг 4

    Проверка подключения

    Пример ответа
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Домашний интернет-провайдер" }

Имя пользователя

Правила имени пользователя

Собирайте значения в имени пользователя, чтобы задать страну, город, сессию и продукт.

ЗначениеНазначение
country-CODEЗадаёт страну подключения
city-ГОРОДЗадаёт ещё и город. Только в странах с выбором города
session-ИМЯВключает фиксированную сессию. Одно имя получает один IP
type-mobile или type-dcПереключает на мобильные или серверные прокси. Без этого используются резидентные

Из чего состоит имя пользователя

userНачалоcountry-usСтранаsession-a1b2Фиксированная сессия

Итог user-country-us-session-a1b2

Решение проблем

Scrapy: ошибки подключения и их решение

  • Появляется ошибка 407

    Имя пользователя или токен указаны неверно. Проверьте, нет ли пробелов до или после токена и начинается ли имя пользователя с user-.

  • Подключение обрывается по таймауту

    Увеличьте таймаут примерно до 30 секунд и уменьшите число одновременных запросов к одному сайту.

  • IP не сохраняется

    Проверьте, что в имени пользователя есть значение session. Фиксированная сессия держится до 30 минут.

  • Нужный город не используется

    Проверьте на странице стран, есть ли в стране выбор города, и пишите название города строчными буквами через подчёркивание.

Ещё

Другие инструкции по подключению

  • Прокси в Python requests

    requests входит в число самых популярных библиотек для веб-запросов на Python. Укажите адрес шлюза ProxySup в proxies, и подключение сразу заработает.

    Открыть инструкцию

  • Прокси в Playwright

    Playwright нужен для управления браузером из кода. Укажите шлюз, имя пользователя и токен в параметре proxy при запуске браузера, и все запросы страниц пойдут через ProxySup.

    Открыть инструкцию

Подключите прямо сейчас: Scrapy

Токен доступа выдаётся сразу при регистрации. Пополните баланс, чтобы использовать код выше без изменений.

Создать аккаунтСмотреть цены