Інструкції

Проксі в Scrapy

Scrapy слугує для створення краулерів на Python, які збирають багато сторінок. Вкажіть proxy в meta запиту, і кожен запит піде через ProxySup.

Створити акаунтІнші інструкції
  • Підключення через одну адресу шлюзу
  • Країна й сесія в імені користувача
  • Токен доступу замість пароля

Що потрібно для підключення

Шлюз
gate.proxysup.com:7777
Ім'я користувача
user-country-CODE
Пароль
Токен доступу вашого акаунта
Оновлено
  • Встановлення в 1 рядок
  • Кроків: 4
  • До 30 хв фіксована сесія
  • HTTP, HTTPS, SOCKS5

Крок за кроком

Scrapy: кроки підключення проксі

Виконуйте кроки по черзі. Замість YOUR_TOKEN вкажіть свій токен доступу.

  1. Крок 1

    Встановлення: Scrapy

    Термінал
    pip install scrapy

  2. Крок 2

    Просте підключення

    Код
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Крок 3

    Фіксована сесія

    Що замінити
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Використовуйте одне ім'я сесії, щоб після входу пройти кілька сторінок поспіль

  4. Крок 4

    Перевірка підключення

    Приклад відповіді
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Домашній інтернет-провайдер" }

Ім'я користувача

Правила імені користувача

Збирайте значення в імені користувача, щоб задати країну, місто, сесію та продукт.

ЗначенняПризначення
country-CODEЗадає країну підключення
city-МІСТОЗадає ще й місто. Лише в країнах із вибором міста
session-ІМ'ЯВмикає фіксовану сесію. Одне ім'я отримує один IP
type-mobile або type-dcПеремикає на мобільні чи серверні проксі. Без цього використовуються резидентні

З чого складається ім'я користувача

userПочатокcountry-usКраїнаsession-a1b2Фіксована сесія

Результат user-country-us-session-a1b2

Вирішення проблем

Scrapy: помилки підключення та їх вирішення

  • З'являється помилка 407

    Ім'я користувача або токен указано неправильно. Перевірте, чи немає пробілів до або після токена і чи починається ім'я користувача з user-.

  • Підключення обривається за тайм-аутом

    Збільште тайм-аут приблизно до 30 секунд і зменште кількість одночасних запитів до одного сайту.

  • IP не зберігається

    Перевірте, що в імені користувача є значення session. Фіксована сесія тримається до 30 хвилин.

  • Потрібне місто не використовується

    Перевірте на сторінці країн, чи є в країні вибір міста, і пишіть назву міста малими літерами через підкреслення.

Ще

Інші інструкції з підключення

  • Проксі в Python requests

    requests належить до найпопулярніших бібліотек для вебзапитів на Python. Вкажіть адресу шлюзу ProxySup у proxies, і підключення одразу запрацює.

    Відкрити інструкцію

  • Проксі в Playwright

    Playwright потрібен для керування браузером із коду. Вкажіть шлюз, ім'я користувача й токен у параметрі proxy під час запуску браузера, і всі запити сторінок підуть через ProxySup.

    Відкрити інструкцію

Підключіть просто зараз: Scrapy

Токен доступу видається одразу під час реєстрації. Поповніть баланс, щоб використовувати код вище без змін.

Створити акаунтПереглянути ціни