Poradniki konfiguracji

Proxy w Scrapy

Scrapy to narzędzie w Pythonie do budowy crawlerów zbierających wiele stron. Wpisz proxy w meta zapytania, a każde zapytanie pójdzie przez ProxySup.

Załóż kontoInne poradniki
  • Połączenie przez jeden adres bramki
  • Kraj i sesja w nazwie użytkownika
  • Token dostępu jako hasło

Co jest potrzebne do połączenia

Bramka
gate.proxysup.com:7777
Nazwa użytkownika
user-country-CODE
Hasło
Token dostępu Twojego konta
Ostatnia aktualizacja
  • Instalacja w 1 linii
  • Kroki: 4
  • Do 30 min stała sesja
  • HTTP, HTTPS, SOCKS5

Krok po kroku

Scrapy: kroki podłączenia proxy

Wykonaj kroki po kolei. W miejsce YOUR_TOKEN wpisz swój token dostępu.

  1. Krok 1

    Instalacja: Scrapy

    Terminal
    pip install scrapy

  2. Krok 2

    Podstawowe połączenie

    Kod
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Krok 3

    Użycie stałej sesji

    Część do zmiany
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Używaj tej samej nazwy sesji, aby po zalogowaniu przejść przez kilka stron po kolei

  4. Krok 4

    Sprawdzenie połączenia

    Przykładowa odpowiedź
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Domowy dostawca internetu" }

Nazwa użytkownika

Zasady nazwy użytkownika

Łącz wartości w nazwie użytkownika, aby ustawić kraj, miasto, sesję i produkt.

WartośćDziałanie
country-CODEUstawia kraj połączenia
city-MIASTOUstawia też miasto. Tylko w krajach z wyborem miasta
session-NAZWAWłącza stałą sesję. Ta sama nazwa dostaje to samo IP
type-mobile lub type-dcPrzełącza na proxy mobilne lub serwerowe. Bez tego używane są domowe

Jak składa się nazwę użytkownika

userPoczątekcountry-usKrajsession-a1b2Sesja stała

Wynik user-country-us-session-a1b2

Rozwiązywanie problemów

Scrapy: rozwiązywanie błędów połączenia

  • Pojawia się błąd 407

    Nazwa użytkownika lub token są błędne. Sprawdź, czy przed tokenem lub po nim nie ma spacji i czy nazwa użytkownika zaczyna się od user-.

  • Połączenie przekracza limit czasu

    Zwiększ limit czasu do około 30 sekund i zmniejsz liczbę równoczesnych zapytań do tej samej strony.

  • To samo IP nie jest zachowywane

    Sprawdź, czy nazwa użytkownika zawiera wartość session. Stała sesja trwa do 30 minut.

  • Wybrane miasto nie jest używane

    Sprawdź na stronie krajów, czy kraj ma wybór miasta, i wpisz nazwę miasta małymi literami z podkreśleniami.

Więcej

Inne poradniki konfiguracji

  • Proxy w Python requests

    requests to jedna z najpopularniejszych bibliotek do wysyłania zapytań w Pythonie. Wpisz adres bramki ProxySup w proxies, a połączenie od razu zadziała.

    Zobacz poradnik

  • Proxy w Playwright

    Playwright to narzędzie do sterowania przeglądarką za pomocą kodu. Wpisz bramkę, nazwę użytkownika i token w opcji proxy przy uruchamianiu przeglądarki, a wszystkie zapytania stron pójdą przez ProxySup.

    Zobacz poradnik

Podłącz teraz: Scrapy

Token dostępu dostajesz od razu przy rejestracji. Doładuj saldo, aby użyć kodu powyżej bez zmian.

Załóż kontoZobacz cennik