Guide di configurazione

Collegare un proxy a Scrapy

Scrapy è uno strumento Python per creare crawler che raccolgono molte pagine. Inserisci proxy nel meta della richiesta e ogni richiesta passa da ProxySup.

Crea un accountAltre guide
  • Connessione con un solo indirizzo di gateway
  • Paese e sessione nel nome utente
  • Il token di accesso come password

Cosa serve per connettersi

Gateway
gate.proxysup.com:7777
Nome utente
user-country-CODE
Password
Il token di accesso del tuo account
Ultimo aggiornamento
  • Installazione in 1 riga
  • 4 passaggi da seguire
  • Fino a 30 min di sessione fissa
  • HTTP, HTTPS, SOCKS5

Passo per passo

Scrapy: passaggi per collegare il proxy

Segui i passaggi in ordine. Metti il tuo token di accesso al posto di YOUR_TOKEN.

  1. Passo 1

    Installare Scrapy

    Terminale
    pip install scrapy

  2. Passo 2

    Connessione di base

    Codice
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Passo 3

    Usare una sessione fissa

    Parte da modificare
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Usa lo stesso nome di sessione per visitare più pagine di seguito dopo il login

  4. Passo 4

    Verificare la connessione

    Esempio di risposta
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Provider internet domestico" }

Nome utente

Regole del nome utente

Componi i valori nel nome utente per definire paese, città, sessione e prodotto.

ValoreFunzione
country-CODEImposta il paese di connessione
city-CITTAImposta anche la città. Solo nei paesi con targeting per città
session-NOMEAttiva una sessione fissa. Lo stesso nome riceve lo stesso IP
type-mobile o type-dcPassa ai proxy mobili o datacenter. Senza, si usano i residenziali

Come si compone il nome utente

userIniziocountry-usPaesesession-a1b2Sessione fissa

Risultato user-country-us-session-a1b2

Risoluzione dei problemi

Scrapy: risolvere gli errori di connessione

  • Ricevo un errore 407

    Significa che nome utente o token non sono corretti. Controlla che non ci siano spazi prima o dopo il token e che il nome utente inizi con user-.

  • La connessione va in timeout

    Aumenta il timeout a circa 30 secondi e riduci il numero di richieste simultanee verso lo stesso sito.

  • Lo stesso IP non viene mantenuto

    Controlla che il nome utente contenga un valore session. Le sessioni fisse durano fino a 30 minuti.

  • La città voluta non viene usata

    Controlla nella pagina dei paesi che il paese offra il targeting per città, e scrivi il nome della città in minuscolo con i trattini bassi.

Altro

Altre guide di configurazione

  • Usare un proxy con Python requests

    requests è una delle librerie più usate per inviare richieste web in Python. Inserisci l'indirizzo del gateway ProxySup in proxies e la connessione funziona subito.

    Vedi la guida

  • Collegare un proxy a Playwright

    Playwright è uno strumento per controllare un browser con il codice. Inserisci gateway, nome utente e token nell'opzione proxy all'avvio del browser, e tutte le richieste delle pagine passano da ProxySup.

    Vedi la guida

Collega Scrapy adesso

Ricevi il token di accesso subito alla registrazione. Ricarica il saldo per usare il codice qui sopra così com'è.

Crea un accountVedi i prezzi