Guias de integração

Conectar um proxy ao Scrapy

O Scrapy é uma ferramenta Python para criar crawlers que coletam muitas páginas. Coloque proxy no meta da requisição e cada requisição passa pelo ProxySup.

Criar contaVer outros guias
  • Conexão com um só endereço de gateway
  • País e sessão no nome de usuário
  • O token de acesso como senha

O que você precisa para se conectar

Gateway
gate.proxysup.com:7777
Nome de usuário
user-country-CÓDIGO
Senha
O token de acesso da sua conta
Última atualização
  • Instalação em 1 linha
  • 4 etapas para seguir
  • Até 30 min de sessão fixa
  • HTTP, HTTPS, SOCKS5

Passo a passo

Scrapy: etapas para conectar o proxy

Siga as etapas de cima para baixo. Coloque seu token de acesso onde está YOUR_TOKEN.

  1. Etapa 1

    Instalar Scrapy

    Terminal
    pip install scrapy

  2. Etapa 2

    Conexão básica

    Código
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Etapa 3

    Usar uma sessão fixa

    Parte que muda
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Use o mesmo nome de sessão ao navegar por várias páginas seguidas depois do login

  4. Etapa 4

    Verificar a conexão

    Resposta de exemplo
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Provedor de internet residencial" }

Nome de usuário

Regras do nome de usuário

Junte valores no nome de usuário para definir o país, a cidade, a sessão e o produto.

ValorO que faz
country-CÓDIGODefine o país de onde você se conecta
city-CIDADEDefine também a cidade. Só em países com escolha de cidade
session-NOMEAtiva uma sessão fixa. O mesmo nome recebe o mesmo IP
type-mobile ou type-dcTroca para proxies móveis ou de data center. Sem isso, é residencial

Como o nome de usuário é montado

userIníciocountry-usPaíssession-a1b2Sessão fixa

Resultado user-country-us-session-a1b2

Solução de problemas

Scrapy: como resolver erros de conexão

  • Recebo um erro 407

    Significa que o nome de usuário ou o token está errado. Confira se não há espaços antes ou depois do token e se o nome de usuário começa com user-.

  • A conexão expira

    Aumente o timeout para uns 30 segundos e diminua as requisições simultâneas ao mesmo site.

  • O mesmo IP não é mantido

    Confira se o nome de usuário tem um valor session. Sessões fixas duram até 30 minutos.

  • A cidade que quero não é usada

    Confira na página de países se o país tem escolha de cidade e escreva o nome da cidade em letras minúsculas e com sublinhados.

Mais

Outros guias de integração

  • Usar um proxy com Python requests

    O requests é uma das bibliotecas mais usadas para enviar requisições web em Python. Coloque o endereço do gateway do ProxySup em proxies e a conexão funciona na hora.

    Ver guia

  • Conectar um proxy ao Playwright

    O Playwright é uma ferramenta para controlar um navegador com código. Coloque o gateway, o nome de usuário e o token na opção proxy ao iniciar o navegador, e todas as requisições de página passam pelo ProxySup.

    Ver guia

Conecte o Scrapy agora

Você recebe um token de acesso assim que se cadastra. Recarregue o saldo para usar o código acima como está.

Criar contaVer preços