Guías de integración

Conectar un proxy a Scrapy

Scrapy es una herramienta de Python para crear crawlers que recopilan muchas páginas. Pon proxy en el meta de la solicitud y cada solicitud pasa por ProxySup.

Crear cuentaVer otras guías
  • Conexión con una sola dirección de gateway
  • País y sesión en el nombre de usuario
  • El token de acceso como contraseña

Lo que necesitas para conectarte

Gateway
gate.proxysup.com:7777
Nombre de usuario
user-country-CÓDIGO
Contraseña
El token de acceso de tu cuenta
Última actualización
  • Instalación en 1 línea
  • 4 pasos a seguir
  • Hasta 30 min de sesión fija
  • HTTP, HTTPS, SOCKS5

Paso a paso

Scrapy: pasos para conectar el proxy

Sigue los pasos desde arriba. Pon tu token de acceso donde dice YOUR_TOKEN.

  1. Paso 1

    Instalar Scrapy

    Terminal
    pip install scrapy

  2. Paso 2

    Conexión básica

    Código
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Paso 3

    Usar una sesión fija

    Parte que cambia
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Usa el mismo nombre de sesión cuando recorras varias páginas seguidas después de iniciar sesión

  4. Paso 4

    Comprobar la conexión

    Respuesta de ejemplo
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Proveedor de internet doméstico" }

Nombre de usuario

Reglas del nombre de usuario

Une valores en el nombre de usuario para indicar el país, la ciudad, la sesión y el producto.

ValorQué hace
country-CÓDIGOIndica el país desde el que te conectas
city-CIUDADIndica también la ciudad. Solo en países con selección de ciudad
session-NOMBREActiva una sesión fija. El mismo nombre recibe la misma IP
type-mobile o type-dcCambia a proxies móviles o de centro de datos. Sin esto, se usa residencial

Así se arma el nombre de usuario

userIniciocountry-usPaíssession-a1b2Sesión fija

Resultado user-country-us-session-a1b2

Solución de problemas

Scrapy: cómo resolver errores de conexión

  • Me aparece un error 407

    Significa que el nombre de usuario o el token no son correctos. Comprueba que no haya espacios antes o después del token y que el nombre de usuario empiece con user-.

  • La conexión se agota

    Sube el timeout a unos 30 segundos y reduce las solicitudes simultáneas al mismo sitio.

  • No se mantiene la misma IP

    Comprueba que el nombre de usuario tenga un valor session. Las sesiones fijas duran hasta 30 minutos.

  • No se usa la ciudad que quiero

    Comprueba en la página de países que el país tenga selección de ciudad, y escribe el nombre de la ciudad en minúsculas y con guiones bajos.

Más

Otras guías de integración

  • Usar un proxy con Python requests

    requests es una de las bibliotecas más usadas para enviar solicitudes web en Python. Pon la dirección del gateway de ProxySup en proxies y se conecta enseguida.

    Ver guía

  • Conectar un proxy a Playwright

    Playwright es una herramienta para controlar un navegador con código. Pon el gateway, el nombre de usuario y el token en la opción proxy al iniciar el navegador, y todas las solicitudes de página pasan por ProxySup.

    Ver guía

Conecta Scrapy ahora

Recibes un token de acceso en cuanto te registras. Recarga saldo para usar el código de arriba tal cual.

Crear cuentaVer precios