Guides d'intégration

Connecter un proxy à Scrapy

Scrapy est un outil Python pour créer des crawlers qui collectent de nombreuses pages. Indiquez proxy dans le meta de la requête et chaque requête passe par ProxySup.

Créer un compteVoir les autres guides
  • Connexion avec une seule adresse de passerelle
  • Pays et session dans le nom d'utilisateur
  • Le jeton d'accès comme mot de passe

Ce qu'il faut pour se connecter

Passerelle
gate.proxysup.com:7777
Nom d'utilisateur
user-country-CODE
Mot de passe
Le jeton d'accès de votre compte
Dernière mise à jour
  • Installation en 1 ligne
  • 4 étapes à suivre
  • Jusqu'à 30 min de session fixe
  • HTTP, HTTPS, SOCKS5

Pas à pas

Scrapy : étapes pour connecter le proxy

Suivez les étapes dans l'ordre. Mettez votre jeton d'accès à la place de YOUR_TOKEN.

  1. Étape 1

    Installer Scrapy

    Terminal
    pip install scrapy

  2. Étape 2

    Connexion de base

    Code
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Étape 3

    Utiliser une session fixe

    Partie à modifier
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Utilisez le même nom de session pour parcourir plusieurs pages à la suite après connexion

  4. Étape 4

    Vérifier la connexion

    Exemple de réponse
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Fournisseur d'accès domestique" }

Nom d'utilisateur

Règles du nom d'utilisateur

Assemblez des valeurs dans le nom d'utilisateur pour définir le pays, la ville, la session et le produit.

ValeurRôle
country-CODEDéfinit le pays de connexion
city-VILLEDéfinit aussi la ville. Seulement dans les pays avec ciblage par ville
session-NOMActive une session fixe. Le même nom reçoit la même IP
type-mobile ou type-dcPasse aux proxys mobiles ou datacenter. Sans cela, le résidentiel est utilisé

Comment se compose le nom d'utilisateur

userDébutcountry-usPayssession-a1b2Session fixe

Résultat user-country-us-session-a1b2

Dépannage

Scrapy : résoudre les erreurs de connexion

  • J'obtiens une erreur 407

    Cela signifie que le nom d'utilisateur ou le jeton est incorrect. Vérifiez qu'il n'y a pas d'espace avant ou après le jeton et que le nom d'utilisateur commence par user-.

  • La connexion expire

    Augmentez le timeout à environ 30 secondes et réduisez le nombre de requêtes simultanées vers le même site.

  • La même IP n'est pas conservée

    Vérifiez que le nom d'utilisateur contient une valeur session. Les sessions fixes durent jusqu'à 30 minutes.

  • La ville voulue n'est pas utilisée

    Vérifiez sur la page des pays que le pays propose le ciblage par ville, et écrivez le nom de la ville en minuscules avec des tirets bas.

Plus

Autres guides d'intégration

  • Utiliser un proxy avec Python requests

    requests est l'une des bibliothèques les plus utilisées pour envoyer des requêtes web en Python. Indiquez l'adresse de la passerelle ProxySup dans proxies et la connexion fonctionne aussitôt.

    Voir le guide

  • Connecter un proxy à Playwright

    Playwright est un outil pour piloter un navigateur avec du code. Indiquez la passerelle, le nom d'utilisateur et le jeton dans l'option proxy au lancement du navigateur, et toutes les requêtes de page passent par ProxySup.

    Voir le guide

Connectez Scrapy dès maintenant

Vous recevez un jeton d'accès dès l'inscription. Rechargez votre solde pour utiliser le code ci-dessus tel quel.

Créer un compteVoir les tarifs