Anleitungen

Proxy mit Scrapy verbinden

Scrapy ist ein Python-Tool zum Bau von Crawlern, die viele Seiten erfassen. Tragen Sie proxy in das meta der Anfrage ein, und jede Anfrage läuft über ProxySup.

Konto erstellenWeitere Anleitungen
  • Verbindung über eine einzige Gateway-Adresse
  • Land und Sitzung im Benutzernamen
  • Der Zugangstoken als Passwort

Was Sie zum Verbinden brauchen

Gateway
gate.proxysup.com:7777
Benutzername
user-country-CODE
Passwort
Der Zugangstoken Ihres Kontos
Zuletzt aktualisiert
  • Installation in 1 Zeile
  • 4 Schritte zum Ziel
  • Bis zu 30 Min. feste Sitzung
  • HTTP, HTTPS, SOCKS5

Schritt für Schritt

Scrapy: Schritte zur Proxy-Verbindung

Folgen Sie den Schritten der Reihe nach. Setzen Sie Ihren Zugangstoken anstelle von YOUR_TOKEN ein.

  1. Schritt 1

    Scrapy installieren

    Terminal
    pip install scrapy

  2. Schritt 2

    Grundverbindung

    Code
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Schritt 3

    Feste Sitzung nutzen

    Zu ändernder Teil
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Nutzen Sie denselben Sitzungsnamen, um nach dem Login mehrere Seiten nacheinander zu durchlaufen

  4. Schritt 4

    Verbindung prüfen

    Beispielantwort
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Privater Internetanbieter" }

Benutzername

Regeln für den Benutzernamen

Setzen Sie Werte im Benutzernamen zusammen, um Land, Stadt, Sitzung und Produkt festzulegen.

WertFunktion
country-CODELegt das Verbindungsland fest
city-STADTLegt auch die Stadt fest. Nur in Ländern mit Stadt-Targeting
session-NAMEAktiviert eine feste Sitzung. Derselbe Name erhält dieselbe IP
type-mobile oder type-dcWechselt zu mobilen oder Rechenzentrums-Proxys. Ohne Angabe wird Residential genutzt

So setzt sich der Benutzername zusammen

userAnfangcountry-usLandsession-a1b2Feste Sitzung

Ergebnis user-country-us-session-a1b2

Fehlerbehebung

Scrapy: Verbindungsfehler beheben

  • Ich erhalte einen Fehler 407

    Benutzername oder Token sind falsch. Prüfen Sie, ob vor oder nach dem Token ein Leerzeichen steht und ob der Benutzername mit user- beginnt.

  • Die Verbindung läuft in ein Timeout

    Erhöhen Sie das Timeout auf etwa 30 Sekunden und senden Sie weniger gleichzeitige Anfragen an dieselbe Website.

  • Dieselbe IP bleibt nicht erhalten

    Prüfen Sie, ob der Benutzername einen Wert session enthält. Feste Sitzungen halten bis zu 30 Minuten.

  • Die gewünschte Stadt wird nicht genutzt

    Prüfen Sie auf der Länderseite, ob das Land Stadt-Targeting bietet, und schreiben Sie den Stadtnamen klein mit Unterstrichen.

Mehr

Weitere Anleitungen

  • Proxy mit Python requests nutzen

    requests ist eine der meistgenutzten Bibliotheken für Webanfragen in Python. Tragen Sie die ProxySup-Gateway-Adresse in proxies ein, und die Verbindung steht sofort.

    Anleitung ansehen

  • Proxy mit Playwright verbinden

    Playwright ist ein Tool, um einen Browser per Code zu steuern. Tragen Sie Gateway, Benutzername und Token beim Start des Browsers in die Option proxy ein, und alle Seitenanfragen laufen über ProxySup.

    Anleitung ansehen

Scrapy jetzt verbinden

Den Zugangstoken erhalten Sie gleich bei der Registrierung. Laden Sie Guthaben auf und nutzen Sie den Code oben direkt.

Konto erstellenPreise ansehen