Mga gabay sa pagkonekta

Ikonekta ang proxy sa Scrapy

Ang Scrapy ay Python tool para gumawa ng crawler na nangongolekta ng maraming page. Ilagay ang proxy sa meta ng request at dadaan sa ProxySup ang bawat request.

Gumawa ng accountIba pang gabay
  • Kumonekta gamit ang iisang gateway address
  • Bansa at session sa username
  • Ang access token bilang password

Mga kailangan para kumonekta

Gateway
gate.proxysup.com:7777
Username
user-country-CODE
Password
Ang access token ng account mo
Huling na-update
  • 1 linya para mag-install
  • 4 hakbang hanggang matapos
  • Hanggang 30 minuto nakapirming session
  • HTTP, HTTPS, SOCKS5

Hakbang-hakbang

Mga hakbang sa pagkonekta ng proxy sa Scrapy

Sundin ang mga hakbang nang sunud-sunod. Palitan ang YOUR_TOKEN ng access token mo.

  1. Hakbang 1

    I-install ang Scrapy

    Terminal
    pip install scrapy

  2. Hakbang 2

    Basic na koneksyon

    Code
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Hakbang 3

    Gumamit ng nakapirming session

    Bahaging papalitan
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Gamitin ang parehong pangalan ng session para dumaan sa sunud-sunod na page pagka-log in

  4. Hakbang 4

    I-check ang koneksyon

    Halimbawang sagot
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Internet provider sa bahay" }

Username

Mga patakaran sa username

Pagsamahin ang mga value sa username para itakda ang bansa, lungsod, session at produkto.

HalagaGamit
country-CODEItinatakda ang bansa ng koneksyon
city-LUNGSODItinatakda rin ang lungsod. Sa mga bansang may city targeting lang
session-PANGALANIno-on ang nakapirming session. Parehong IP sa parehong pangalan
type-mobile o type-dcLilipat sa mobile o datacenter proxy. Kapag wala, residential ang gamit

Paano binubuo ang username

userSimulacountry-usBansasession-a1b2Nakapirming session

Resulta user-country-us-session-a1b2

Pag-ayos ng problema

Pag-ayos ng error sa koneksyon ng Scrapy

  • Lumalabas ang error 407

    Mali ang username o token. Tingnan kung may space bago o pagkatapos ng token at kung nagsisimula sa user- ang username.

  • Nagta-timeout ang koneksyon

    Itaas ang timeout sa mga 30 segundo at bawasan ang sabay-sabay na request sa parehong site.

  • Hindi nananatili ang parehong IP

    Tingnan kung may session value ang username. Tumatagal ang nakapirming session hanggang 30 minuto.

  • Hindi nagagamit ang gustong lungsod

    Tingnan sa page ng mga bansa kung may city targeting ang bansa, at isulat ang pangalan ng lungsod sa maliliit na titik na may underscore.

Iba pa

Iba pang gabay sa pagkonekta

  • Gamitin ang proxy sa Python requests

    Ang requests ay isa sa pinakasikat na library sa pagpapadala ng web request sa Python. Ilagay ang ProxySup gateway address sa proxies at gagana agad ang koneksyon.

    Tingnan ang gabay

  • Ikonekta ang proxy sa Playwright

    Ang Playwright ay tool para kontrolin ang browser gamit ang code. Ilagay ang gateway, username at token sa proxy option kapag binubuksan ang browser, at dadaan sa ProxySup ang lahat ng request ng page.

    Tingnan ang gabay

Ikonekta ang Scrapy ngayon

Makukuha mo agad ang access token pag-sign up. Mag-top up para magamit ang code sa itaas nang walang binabago.

Gumawa ng accountTingnan ang presyo