Panduan sambungan

Sambung proksi ke Scrapy

Scrapy ialah alat Python untuk membina crawler yang mengumpul banyak halaman. Masukkan proxy ke dalam meta permintaan dan setiap permintaan melalui ProxySup.

Daftar akaunLihat panduan lain
  • Sambung dengan satu alamat gateway
  • Negara dan sesi dalam nama pengguna
  • Token akses sebagai kata laluan

Apa yang diperlukan untuk menyambung

Gateway
gate.proxysup.com:7777
Nama pengguna
user-country-CODE
Kata laluan
Token akses akaun anda
Kemas kini terakhir
  • Pasang dengan 1 baris
  • 4 langkah hingga selesai
  • Sehingga 30 minit sesi tetap
  • HTTP, HTTPS, SOCKS5

Langkah demi langkah

Langkah menyambung proksi ke Scrapy

Ikut langkah mengikut urutan. Gantikan YOUR_TOKEN dengan token akses anda.

  1. Langkah 1

    Pasang Scrapy

    Terminal
    pip install scrapy

  2. Langkah 2

    Sambungan asas

    Kod
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Langkah 3

    Guna sesi tetap

    Bahagian yang ditukar
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Guna nama sesi yang sama untuk melayari beberapa halaman berturut-turut selepas log masuk

  4. Langkah 4

    Semak sambungan

    Contoh respons
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Penyedia internet rumah" }

Nama pengguna

Peraturan nama pengguna

Gabungkan nilai dalam nama pengguna untuk menetapkan negara, bandar, sesi dan produk.

NilaiFungsi
country-CODEMenetapkan negara sambungan
city-BANDARMenetapkan bandar juga. Hanya di negara yang menyokong bandar
session-NAMAMenghidupkan sesi tetap. Nama yang sama mendapat IP yang sama
type-mobile atau type-dcBertukar ke proksi mudah alih atau pusat data. Tanpa ini, kediaman digunakan

Cara nama pengguna disusun

userPermulaancountry-usNegarasession-a1b2Sesi tetap

Hasil user-country-us-session-a1b2

Penyelesaian masalah

Menyelesaikan ralat sambungan Scrapy

  • Ralat 407 muncul

    Nama pengguna atau token salah. Semak sama ada ada ruang kosong sebelum atau selepas token dan sama ada nama pengguna bermula dengan user-.

  • Sambungan tamat masa

    Naikkan had masa kepada kira-kira 30 saat dan kurangkan permintaan serentak ke laman yang sama.

  • IP yang sama tidak kekal

    Semak sama ada nama pengguna mengandungi nilai session. Sesi tetap kekal sehingga 30 minit.

  • Bandar yang dikehendaki tidak digunakan

    Semak di halaman negara sama ada negara itu menyokong bandar, dan tulis nama bandar dengan huruf kecil dan garis bawah.

Lagi

Panduan sambungan yang lain

  • Guna proksi dengan Python requests

    requests ialah antara pustaka paling popular untuk menghantar permintaan web dalam Python. Masukkan alamat gateway ProxySup ke dalam proxies dan sambungan terus berfungsi.

    Lihat panduan

  • Sambung proksi ke Playwright

    Playwright ialah alat untuk mengawal pelayar dengan kod. Isi gateway, nama pengguna dan token dalam pilihan proxy semasa membuka pelayar, dan semua permintaan halaman melalui ProxySup.

    Lihat panduan

Sambungkan Scrapy sekarang

Token akses diterima terus semasa mendaftar. Tambah nilai baki untuk menggunakan kod di atas seperti sedia ada.

Daftar akaunLihat harga