Panduan koneksi

Menghubungkan proxy ke Scrapy

Scrapy adalah alat Python untuk membuat crawler yang mengumpulkan banyak halaman. Masukkan proxy ke meta permintaan dan setiap permintaan lewat ProxySup.

Buat akunLihat panduan lain
  • Terhubung dengan satu alamat gateway
  • Negara dan sesi di nama pengguna
  • Token akses sebagai kata sandi

Yang diperlukan untuk terhubung

Gateway
gate.proxysup.com:7777
Nama pengguna
user-country-CODE
Kata sandi
Token akses akun Anda
Terakhir diperbarui
  • Pasang dengan 1 baris
  • 4 langkah sampai selesai
  • Hingga 30 menit sesi tetap
  • HTTP, HTTPS, SOCKS5

Langkah demi langkah

Langkah menghubungkan proxy ke Scrapy

Ikuti langkah sesuai urutan. Ganti YOUR_TOKEN dengan token akses Anda.

  1. Langkah 1

    Pasang Scrapy

    Terminal
    pip install scrapy

  2. Langkah 2

    Koneksi dasar

    Kode
    import scrapy

class PriceSpider(scrapy.Spider):
    name = "price"
    start_urls = ["https://ipinfo.io/json"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-de:[email protected]:7777"
            })

    def parse(self, response):
        yield {"body": response.text}

  3. Langkah 3

    Memakai sesi tetap

    Bagian yang diganti
    meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
# Pakai nama sesi yang sama untuk menjelajah beberapa halaman berurutan setelah login

  4. Langkah 4

    Cek koneksi

    Contoh respons
    { "ip": "203.0.113.24",
  "country": "US",
  "org": "Penyedia internet rumah" }

Nama pengguna

Aturan nama pengguna

Gabungkan nilai di nama pengguna untuk mengatur negara, kota, sesi, dan produk.

NilaiFungsi
country-CODEMengatur negara koneksi
city-KOTAMengatur kota juga. Hanya di negara yang mendukung kota
session-NAMAMengaktifkan sesi tetap. Nama yang sama mendapat IP yang sama
type-mobile atau type-dcBeralih ke proxy seluler atau pusat data. Tanpa ini, residensial dipakai

Cara menyusun nama pengguna

userAwalcountry-usNegarasession-a1b2Sesi tetap

Hasil user-country-us-session-a1b2

Mengatasi masalah

Mengatasi kesalahan koneksi Scrapy

  • Muncul kesalahan 407

    Nama pengguna atau token salah. Cek apakah ada spasi sebelum atau sesudah token dan apakah nama pengguna diawali user-.

  • Koneksi kehabisan waktu

    Naikkan batas waktu menjadi sekitar 30 detik dan kurangi permintaan bersamaan ke situs yang sama.

  • IP yang sama tidak bertahan

    Cek apakah nama pengguna berisi nilai session. Sesi tetap bertahan hingga 30 menit.

  • Kota yang diinginkan tidak dipakai

    Cek di halaman negara apakah negara itu mendukung kota, lalu tulis nama kota dengan huruf kecil dan garis bawah.

Lainnya

Panduan koneksi lainnya

  • Memakai proxy dengan Python requests

    requests adalah salah satu pustaka paling populer untuk mengirim permintaan web di Python. Masukkan alamat gateway ProxySup ke proxies dan koneksi langsung berjalan.

    Lihat panduan

  • Menghubungkan proxy ke Playwright

    Playwright adalah alat untuk mengendalikan browser dengan kode. Isi gateway, nama pengguna, dan token di opsi proxy saat membuka browser, maka semua permintaan halaman lewat ProxySup.

    Lihat panduan

Hubungkan Scrapy sekarang

Token akses langsung didapat saat mendaftar. Isi saldo untuk memakai kode di atas apa adanya.

Buat akunLihat harga