เชื่อมพร็อกซีกับ Scrapy

ทีละขั้นตอน

ขั้นตอนเชื่อมพร็อกซีกับ Scrapy

ทำตามขั้นตอนตามลำดับ ใส่โทเค็นเข้าใช้งานของคุณแทน YOUR_TOKEN

1. ขั้นที่ 1

   ติดตั้ง Scrapy

   pip install scrapy

2. ขั้นที่ 2

   การเชื่อมต่อพื้นฐาน

   import scrapy
   
   class PriceSpider(scrapy.Spider):
       name = "price"
       start_urls = ["https://ipinfo.io/json"]
       custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}
   
       def start_requests(self):
           for url in self.start_urls:
               yield scrapy.Request(url, meta={
                   "proxy": "http://user-country-de:[email protected]:7777"
               })
   
       def parse(self, response):
           yield {"body": response.text}

3. ขั้นที่ 3

   ใช้เซสชันคงที่

   meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
   # ใช้ชื่อเซสชันเดิมเพื่อเปิดหลายหน้าต่อกันหลังล็อกอิน

4. ขั้นที่ 4

   ตรวจการเชื่อมต่อ

   { "ip": "203.0.113.24",
     "country": "US",
     "org": "ผู้ให้บริการอินเทอร์เน็ตบ้าน" }

แก้ปัญหา

แก้ข้อผิดพลาดการเชื่อมต่อ Scrapy

• เจอข้อผิดพลาด 407

  ชื่อผู้ใช้หรือโทเค็นไม่ถูกต้อง ตรวจว่ามีช่องว่างก่อนหรือหลังโทเค็นหรือไม่ และชื่อผู้ใช้ขึ้นต้นด้วย user- หรือไม่

• การเชื่อมต่อหมดเวลา

  เพิ่มเวลารอเป็นประมาณ 30 วินาที และลดจำนวนคำขอพร้อมกันไปยังเว็บไซต์เดียวกัน

• IP เดิมไม่คงอยู่

  ตรวจว่าชื่อผู้ใช้มีค่า session หรือไม่ เซสชันคงที่อยู่ได้สูงสุด 30 นาที

• ไม่ได้ใช้เมืองที่ต้องการ

  ตรวจในหน้าประเทศว่าประเทศนั้นเลือกเมืองได้หรือไม่ และเขียนชื่อเมืองเป็นตัวพิมพ์เล็กพร้อมขีดล่าง

เพิ่มเติม

คู่มือการเชื่อมต่ออื่น ๆ

• ใช้พร็อกซีกับ Python requests

  requests เป็นไลบรารียอดนิยมสำหรับส่งคำขอเว็บใน Python ใส่ที่อยู่เกตเวย์ ProxySup ใน proxies แล้วเชื่อมต่อได้ทันที

  ดูคู่มือ

• เชื่อมพร็อกซีกับ Playwright

  Playwright เป็นเครื่องมือควบคุมเบราว์เซอร์ด้วยโค้ด ใส่เกตเวย์ ชื่อผู้ใช้ และโทเค็นในตัวเลือก proxy ตอนเปิดเบราว์เซอร์ แล้วทุกคำขอของหน้าเว็บจะผ่าน ProxySup

  ดูคู่มือ