ربط البروكسي مع Scrapy

خطوة بخطوة

Scrapy: خطوات ربط البروكسي

اتبع الخطوات بالترتيب. ضع رمز الوصول الخاص بك مكان YOUR_TOKEN.

1. الخطوة 1

   تثبيت Scrapy

   pip install scrapy

2. الخطوة 2

   اتصال أساسي

   import scrapy
   
   class PriceSpider(scrapy.Spider):
       name = "price"
       start_urls = ["https://ipinfo.io/json"]
       custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4}
   
       def start_requests(self):
           for url in self.start_urls:
               yield scrapy.Request(url, meta={
                   "proxy": "http://user-country-de:[email protected]:7777"
               })
   
       def parse(self, response):
           yield {"body": response.text}

3. الخطوة 3

   استخدام جلسة ثابتة

   meta={"proxy": "http://user-country-de-session-a1b2:[email protected]:7777"}
   # استخدم اسم الجلسة نفسه لتصفح عدة صفحات متتالية بعد تسجيل الدخول

4. الخطوة 4

   التحقق من الاتصال

   { "ip": "203.0.113.24",
     "country": "US",
     "org": "مزود إنترنت منزلي" }

حل المشكلات

Scrapy: حل أخطاء الاتصال

• يظهر الخطأ 407

  اسم المستخدم أو الرمز غير صحيح. تحقق من عدم وجود مسافة قبل الرمز أو بعده ومن أن اسم المستخدم يبدأ بـ user-.

• تنتهي مهلة الاتصال

  ارفع المهلة إلى نحو 30 ثانية وقلّل عدد الطلبات المتزامنة إلى الموقع نفسه.

• لا يبقى IP نفسه

  تحقق من وجود قيمة session في اسم المستخدم. تستمر الجلسة الثابتة حتى 30 دقيقة.

• لا تُستخدم المدينة المطلوبة

  تحقق في صفحة الدول من أن الدولة تدعم اختيار المدن، واكتب اسم المدينة بأحرف صغيرة مع شرطة سفلية.

المزيد

أدلة ربط أخرى

• استخدام البروكسي مع Python requests

  مكتبة requests من أكثر المكتبات استخدامًا لإرسال طلبات الويب في Python. ضع عنوان بوابة ProxySup في proxies ويعمل الاتصال فورًا.

  عرض الدليل

• ربط البروكسي مع Playwright

  Playwright أداة للتحكم في المتصفح بالكود. ضع البوابة واسم المستخدم والرمز في خيار proxy عند تشغيل المتصفح، فتمر كل طلبات الصفحات عبر ProxySup.

  عرض الدليل