AI ट्रेनिंग डेटा जुटाने के लिए प्रॉक्सी

चरण

AI डेटा जुटाना के चरण

1. चरण 1

   जुटाने वाली साइटें और भाषाएं चुनें और robots.txt जांचें

2. चरण 2

   हर साइट के लिए एक साथ रिक्वेस्ट की संख्या और अंतराल तय करें

3. चरण 3

   बदलते सेशन से दस्तावेज़ लें और टेक्स्ट को URL और तारीख़ के साथ सेव करें

4. चरण 4

   दोहराव और ख़ाली दस्तावेज़ हटाकर डेटासेट तैयार करें

कोड

AI डेटा जुटाना का कोड उदाहरण

Python, Scrapy में उदाहरण। YOUR_TOKEN की जगह अपना एक्सेस टोकन डालें।

import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

ध्यान दें

AI डेटा जुटाना में ध्यान देने वाली बातें

• सिर्फ़ वही सार्वजनिक दस्तावेज़ जुटाएं जिनकी robots.txt और उपयोग शर्तें अनुमति देती हैं

• निजी जानकारी वाले पेज छोड़ दें

• तारीख़ और मूल URL सेव रखने से बाद में स्रोत जांचना आसान होता है

देश

AI डेटा जुटाना के लिए अक्सर इस्तेमाल होने वाले देश

• अमेरिका रेज़िडेंशियल प्रॉक्सी
• यूनाइटेड किंगडम रेज़िडेंशियल प्रॉक्सी
• जर्मनी रेज़िडेंशियल प्रॉक्सी
• फ़्रांस रेज़िडेंशियल प्रॉक्सी
• जापान रेज़िडेंशियल प्रॉक्सी
• भारत रेज़िडेंशियल प्रॉक्सी

और

प्रॉक्सी के दूसरे उपयोग

• कीमतों पर नज़र के लिए प्रॉक्सी

  कीमतों पर नज़र रखने का मतलब है कई दुकानों की कीमत और स्टॉक तय समय पर जुटाकर तुलना करना। ProxySup रेज़िडेंशियल प्रॉक्सी से आप वही कीमतें देखते हैं जो हर देश के असली विज़िटर देखते हैं।

  सेटिंग देखें

• विज्ञापन जांच के लिए प्रॉक्सी

  विज्ञापन जांच का मतलब है पक्का करना कि आपके विज्ञापन लक्षित इलाक़े के यूज़र को असल में कैसे दिखते हैं। ProxySup रेज़िडेंशियल और मोबाइल प्रॉक्सी से आप देश और शहर बदलकर एक ही विज्ञापन जांचते हैं।

  सेटिंग देखें

• सर्च नतीजों की निगरानी के लिए प्रॉक्सी

  सर्च नतीजों की निगरानी का मतलब है तय कीवर्ड के लिए यह जुटाना कि हर देश और शहर में कौन सा नतीजा किस स्थान पर आता है। ProxySup रेज़िडेंशियल प्रॉक्सी से आप जगह बदलकर एक ही कीवर्ड जांचते हैं।

  सेटिंग देखें