ব্যবহার

AI প্রশিক্ষণ ডেটা সংগ্রহের প্রক্সি

AI প্রশিক্ষণ ডেটা সংগ্রহ মানে অনেক উন্মুক্ত ওয়েব ডকুমেন্ট জোগাড় করে ভাষা বা সার্চ মডেলের জন্য ডেটাসেট বানানো। ProxySup প্রক্সি দিয়ে রিকোয়েস্ট অনেক IP আর দেশে ভাগ হয়।

অ্যাকাউন্ট খুলুন সংযোগ গাইড দেখুন

robots.txt আর ব্যবহারের শর্ত অনুমতি দেয় এমন উন্মুক্ত ডকুমেন্টই সংগ্রহ করুন
ব্যক্তিগত তথ্য থাকা পেজ বাদ দিন

AI ডেটা সংগ্রহ-এর প্রস্তাবিত সেটিং

প্রোডাক্ট: রেসিডেনশিয়াল প্রক্সি, কম সুরক্ষার সাইটের জন্য ডেটা সেন্টার প্রক্সি
সেশন: বদলানো সেশন
দেশ: যেসব দেশে সংগ্রহের ভাষাগুলো চলে
গতি: প্রতিটি সাইটের জন্য একসঙ্গে রিকোয়েস্টের সীমা ঠিক করুন

রেসিডেনশিয়াল প্রক্সি
বদলানো সেশন
6টি প্রস্তাবিত দেশ
4টি ধাপ

কেন

AI ডেটা সংগ্রহ-এ কেন প্রক্সি দরকার

বড় আকারের সংগ্রহ অল্প সময়ে অনেক রিকোয়েস্ট পাঠায়, একটি IP তা বেশিক্ষণ সামলাতে পারে না। অনেক বাসার IP-তে রিকোয়েস্ট ভাগ করলে এক জায়গায় জমে না, আর দেশ অনুযায়ী নানা ভাষার ডকুমেন্ট ভারসাম্য রেখে সংগ্রহ করা যায়।

একটি IP থেকে বারবার রিকোয়েস্ট

রিকোয়েস্ট 1198.51.100.7
রিকোয়েস্ট 2198.51.100.7
রিকোয়েস্ট 3198.51.100.7

অনেক বাসার IP-তে ভাগ করা রিকোয়েস্ট

রিকোয়েস্ট 1203.0.113.11
রিকোয়েস্ট 2203.0.113.27
রিকোয়েস্ট 3203.0.113.42

দেখানো IP ঠিকানাগুলো শুধু উদাহরণ।

ধাপ

AI ডেটা সংগ্রহ-এর ধাপ

ধাপ 1
সংগ্রহের সাইট ও ভাষা বেছে robots.txt দেখুন
ধাপ 2
প্রতিটি সাইটের জন্য একসঙ্গে রিকোয়েস্টের সংখ্যা আর বিরতি ঠিক করুন
ধাপ 3
বদলানো সেশনে ডকুমেন্ট এনে টেক্সট URL ও তারিখসহ সেভ করুন
ধাপ 4
ডুপ্লিকেট আর ফাঁকা ডকুমেন্ট বাদ দিয়ে ডেটাসেট সাজান

কোড

AI ডেটা সংগ্রহ-এর কোড উদাহরণ

Python, Scrapy দিয়ে উদাহরণ। YOUR_TOKEN-এর জায়গায় আপনার অ্যাক্সেস টোকেন দিন।

Python, Scrapy

import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

Python requests
Playwright
Scrapy
Puppeteer
Selenium
Node.js
curl

খেয়াল রাখুন

AI ডেটা সংগ্রহ-এ যেসব বিষয় খেয়াল রাখবেন

robots.txt আর ব্যবহারের শর্ত অনুমতি দেয় এমন উন্মুক্ত ডকুমেন্টই সংগ্রহ করুন
ব্যক্তিগত তথ্য থাকা পেজ বাদ দিন
তারিখ আর মূল URL সেভ রাখলে পরে উৎস যাচাই সহজ হয়

দেশ

AI ডেটা সংগ্রহ-এ বেশি ব্যবহৃত দেশ

আরও

প্রক্সির অন্য ব্যবহার

দামের ওপর নজর রাখার প্রক্সি
দামের ওপর নজর মানে তুলনার জন্য নির্দিষ্ট সময়ে অনেক দোকানের দাম ও স্টক সংগ্রহ করা। ProxySup রেসিডেনশিয়াল প্রক্সি দিয়ে প্রতিটি দেশের আসল ভিজিটররা যে দাম দেখেন, আপনিও সেটাই দেখেন।
সেটিং দেখুন
বিজ্ঞাপন যাচাইয়ের প্রক্সি
বিজ্ঞাপন যাচাই মানে লক্ষ্য এলাকার ইউজারদের কাছে আপনার বিজ্ঞাপন আসলে কেমন দেখায় তা নিশ্চিত করা। ProxySup রেসিডেনশিয়াল ও মোবাইল প্রক্সি দিয়ে দেশ আর শহর বদলে একই বিজ্ঞাপন যাচাই করেন।
সেটিং দেখুন
সার্চ ফলাফল ট্র্যাকিংয়ের প্রক্সি
সার্চ ফলাফল ট্র্যাকিং মানে নির্দিষ্ট কিওয়ার্ডের জন্য প্রতিটি দেশ ও শহরে কোন ফল কোন অবস্থানে আসে তা সংগ্রহ করা। ProxySup রেসিডেনশিয়াল প্রক্সি দিয়ে জায়গা বদলে একই কিওয়ার্ড যাচাই করেন।
সেটিং দেখুন

এখনই AI ডেটা সংগ্রহ সেট করুন

সাইন আপ করে ব্যালেন্স টপ আপ করুন, তারপর ওপরের সেটিং সঙ্গে সঙ্গে ব্যবহার করুন।

অ্যাকাউন্ট খুলুন দাম দেখুন