AI 訓練數據收集代理

步驟

AI 訓練數據收集操作步驟

1. 第 1 步

   決定要收集的網站和語言，並確認 robots.txt

2. 第 2 步

   為每個網站設定同時請求數和間隔

3. 第 3 步

   用輪換會話取得文件，同時儲存原文、網址和取得日期

4. 第 4 步

   過濾重複和空白的文件，整理成數據集

程式碼

AI 訓練數據收集程式碼範例

以 Python, Scrapy 為例。請把 YOUR_TOKEN 換成您的存取令牌。

import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

注意

AI 訓練數據收集時的注意事項

• 只收集 robots.txt 和使用條款允許的公開文件

• 含有個人資料的頁面不列入收集範圍

• 同時儲存取得日期和原始網址，日後比較容易確認出處

國家

AI 訓練數據收集常用的國家

• 美國住宅代理
• 英國住宅代理
• 德國住宅代理
• 法國住宅代理
• 日本住宅代理
• 印度住宅代理

更多

其他代理應用案例

• 價格監控代理

  價格監控是定時收集多家網店的商品價格和庫存並加以比較的工作。使用 ProxySup 住宅代理，可以確認各國真實訪客看到的價格。

  查看設定

• 廣告檢查代理

  廣告曝光檢查是確認目標地區用戶實際看到的廣告樣貌的工作。使用 ProxySup 住宅和流動代理，可以切換國家和城市確認同一則廣告。

  查看設定

• 搜尋結果確認代理

  搜尋結果確認是針對固定關鍵字，依國家和城市收集哪些結果排在第幾名的工作。使用 ProxySup 住宅代理，可以切換地區確認同一個關鍵字。

  查看設定