應用案例

AI 訓練資料蒐集代理

AI 訓練資料蒐集是大量蒐集公開的網頁文件，整理成訓練語言模型或搜尋模型所用資料集的工作。使用 ProxySup 代理，可以把請求分散到多個 IP 和國家。

建立帳戶查看串接指南
  • 只蒐集 robots.txt 和使用條款允許的公開文件
  • 含有個人資料的頁面不列入蒐集範圍

AI 訓練資料蒐集建議設定

產品
住宅代理，防護較弱的網站用資料中心代理
工作階段
輪替工作階段
國家
使用目標語言的國家
速度
為每個網站設定同時請求數
  • 住宅代理
  • 輪替工作階段
  • 6 個建議國家
  • 4 步操作步驟

原因

AI 訓練資料蒐集為什麼需要代理

大量蒐集會在短時間內送出很多請求，一個 IP 很難長時間撐住。把請求分散到多個家用 IP，就不會集中在同一處，也能平均蒐集各國不同語言的文件。

用一個 IP 重複請求

  1. 請求 1198.51.100.7
  2. 請求 2198.51.100.7
  3. 請求 3198.51.100.7

分散到多個家用 IP 請求

  1. 請求 1203.0.113.11
  2. 請求 2203.0.113.27
  3. 請求 3203.0.113.42
圖中的 IP 位址僅為範例。

步驟

AI 訓練資料蒐集操作步驟

  1. 第 1 步

    決定要蒐集的網站和語言，並確認 robots.txt

  2. 第 2 步

    為每個網站設定同時請求數和間隔

  3. 第 3 步

    用輪替工作階段取得文件，同時儲存原文、網址和取得日期

  4. 第 4 步

    過濾重複和空白的文件，整理成資料集

程式碼

AI 訓練資料蒐集程式碼範例

以 Python, Scrapy 為例。請把 YOUR_TOKEN 換成您的存取權杖。

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

注意

AI 訓練資料蒐集時的注意事項

  • 只蒐集 robots.txt 和使用條款允許的公開文件

  • 含有個人資料的頁面不列入蒐集範圍

  • 同時儲存取得日期和原始網址，日後比較容易確認出處

國家

AI 訓練資料蒐集常用的國家

更多

其他代理應用案例

  • 價格監控代理

    價格監控是定時蒐集多家網路商店的商品價格和庫存並加以比較的工作。使用 ProxySup 住宅代理，可以確認各國真實訪客看到的價格。

    查看設定

  • 廣告檢查代理

    廣告曝光檢查是確認目標地區使用者實際看到的廣告樣貌的工作。使用 ProxySup 住宅和行動代理，可以切換國家和城市確認同一則廣告。

    查看設定

  • 搜尋結果確認代理

    搜尋結果確認是針對固定關鍵字，依國家和城市蒐集哪些結果排在第幾名的工作。使用 ProxySup 住宅代理，可以切換地區確認同一個關鍵字。

    查看設定

AI 訓練資料蒐集：現在就開始設定

註冊並儲值後，就能照上面的設定馬上使用。

建立帳戶查看價格