活用例

AI学習データ収集用プロキシ

AI学習データの収集は、公開されたWeb文書をたくさん集めて、言語モデルや検索モデルを作るデータセットにまとめる作業です。ProxySupのプロキシで、リクエストを多くのIPと国に分けて送れます。

アカウント作成連携ガイドを見る
  • robots.txtと利用規約で許可された公開文書だけを集めます
  • 個人情報が含まれるページは収集の対象から外します

AI学習データの収集のおすすめ設定

製品
住宅用プロキシ、セキュリティが軽いサイトはデータセンタープロキシ
セッション
ローテーションセッション
国
集める言語を使う国
速度
サイトごとに同時リクエスト数を決めておく
  • 住宅用プロキシ
  • ローテーションセッション
  • 6か国がおすすめ
  • 4ステップの手順

理由

AI学習データの収集にプロキシが必要な理由

大量収集は短い時間に多くのリクエストを送るため、1つのIPでは長く続けられません。複数の家庭用IPにリクエストを分ければ1か所に集中せず、国ごとに異なる言語の文書もまんべんなく集められます。

1つのIPで繰り返しリクエスト

  1. リクエスト1198.51.100.7
  2. リクエスト2198.51.100.7
  3. リクエスト3198.51.100.7

複数の家庭用IPに分けてリクエスト

  1. リクエスト1203.0.113.11
  2. リクエスト2203.0.113.27
  3. リクエスト3203.0.113.42
IPアドレスは説明用の例です。

手順

AI学習データの収集の手順

  1. ステップ1

    集めるサイトと言語を決め、robots.txtを確認します

  2. ステップ2

    サイトごとに同時リクエスト数と間隔を決めます

  3. ステップ3

    ローテーションセッションで文書を受け取り、本文、URL、取得日を一緒に保存します

  4. ステップ4

    重複や空の文書を取り除いて、データセットにまとめます

コード

AI学習データの収集のコード例

Python, Scrapyの例です。YOUR_TOKENの部分にアクセストークンを入れてください。

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

確認

AI学習データの収集で気をつけること

  • robots.txtと利用規約で許可された公開文書だけを集めます

  • 個人情報が含まれるページは収集の対象から外します

  • 取得日と元のURLを一緒に保存しておくと、あとで出典を確認しやすくなります

国

AI学習データの収集でよく使われる国

もっと見る

ほかのプロキシ活用例

  • 価格モニタリング用プロキシ

    価格モニタリングは、複数のショップの商品価格と在庫を決まった時間ごとに集めて比べる作業です。ProxySupの住宅用プロキシを使うと、国ごとに実際の訪問者が見る価格を確認できます。

    設定を見る

  • 広告確認用プロキシ

    広告の表示確認は、対象地域のユーザーに広告が実際にどう見えるかをチェックする作業です。ProxySupの住宅用とモバイルのプロキシで、国と都市を切り替えながら同じ広告を確認できます。

    設定を見る

  • 検索結果確認用プロキシ

    検索結果の確認は、決まった検索語で国と都市ごとに、どの結果が何番目に出るかを集める作業です。ProxySupの住宅用プロキシで、地域を切り替えながら同じ検索語を確認できます。

    設定を見る

AI学習データの収集の設定を今すぐ始めましょう

登録して残高をチャージすると、上の設定をそのまますぐに使えます。

アカウント作成料金を見る