Kegunaan

Proxy untuk mengumpulkan data pelatihan AI

Pengumpulan data pelatihan AI berarti menghimpun banyak dokumen web publik lalu menyusunnya menjadi dataset untuk model bahasa atau model pencarian. Dengan proxy ProxySup, Anda membagi permintaan ke banyak IP dan negara.

Buat akunLihat panduan koneksi
  • Kumpulkan hanya dokumen publik yang diizinkan robots.txt dan ketentuan layanan
  • Lewati halaman yang berisi data pribadi

Pengaturan yang disarankan untuk Pengumpulan data AI

Produk
Proxy residensial, proxy pusat data untuk situs yang longgar
Sesi
Sesi berganti
Negara
Negara yang memakai bahasa yang dikumpulkan
Laju
Tetapkan batas permintaan bersamaan per situs
  • Proxy residensial
  • Sesi berganti
  • 6 negara disarankan
  • 4 langkah

Alasan

Mengapa Pengumpulan data AI perlu proxy

Pengumpulan skala besar mengirim banyak permintaan dalam waktu singkat, dan satu IP tidak tahan lama. Membagi permintaan ke banyak IP rumah membuatnya tidak menumpuk di satu tempat, dan Anda bisa mengumpulkan dokumen berbagai bahasa secara seimbang per negara.

Permintaan berulang dari satu IP

  1. Permintaan 1198.51.100.7
  2. Permintaan 2198.51.100.7
  3. Permintaan 3198.51.100.7

Permintaan dibagi ke banyak IP rumah

  1. Permintaan 1203.0.113.11
  2. Permintaan 2203.0.113.27
  3. Permintaan 3203.0.113.42
Alamat IP yang ditampilkan hanya contoh.

Langkah

Langkah Pengumpulan data AI

  1. Langkah 1

    Pilih situs dan bahasa yang akan dikumpulkan, lalu cek robots.txt

  2. Langkah 2

    Tetapkan jumlah permintaan bersamaan dan jeda untuk setiap situs

  3. Langkah 3

    Ambil dokumen dengan sesi berganti, simpan teks bersama URL dan tanggal

  4. Langkah 4

    Saring duplikat dan dokumen kosong, lalu susun dataset

Kode

Contoh kode Pengumpulan data AI

Contoh dengan Python, Scrapy. Ganti YOUR_TOKEN dengan token akses Anda.

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

Perhatikan

Catatan untuk Pengumpulan data AI

  • Kumpulkan hanya dokumen publik yang diizinkan robots.txt dan ketentuan layanan

  • Lewati halaman yang berisi data pribadi

  • Menyimpan tanggal dan URL asal memudahkan pengecekan sumber nanti

Negara

Negara yang sering dipakai untuk Pengumpulan data AI

Lainnya

Kegunaan proxy lainnya

  • Proxy untuk pemantauan harga

    Pemantauan harga berarti mengumpulkan harga dan stok banyak toko pada waktu tetap untuk dibandingkan. Dengan proxy residensial ProxySup, Anda melihat harga yang dilihat pengunjung sungguhan di setiap negara.

    Lihat pengaturan

  • Proxy untuk verifikasi iklan

    Verifikasi iklan berarti memastikan bagaimana iklan Anda benar-benar tampil bagi pengguna di wilayah sasaran. Dengan proxy residensial dan seluler ProxySup, Anda mengecek iklan yang sama sambil mengganti negara dan kota.

    Lihat pengaturan

  • Proxy untuk pelacakan hasil pencarian

    Pelacakan hasil pencarian berarti mengumpulkan, untuk kata kunci tetap, hasil apa yang muncul di posisi berapa di setiap negara dan kota. Dengan proxy residensial ProxySup, Anda mengecek kata kunci yang sama sambil mengganti lokasi.

    Lihat pengaturan

Atur Pengumpulan data AI sekarang

Daftar dan isi saldo untuk langsung memakai pengaturan di atas.

Buat akunLihat harga