Casi d'uso

Proxy per raccogliere dati di addestramento per l'IA

La raccolta di dati di addestramento per l'IA consiste nel riunire molti documenti web pubblici e organizzarli in dataset per modelli linguistici o di ricerca. Con i proxy ProxySup distribuisci le richieste su molti IP e paesi.

Crea un accountVedi le guide di configurazione
  • Raccogli solo i documenti pubblici consentiti da robots.txt e termini d'uso
  • Escludi le pagine che contengono dati personali

Configurazione consigliata: Raccolta dati per l'IA

Prodotto
Proxy residenziali, proxy datacenter per i siti poco protetti
Sessione
Sessioni a rotazione
Paese
I paesi che usano le lingue raccolte
Ritmo
Fissa un limite di richieste simultanee per sito
  • Proxy residenziali
  • Sessioni a rotazione
  • 6 paesi consigliati
  • 4 passaggi

Perché

Perché un proxy: Raccolta dati per l'IA

Una raccolta su larga scala invia molte richieste in poco tempo, e un solo IP non regge a lungo. Distribuire le richieste su molti IP domestici evita di concentrarle in un punto e permette di raccogliere in modo equilibrato documenti in lingue diverse a seconda del paese.

Richieste ripetute da un solo IP

  1. Richiesta 1198.51.100.7
  2. Richiesta 2198.51.100.7
  3. Richiesta 3198.51.100.7

Richieste distribuite su molti IP domestici

  1. Richiesta 1203.0.113.11
  2. Richiesta 2203.0.113.27
  3. Richiesta 3203.0.113.42
Gli indirizzi IP mostrati sono esempi.

Passaggi

Passaggi: Raccolta dati per l'IA

  1. Passo 1

    Scegli i siti e le lingue da raccogliere e controlla il robots.txt

  2. Passo 2

    Fissa il numero di richieste simultanee e l'intervallo per ogni sito

  3. Passo 3

    Recupera i documenti con sessioni a rotazione e salva il testo con URL e data

  4. Passo 4

    Filtra duplicati e documenti vuoti, poi organizza il dataset

Codice

Esempio di codice: Raccolta dati per l'IA

Esempio con Python, Scrapy. Metti il tuo token di accesso al posto di YOUR_TOKEN.

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

Da verificare

Note: Raccolta dati per l'IA

  • Raccogli solo i documenti pubblici consentiti da robots.txt e termini d'uso

  • Escludi le pagine che contengono dati personali

  • Salvare la data e l'URL di origine rende più facile verificare le fonti in seguito

Paesi

Paesi usati spesso: Raccolta dati per l'IA

Altro

Altri casi d'uso dei proxy

  • Proxy per il monitoraggio dei prezzi

    Il monitoraggio dei prezzi consiste nel raccogliere a orari fissi prezzi e disponibilità di molti negozi per confrontarli. Con i proxy residenziali ProxySup vedi i prezzi che vedono i veri visitatori di ogni paese.

    Vedi la configurazione

  • Proxy per la verifica degli annunci

    La verifica degli annunci consiste nel controllare come i tuoi annunci appaiono davvero agli utenti di una zona di destinazione. Con i proxy residenziali e mobili ProxySup controlli lo stesso annuncio cambiando paese e città.

    Vedi la configurazione

  • Proxy per monitorare i risultati di ricerca

    Monitorare i risultati di ricerca consiste nel raccogliere, per parole chiave fisse, quali risultati compaiono e in quale posizione in ogni paese e città. Con i proxy residenziali ProxySup controlli la stessa parola chiave cambiando luogo.

    Vedi la configurazione

Raccolta dati per l'IA: configuralo ora

Registrati e ricarica il saldo per usare subito la configurazione qui sopra.

Crea un accountVedi i prezzi