Cas d'usage

Proxys pour collecter des données d'entraînement pour l'IA

La collecte de données d'entraînement pour l'IA consiste à rassembler un grand nombre de documents web publics et à les organiser en jeux de données pour des modèles de langage ou de recherche. Avec les proxys ProxySup, vous répartissez les requêtes sur de nombreuses IP et de nombreux pays.

Créer un compteVoir les guides d'intégration
  • Ne collectez que les documents publics autorisés par le robots.txt et les conditions d'utilisation
  • Laissez de côté les pages qui contiennent des données personnelles

Configuration recommandée : Collecte de données pour l'IA

Produit
Proxys résidentiels, proxys datacenter pour les sites peu protégés
Session
Sessions tournantes
Pays
Les pays qui utilisent les langues collectées
Rythme
Fixez une limite de requêtes simultanées par site
  • Proxys résidentiels
  • Sessions tournantes
  • 6 pays recommandés
  • 4 étapes

Pourquoi

Pourquoi un proxy : Collecte de données pour l'IA

Une collecte à grande échelle envoie beaucoup de requêtes en peu de temps, ce qu'une seule IP ne supporte pas longtemps. Répartir les requêtes sur de nombreuses IP domestiques évite de les concentrer à un seul endroit et permet de réunir de façon équilibrée des documents en différentes langues selon les pays.

Requêtes répétées depuis une seule IP

  1. Requête 1198.51.100.7
  2. Requête 2198.51.100.7
  3. Requête 3198.51.100.7

Requêtes réparties sur plusieurs IP domestiques

  1. Requête 1203.0.113.11
  2. Requête 2203.0.113.27
  3. Requête 3203.0.113.42
Les adresses IP affichées sont des exemples.

Étapes

Étapes : Collecte de données pour l'IA

  1. Étape 1

    Choisissez les sites et les langues à collecter, et consultez le robots.txt

  2. Étape 2

    Fixez le nombre de requêtes simultanées et l'intervalle pour chaque site

  3. Étape 3

    Récupérez les documents avec des sessions tournantes et enregistrez le texte avec son URL et sa date

  4. Étape 4

    Filtrez les doublons et les documents vides, puis organisez le jeu de données

Code

Exemple de code : Collecte de données pour l'IA

Exemple avec Python, Scrapy. Mettez votre jeton d'accès à la place de YOUR_TOKEN.

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

À vérifier

Points d'attention : Collecte de données pour l'IA

  • Ne collectez que les documents publics autorisés par le robots.txt et les conditions d'utilisation

  • Laissez de côté les pages qui contiennent des données personnelles

  • Enregistrer la date et l'URL d'origine facilite ensuite la vérification des sources

Pays

Pays souvent utilisés : Collecte de données pour l'IA

Plus

Autres cas d'usage des proxys

  • Proxys pour le suivi des prix

    Le suivi des prix consiste à collecter à heures fixes les prix et les stocks de nombreuses boutiques pour les comparer. Avec les proxys résidentiels ProxySup, vous voyez les prix que voient les vrais visiteurs de chaque pays.

    Voir la configuration

  • Proxys pour vérifier des annonces

    Vérifier des annonces consiste à contrôler comment vos annonces apparaissent réellement pour les utilisateurs d'une zone ciblée. Avec les proxys résidentiels et mobiles ProxySup, vous contrôlez la même annonce en changeant de pays et de ville.

    Voir la configuration

  • Proxys pour suivre les résultats de recherche

    Suivre les résultats de recherche consiste à collecter, pour des mots-clés fixes, quels résultats apparaissent et à quelle position dans chaque pays et chaque ville. Avec les proxys résidentiels ProxySup, vous contrôlez le même mot-clé en changeant de lieu.

    Voir la configuration

Collecte de données pour l'IA : configurez-le maintenant

Inscrivez-vous et rechargez votre solde pour utiliser tout de suite la configuration ci-dessus.

Créer un compteVoir les tarifs