Casos de uso

Proxies para coletar dados de treinamento de IA

Coletar dados de treinamento de IA é reunir muitos documentos web públicos e organizá-los em conjuntos de dados para modelos de linguagem ou de busca. Com os proxies do ProxySup, você distribui as requisições entre muitos IPs e países.

Criar contaVer guias de integração
  • Colete só documentos públicos permitidos pelo robots.txt e pelos termos de uso
  • Deixe de fora da coleta as páginas com dados pessoais

Configuração recomendada: Coleta de dados para IA

Produto
Proxies residenciais, de data center para sites pouco protegidos
Sessão
Sessões rotativas
País
Países que usam os idiomas que você coleta
Velocidade
Defina um limite de requisições simultâneas por site
  • Proxies residenciais
  • Sessões rotativas
  • 6 países recomendados
  • 4 etapas

Por quê

Por que usar um proxy: Coleta de dados para IA

A coleta em grande escala envia muitas requisições em pouco tempo, e um só IP não aguenta por muito tempo. Distribuir as requisições entre muitos IPs domésticos evita concentrá-las em um lugar e permite reunir documentos em idiomas diferentes de forma equilibrada por país.

Requisições repetidas de um só IP

  1. Requisição 1198.51.100.7
  2. Requisição 2198.51.100.7
  3. Requisição 3198.51.100.7

Requisições distribuídas entre vários IPs domésticos

  1. Requisição 1203.0.113.11
  2. Requisição 2203.0.113.27
  3. Requisição 3203.0.113.42
Os endereços IP mostrados são exemplos.

Etapas

Etapas: Coleta de dados para IA

  1. Etapa 1

    Escolha os sites e idiomas a coletar e confira o robots.txt

  2. Etapa 2

    Defina o número de requisições simultâneas e o intervalo de cada site

  3. Etapa 3

    Baixe os documentos com sessões rotativas e salve o texto com o endereço e a data

  4. Etapa 4

    Filtre duplicados e documentos vazios e organize o conjunto de dados

Código

Exemplo de código: Coleta de dados para IA

Exemplo com Python, Scrapy. Coloque seu token de acesso onde está YOUR_TOKEN.

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

Atenção

Pontos de atenção: Coleta de dados para IA

  • Colete só documentos públicos permitidos pelo robots.txt e pelos termos de uso

  • Deixe de fora da coleta as páginas com dados pessoais

  • Salvar a data e o endereço original facilita conferir as fontes depois

Países

Países mais usados: Coleta de dados para IA

Mais

Outros casos de uso de proxies

  • Proxies para monitorar preços

    Monitorar preços é coletar em horários fixos os preços e o estoque de várias lojas e compará-los. Com os proxies residenciais do ProxySup, você vê os preços que os visitantes reais de cada país veem.

    Ver configuração

  • Proxies para verificar anúncios

    Verificar anúncios é conferir como seus anúncios aparecem de verdade para usuários de uma região. Com os proxies residenciais e móveis do ProxySup, você confere o mesmo anúncio trocando de país e cidade.

    Ver configuração

  • Proxies para acompanhar resultados de busca

    Acompanhar resultados de busca é coletar, para palavras-chave fixas, quais resultados aparecem e em que posição em cada país e cidade. Com os proxies residenciais do ProxySup, você confere a mesma palavra-chave trocando de região.

    Ver configuração

Coleta de dados para IA: configure agora

Cadastre-se e recarregue o saldo para usar a configuração acima agora mesmo.

Criar contaVer preços