Casos de uso

Proxies para recopilar datos de entrenamiento de IA

Recopilar datos de entrenamiento de IA es reunir muchos documentos web públicos y organizarlos en conjuntos de datos para modelos de lenguaje o de búsqueda. Con los proxies de ProxySup puedes repartir las solicitudes entre muchas IP y países.

Crear cuentaVer guías de integración
  • Recopila solo documentos públicos permitidos por el robots.txt y los términos de uso
  • Deja fuera de la recopilación las páginas con datos personales

Configuración recomendada: Recopilación de datos para IA

Producto
Proxies residenciales, de centro de datos para sitios con poca protección
Sesión
Sesiones rotativas
País
Países que usan los idiomas que recopilas
Velocidad
Fija un límite de solicitudes simultáneas por sitio
  • Proxies residenciales
  • Sesiones rotativas
  • 6 países recomendados
  • 4 pasos

Por qué

Por qué se necesita un proxy: Recopilación de datos para IA

La recopilación a gran escala envía muchas solicitudes en poco tiempo, algo que una sola IP no aguanta mucho. Repartir las solicitudes entre muchas IP domésticas evita que se acumulen en un solo lugar y te permite reunir documentos en distintos idiomas de forma pareja por país.

Solicitudes repetidas desde una sola IP

  1. Solicitud 1198.51.100.7
  2. Solicitud 2198.51.100.7
  3. Solicitud 3198.51.100.7

Solicitudes repartidas entre varias IP domésticas

  1. Solicitud 1203.0.113.11
  2. Solicitud 2203.0.113.27
  3. Solicitud 3203.0.113.42
Las direcciones IP son solo ejemplos.

Pasos

Pasos: Recopilación de datos para IA

  1. Paso 1

    Elige los sitios y los idiomas a recopilar, y revisa el robots.txt

  2. Paso 2

    Fija el número de solicitudes simultáneas y el intervalo para cada sitio

  3. Paso 3

    Descarga los documentos con sesiones rotativas y guarda el texto con su URL y fecha

  4. Paso 4

    Filtra duplicados y documentos vacíos, y organiza el conjunto de datos

Código

Ejemplo de código: Recopilación de datos para IA

Ejemplo con Python, Scrapy. Pon tu token de acceso donde dice YOUR_TOKEN.

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

Revisar

Qué tener en cuenta: Recopilación de datos para IA

  • Recopila solo documentos públicos permitidos por el robots.txt y los términos de uso

  • Deja fuera de la recopilación las páginas con datos personales

  • Guardar la fecha y la URL original facilita comprobar las fuentes después

Países

Países más usados: Recopilación de datos para IA

Más

Otros casos de uso de proxies

  • Proxies para monitorear precios

    Monitorear precios es recopilar en horarios fijos los precios y el stock de muchas tiendas y compararlos. Con los proxies residenciales de ProxySup ves los precios que ven los visitantes reales de cada país.

    Ver configuración

  • Proxies para verificar anuncios

    Verificar anuncios es comprobar cómo se ven realmente tus anuncios para los usuarios de una zona objetivo. Con los proxies residenciales y móviles de ProxySup puedes revisar el mismo anuncio cambiando de país y ciudad.

    Ver configuración

  • Proxies para seguir resultados de búsqueda

    Seguir resultados de búsqueda es recopilar, para palabras clave fijas, qué resultados aparecen y en qué posición en cada país y ciudad. Con los proxies residenciales de ProxySup puedes revisar la misma palabra clave cambiando de ubicación.

    Ver configuración

Recopilación de datos para IA: configúralo ahora

Regístrate y recarga saldo para usar ya la configuración de arriba.

Crear cuentaVer precios