Anwendungsfälle

Proxys für die Erhebung von KI-Trainingsdaten

Bei der Erhebung von KI-Trainingsdaten sammeln Sie viele öffentliche Webdokumente und ordnen sie zu Datensätzen für Sprach- oder Suchmodelle. Mit ProxySup-Proxys verteilen Sie die Anfragen auf viele IPs und Länder.

Konto erstellenEinrichtungsanleitungen ansehen
  • Erfassen Sie nur öffentliche Dokumente, die robots.txt und Nutzungsbedingungen erlauben
  • Lassen Sie Seiten mit personenbezogenen Daten aus

Empfohlene Einrichtung: KI-Datenerhebung

Produkt
Residential Proxys, Rechenzentrums-Proxys für wenig geschützte Websites
Sitzung
Rotierende Sitzungen
Land
Die Länder, in denen die gesammelten Sprachen gesprochen werden
Tempo
Legen Sie je Website eine Grenze für gleichzeitige Anfragen fest
  • Residential Proxys
  • Rotierende Sitzungen
  • 6 empfohlene Länder
  • 4 Schritte

Warum

Warum ein Proxy: KI-Datenerhebung

Eine große Erhebung sendet in kurzer Zeit viele Anfragen, das hält eine einzelne IP nicht lange aus. Verteilt auf viele private IPs bündeln sich die Anfragen nicht an einem Ort, und Sie sammeln ausgewogen Dokumente in verschiedenen Sprachen je Land.

Wiederholte Anfragen von einer IP

  1. Anfrage 1198.51.100.7
  2. Anfrage 2198.51.100.7
  3. Anfrage 3198.51.100.7

Anfragen verteilt auf viele private IPs

  1. Anfrage 1203.0.113.11
  2. Anfrage 2203.0.113.27
  3. Anfrage 3203.0.113.42
Die angezeigten IP-Adressen sind Beispiele.

Schritte

Schritte: KI-Datenerhebung

  1. Schritt 1

    Wählen Sie die Websites und Sprachen für die Erhebung und prüfen Sie die robots.txt

  2. Schritt 2

    Legen Sie gleichzeitige Anfragen und Intervall je Website fest

  3. Schritt 3

    Rufen Sie Dokumente mit rotierenden Sitzungen ab und speichern Sie den Text mit URL und Datum

  4. Schritt 4

    Filtern Sie Duplikate und leere Dokumente und ordnen Sie den Datensatz

Code

Codebeispiel: KI-Datenerhebung

Beispiel mit Python, Scrapy. Setzen Sie Ihren Zugangstoken anstelle von YOUR_TOKEN ein.

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

Zu beachten

Hinweise: KI-Datenerhebung

  • Erfassen Sie nur öffentliche Dokumente, die robots.txt und Nutzungsbedingungen erlauben

  • Lassen Sie Seiten mit personenbezogenen Daten aus

  • Wenn Sie Datum und Ursprungs-URL speichern, lassen sich Quellen später leichter prüfen

Länder

Häufig genutzte Länder: KI-Datenerhebung

Mehr

Weitere Anwendungsfälle für Proxys

  • Proxys für die Preisbeobachtung

    Bei der Preisbeobachtung erfassen Sie zu festen Zeiten Preise und Bestände vieler Shops, um sie zu vergleichen. Mit ProxySup Residential Proxys sehen Sie die Preise, die echte Besucher im jeweiligen Land sehen.

    Einrichtung ansehen

  • Proxys für die Anzeigenprüfung

    Bei der Anzeigenprüfung kontrollieren Sie, wie Ihre Anzeigen bei Nutzern im Zielgebiet tatsächlich erscheinen. Mit ProxySup Residential und Mobile Proxys prüfen Sie dieselbe Anzeige in wechselnden Ländern und Städten.

    Einrichtung ansehen

  • Proxys für das Suchergebnis-Tracking

    Beim Suchergebnis-Tracking erfassen Sie für feste Suchbegriffe, welche Ergebnisse in welchem Land und welcher Stadt an welcher Position erscheinen. Mit ProxySup Residential Proxys prüfen Sie denselben Suchbegriff an wechselnden Orten.

    Einrichtung ansehen

KI-Datenerhebung: jetzt einrichten

Registrieren und Guthaben aufladen, dann die Einrichtung oben sofort nutzen.

Konto erstellenPreise ansehen