Ứng dụng

Proxy để thu thập dữ liệu huấn luyện AI

Thu thập dữ liệu huấn luyện AI là gom nhiều tài liệu web công khai và sắp xếp thành bộ dữ liệu cho mô hình ngôn ngữ hoặc tìm kiếm. Với proxy ProxySup, bạn chia yêu cầu qua nhiều IP và nhiều quốc gia.

Tạo tài khoảnXem hướng dẫn kết nối
  • Chỉ thu thập tài liệu công khai mà robots.txt và điều khoản sử dụng cho phép
  • Bỏ qua các trang có thông tin cá nhân

Cấu hình đề xuất cho Thu thập dữ liệu AI

Sản phẩm
Proxy dân cư, proxy trung tâm dữ liệu cho trang ít chặn
Phiên
Phiên xoay vòng
Quốc gia
Quốc gia dùng các ngôn ngữ cần thu thập
Nhịp
Đặt giới hạn số yêu cầu đồng thời cho mỗi trang
  • Proxy dân cư
  • Phiên xoay vòng
  • 6 quốc gia đề xuất
  • 4 bước

Lý do

Vì sao Thu thập dữ liệu AI cần proxy

Thu thập quy mô lớn gửi rất nhiều yêu cầu trong thời gian ngắn, một IP không trụ được lâu. Chia yêu cầu qua nhiều IP gia đình giúp không dồn vào một chỗ, đồng thời gom được tài liệu nhiều ngôn ngữ một cách cân đối theo quốc gia.

Yêu cầu lặp lại từ một IP

  1. Yêu cầu 1198.51.100.7
  2. Yêu cầu 2198.51.100.7
  3. Yêu cầu 3198.51.100.7

Yêu cầu chia đều qua nhiều IP gia đình

  1. Yêu cầu 1203.0.113.11
  2. Yêu cầu 2203.0.113.27
  3. Yêu cầu 3203.0.113.42
Các địa chỉ IP hiển thị chỉ là ví dụ.

Các bước

Các bước Thu thập dữ liệu AI

  1. Bước 1

    Chọn trang và ngôn ngữ cần thu thập, kiểm tra robots.txt

  2. Bước 2

    Đặt số yêu cầu đồng thời và khoảng cách cho từng trang

  3. Bước 3

    Lấy tài liệu bằng phiên xoay vòng, lưu văn bản cùng URL và ngày

  4. Bước 4

    Lọc trùng lặp và tài liệu rỗng, rồi sắp xếp bộ dữ liệu

Mã

Mã ví dụ Thu thập dữ liệu AI

Ví dụ dùng Python, Scrapy. Thay YOUR_TOKEN bằng mã truy cập của bạn.

Python, Scrapy
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

Lưu ý

Lưu ý khi Thu thập dữ liệu AI

  • Chỉ thu thập tài liệu công khai mà robots.txt và điều khoản sử dụng cho phép

  • Bỏ qua các trang có thông tin cá nhân

  • Lưu ngày và URL gốc giúp kiểm tra nguồn dễ hơn về sau

Quốc gia

Quốc gia hay dùng cho Thu thập dữ liệu AI

Thêm

Ứng dụng proxy khác

  • Proxy để theo dõi giá

    Theo dõi giá là thu thập giá và tồn kho của nhiều cửa hàng vào giờ cố định để so sánh. Với proxy dân cư ProxySup, bạn thấy đúng mức giá mà người dùng thật ở từng quốc gia nhìn thấy.

    Xem cấu hình

  • Proxy để kiểm tra quảng cáo

    Kiểm tra quảng cáo là xác nhận quảng cáo của bạn thực sự hiển thị thế nào với người dùng ở khu vực mục tiêu. Với proxy dân cư và di động ProxySup, bạn kiểm tra cùng một quảng cáo khi đổi quốc gia và thành phố.

    Xem cấu hình

  • Proxy để theo dõi kết quả tìm kiếm

    Theo dõi kết quả tìm kiếm là thu thập, với các từ khóa cố định, kết quả nào xuất hiện ở vị trí nào tại từng quốc gia và thành phố. Với proxy dân cư ProxySup, bạn kiểm tra cùng một từ khóa khi đổi địa điểm.

    Xem cấu hình

Cấu hình Thu thập dữ liệu AI ngay

Đăng ký và nạp số dư để dùng ngay cấu hình ở trên.

Tạo tài khoảnXem bảng giá