AI 학습 데이터 수집용 프록시

AI 학습 데이터 수집은 공개된 웹 문서를 많이 모아 언어 모델이나 검색 모델을 만들 데이터셋으로 정리하는 작업이에요. ProxySup 프록시로 요청을 여러 IP와 나라에 나눠 보낼 수 있어요.

AI 학습 데이터 수집에 프록시가 필요한 이유

대량 수집은 짧은 시간에 많은 요청을 보내서 한 IP로는 오래 버티기 어려워요. 여러 가정용 IP로 요청을 나누면 한 곳에 몰리지 않고, 나라마다 다른 언어의 문서도 고르게 모을 수 있어요.

AI 학습 데이터 수집 추천 설정

상품주거용 프록시, 보안이 가벼운 사이트는 데이터센터 프록시
세션회전 세션
나라모을 언어를 쓰는 나라
속도사이트마다 동시 요청 수를 정해두기

AI 학습 데이터 수집 진행 순서

  1. 모을 사이트와 언어를 정하고 robots.txt를 확인해요
  2. 사이트마다 동시 요청 수와 간격을 정해요
  3. 회전 세션으로 문서를 받아 원문과 주소, 받은 날짜를 함께 저장해요
  4. 중복과 빈 문서를 걸러서 데이터셋으로 정리해요
코드 예시
import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

AI 학습 데이터 수집 할 때 챙길 점

  • robots.txt와 이용약관에서 허용한 공개 문서만 모아요
  • 개인정보가 들어 있는 페이지는 수집 대상에서 빼요
  • 받은 날짜와 원래 주소를 함께 저장하면 나중에 출처를 확인하기 쉬워요

AI 학습 데이터 수집에 많이 쓰는 나라

다른 프록시 활용 사례