AI 训练数据采集代理

步骤

AI 训练数据采集操作步骤

1. 第 1 步

   确定要采集的网站和语言，并查看 robots.txt

2. 第 2 步

   为每个网站设定并发请求数和间隔

3. 第 3 步

   用轮换会话获取文档，同时保存原文、网址和获取日期

4. 第 4 步

   过滤重复和空白文档，整理成数据集

代码

AI 训练数据采集代码示例

基于 Python, Scrapy 的示例。请把 YOUR_TOKEN 替换为您的访问令牌。

import scrapy

class DocsSpider(scrapy.Spider):
    name = "docs"
    start_urls = ["https://example.com/articles"]
    custom_settings = {"CONCURRENT_REQUESTS_PER_DOMAIN": 4, "DOWNLOAD_DELAY": 1}

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                "proxy": "http://user-country-us:[email protected]:7777"
            })

    def parse(self, response):
        yield {"url": response.url, "html": response.text}

注意

AI 训练数据采集时的注意事项

• 只采集 robots.txt 和使用条款允许的公开文档

• 含有个人信息的页面不在采集范围内

• 同时保存获取日期和原始网址，日后便于核对来源

国家

AI 训练数据采集常用的国家

• 美国住宅代理
• 英国住宅代理
• 德国住宅代理
• 法国住宅代理
• 日本住宅代理
• 印度住宅代理

更多

其他代理使用场景

• 价格监控代理

  价格监控是按固定时间采集多个网店的商品价格和库存并进行比较的工作。使用 ProxySup 住宅代理，可以查看各国真实访客看到的价格。

  查看设置

• 广告检查代理

  广告投放检查是确认目标地区用户实际看到的广告效果的工作。使用 ProxySup 住宅和移动代理，可以切换国家和城市检查同一个广告。

  查看设置

• 搜索结果查看代理

  搜索结果查看是针对固定关键词，按国家和城市采集哪些结果排在第几位的工作。使用 ProxySup 住宅代理，可以切换地区查看同一关键词。

  查看设置