原因
搜索结果查看为什么需要代理
搜索引擎会根据访问位置和语言设置显示不同结果。用一个 IP 发送大量搜索,经常会出现验证页面。按地区使用轮换会话的家庭 IP,可以原样获取当地结果,请求也会分散。
用一个 IP 重复请求
- 请求 1198.51.100.7
- 请求 2198.51.100.7
- 请求 3198.51.100.7
分散到多个家庭 IP 请求
- 请求 1203.0.113.11
- 请求 2203.0.113.27
- 请求 3203.0.113.42
步骤
搜索结果查看操作步骤
- 第 1 步
确定要跟踪的关键词和地区列表
- 第 2 步
为每个地区设置 country 和 city 值
- 第 3 步
获取搜索结果页面,保存排名和网址
- 第 4 步
按日期比较排名变化
代码
搜索结果查看代码示例
基于 Python, requests 的示例。请把 YOUR_TOKEN 替换为您的访问令牌。
import requests
proxy = "http://user-country-de-city-berlin:[email protected]:7777"
res = requests.get(
"https://example.com/search",
params={"q": "residential proxy"},
proxies={"http": proxy, "https": proxy},
headers={"Accept-Language": "de-DE"},
timeout=30,
)
print(len(res.text))- Python requests
- Playwright
- Scrapy
- Puppeteer
- Selenium
- Node.js
- curl
注意
搜索结果查看时的注意事项
查看搜索引擎的使用条款,只用允许的方式采集
同一关键词间隔几分钟再发送
需要精确到城市的关键词,请在支持城市定位的国家查看
更多
其他代理使用场景
价格监控代理
价格监控是按固定时间采集多个网店的商品价格和库存并进行比较的工作。使用 ProxySup 住宅代理,可以查看各国真实访客看到的价格。
查看设置广告检查代理
广告投放检查是确认目标地区用户实际看到的广告效果的工作。使用 ProxySup 住宅和移动代理,可以切换国家和城市检查同一个广告。
查看设置AI 训练数据采集代理
AI 训练数据采集是大量收集公开的网页文档,整理成训练语言模型或搜索模型所用数据集的工作。使用 ProxySup 代理,可以把请求分散到多个 IP 和国家。
查看设置