欢迎来到 『华蛛社区』, 你可以在这里提问和回复,来跟其它用户一起交流。让我们共同打造中国第一个Web数据采集技术交流社区。

提示:验证邮箱后即可摆脱讨厌的验证码。

自己配置的代理高匿代理ip,php curl 多线程抓取百度网盘的数据被封

+1

linux centen os 6.5 64位,

单网卡多ip,香港站群服务器,

自己配置的squid3.1代理ip,

php curl 多线程抓取百度网盘的数据被封,

自己也做过测试,并用检测工具检测了结果是:高匿代理

代理类型:无代理或高匿代理
REMOTE_ADDR = 
HTTP_VIA = 无该头
HTTP_X_FORWARDED_FOR = 无该头
HTTP_PROXY_CONNECTION = 无该头
 
服务器独立ip 58个。
只要用多ip同时采集就会被屏蔽。
pifire (130 积分) 发表于 7 年 之前 技术交流

1 条回复

0
1)检查下出口IP配置是否正确,有没有做多IP入口、多IP出口的配置?

2)58个IP是几个段的,IP段是否过于集中?

3)采集频率是否过快?访问间隔多少秒?
redice (640 积分) 回复于 7 年 之前

相关问题

华蛛社区 - 中国第一个Web数据采集技术交流社区
spider AT site-digger.com