华蛛社区 - 最新问题

selenium框架的webdriver 被识别出来了，如何破之？

Wed, 29 Aug 2018 08:20:13 +0000

用webdrvier解决滑动验证码的问题，结果被对方检测出来是selenium框架，滑完之后没有反应，怎么办，在线等

目标网站：e.dianping.com

关于浏览器模拟手机访问H5页面，无法定位怎么办？

Wed, 08 Aug 2018 03:27:47 +0000

如何抓取微信小程序的数据？

Thu, 12 Jul 2018 05:03:38 +0000

安卓手机怎样设置代理

selenium+phantomjs方式下载页面，如何设置账号密码验证？

Tue, 26 Jun 2018 07:29:44 +0000

selenium+phantomjs方式下载页面，如何设置账号密码验证？

Java代码如下：（账号密码不知道怎么设置）
Proxy proxy = new Proxy();
        proxy.setHttpProxy(ipport)
                .setFtpProxy(ipport)
                .setSslProxy(ipport);
        proxy.setProxyType(Proxy.ProxyType.MANUAL);
        proxy.setNoProxy("localhost");
//        sCaps.setCapability(CapabilityType.ForSeleniumServer.AVOIDING_PROXY, true);
//        sCaps.setCapability(CapabilityType.ForSeleniumServer.ONLY_PROXYING_SELENIUM_TRAFFIC, true);
        sCaps.setCapability(CapabilityType.PROXY, proxy);

squid 如何代理多个adsl拨号的IP

Fri, 08 Dec 2017 07:24:40 +0000

squid 如何代理多个adsl拨号的IP？因为IP是拨号的不固定，

Squid配置高匿代理但无法隐藏X-Cache和X-Xache-Lookup

Wed, 29 Nov 2017 03:12:00 +0000

我按照高匿代理配置如下:

request_header_access Via deny all

request_header_access X-Forwarded-For deny all

request_header_access Forwarded deny all

request_header_access Proxy-Connection deny all

request_header_access X-Cache deny all

request_header_access X-Cache-Lookup deny all

reply_header_access Via deny all

reply_header_access X-Cache deny all

reply_header_access X-Cache-Lookup deny all

reply_header_access Proxy-Connection deny all

但是使用curl命令进行分析发现头部信息依旧包含X-Cache和X-Xache-Lookup信息还有via信息，返回信息如下：

$ sudo curl -I -x localhost:6666 http://httpbin.org/ip

HTTP/1.1 200 OK

Server: meinheld/0.6.1

Date: Wed, 29 Nov 2017 03:08:10 GMT

Content-Type: application/json

Access-Control-Allow-Origin: *

Access-Control-Allow-Credentials: true

X-Powered-By: Flask

X-Processed-Time: 0.000948905944824

Content-Length: 33

Via: 1.1 vegur

X-Cache: MISS from szpilman-OptiPlex-3010

X-Cache-Lookup: MISS from szpilman-OptiPlex-3010:6666

Connection: keep-alive

没有起到高匿的效果啊。请问我的配置哪里出了问题，能够详细说明一下么？

Connection参数是否被知晓是爬虫？？？？？

Ubuntu版本：16.04

squid：3.5

如何用Python爬取裁判文书网上的案例

Tue, 21 Nov 2017 13:29:13 +0000

如何获取大众点评的某个行业的商家信息？

Wed, 10 May 2017 03:36:39 +0000

我想整理学校周边的便利店商家信息，一个个在大众点评上录入太慢了，怎么快速的提取出来？感谢!

抓取微信小程序摩单车的数据

Sun, 23 Apr 2017 01:12:45 +0000

安卓平台，微信小程序摩拜单车的数据爬取

也用python在安卓机上运行爬虫程序吗？

如何把 Java爬虫程序封装成安装程序？

Sat, 12 Nov 2016 07:54:07 +0000

已写好Java爬虫程序，如何把它封装成安装程序（数据采集器）？

如何抓取app数据包（除了fiddler工具）？

Tue, 08 Nov 2016 03:40:16 +0000

用JAVA调用报错了，用帮忙看看

Sun, 18 Sep 2016 13:39:35 +0000

代码： IP和账号密码我换掉了

System.setProperty("http.proxyHost", "00.00.00.00");

System.setProperty("http.proxyPort", "62648");

URL url = new URL("http://www.juneyaoair.com/");

URLConnection uc = url.openConnection();

String encoded = new String

(Base64.decodeBase64(new String("xxxx:lpwd").getBytes()));

uc.setRequestProperty("Proxy-Authorization", "Basic " + encoded);

uc.connect();

InputStream instream = uc.getInputStream();

StringBuilder sb = new StringBuilder();

int l;

byte[] tmp = new byte[2048];

while ((l = instream.read(tmp)) != -1) {

sb.append(new String(tmp));

}

System.out.println(sb.toString());

报错信息为：

Exception in thread "main" java.io.IOException: Server returned HTTP response code: 407 for URL: http://www.juneyaoair.com/

at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1625)

at proxy.Demo2.main(Demo2.java:52)

怎么利用髙匿HTTP绕过百度api

Mon, 22 Aug 2016 01:55:47 +0000

怎么利用髙匿HTTP绕过百度api,达到不受调用次数限制。

自己配置的代理高匿代理ip，php curl 多线程抓取百度网盘的数据被封

Sat, 13 Aug 2016 05:20:33 +0000

linux centen os 6.5 64位，

单网卡多ip，香港站群服务器，

自己配置的squid3.1代理ip，

php curl 多线程抓取百度网盘的数据被封，

自己也做过测试，并用检测工具检测了结果是：高匿代理

代理类型：无代理或高匿代理

REMOTE_ADDR =

HTTP_VIA = 无该头

HTTP_X_FORWARDED_FOR = 无该头

HTTP_PROXY_CONNECTION = 无该头

服务器独立ip 58个。

只要用多ip同时采集就会被屏蔽。

大侠们，哪儿有稳定高匿名的HTTP代理？

Thu, 21 Jul 2016 09:42:35 +0000

我自己写的爬虫访问网站老是被封IP，返回503错误。从网上找的免费代理绝大多数都不能用...。哪位大侠知道有卖稳定高匿名HTTP代理的？

一个关于json请求链接的问题

Mon, 18 Jul 2016 08:22:44 +0000

我想要提取网盘分享链接里的下载地址，其中需要请求一条json数据，但是这个json请求的链接生成方式没有找到，比如 http://pan.baidu.com/s/1bclxh0，这个网盘的分享链接，它需要请求这个链接 http://pan.baidu.com/api/sharedownload?sign=53c9e48437fc1711028f9f66018c05c0eacfd0ab&timestamp=1468829994&bdstoken=&channel=chunlei&web=1&app_id=250528&logid=MTQ2ODgzMDAxMjUxMDAuMDk2MDkxOTY3NDUxMDYyNTI=&clienttype=0，这个链接里面logid的生成方式一直无法找到，请问有什么好的办法吗

掌握Web数据抓取所需要学会的技能

Wed, 31 Oct 2012 06:30:06 +0000

请问一下要想掌握Web数据抓取，都需要学习哪些语言？掌握哪些技能？

谢谢

携程网抓取问题（post方式）

Tue, 28 Feb 2012 17:57:57 +0000

抓取某个城市的酒店信息得到list页面时，需要使用post方式发送数据，数据的末尾部分有类似“&HotelSity=MjAxMi0yLTI5IDE0OjUzOjQyfDEw&HotelSityEx=ctrip_hotels_ask_875445string”

的一部分，而且过一段时间就变化一下，请问如何构造这部分动态数据？

[微博]微博信息检索的一般流程

Fri, 30 Dec 2011 06:56:05 +0000

微博信息数据的采集、检索是当前一个技术热点。我想问各位做过这方面技术的朋友，做这些的大致流程是什么，以具体例子来说，我要输入一个关键词，然后希望得到相关的微博列表，目前有两种方法：
1、使用新浪微博的API，可是发现只能得到一页数据，要得到更多，得用钱来购买授权
2、使用新浪的搜索功能，在线模拟登陆、模拟ajax请求、得到返回数据

第二种方法无疑是最难的，我想知道

1、还是不是有其它的方法；2、第二步中模拟登陆、ajax请求发送、得到返回数据，大家都用了什么手段或者工具

谢谢

社区LOGO征集

Sat, 10 Dec 2011 16:23:18 +0000

社区LOGO征集中，各位可在回复本贴的同时上传自己的作品。

图片上传方法：

点击“图像”按钮->切换到“上传”标签->选择本地文件->点击“上传到服务器”按钮。

多谢大家的支持！

加入华蛛社区，一起交流Web数据采集技术

Sat, 10 Dec 2011 10:05:25 +0000

欢迎来到『华蛛社区』, 你可以在这里提问和回复，来跟其它用户一起交流。

让我们共同打造中国第一个专业Web数据采集技术交流社区！

本社区由鲲鹏数据强力支持。

名字的由来？

华蛛社区 - 寓意“中华蜘蛛”。