会员登录
注册
问题
等待回复
按关键字查看
用户
提交新建议/意见
欢迎来到 『华蛛社区』, 你可以在这里提问和回复,来跟其它用户一起交流。让我们共同打造中国第一个Web数据采集技术交流社区。
提示:验证邮箱后即可摆脱讨厌的验证码。
按分类查看
技术交流
(118)
社区事务
(2)
携程网抓取问题(post方式)
–1
票
抓取某个城市的酒店信息得到list页面时,需要使用post方式发送数据,数据的末尾部分有类似“&HotelSity=MjAxMi0yLTI5IDE0OjUzOjQyfDEw&HotelSityEx=ctrip_hotels_ask_875445string”
的一部分,而且过一段时间就变化一下,请问如何构造这部分动态数据?
post
bjutzpf
(
110
积分)
发表于
12 年
之前
在
技术交流
1 条回复
0
票
尝试一下去掉这部分“未知”参数是否会影响返回的结果。
辅助工具:Live HTTP Headers或WebSurgery的Web Editor。
尝试简化参数(QueryString和Post Entity)是有必要的。
redice
(
640
积分)
回复于
12 年
之前
不可以,去掉以后就得不到任何数据了
可以尝试采用模拟浏览器的方法绕过
相关问题
–1
票
1
回复
如何抓取app数据包(除了fiddler工具)?
361620381
(
110
积分)
发表于
8 年
之前
在
技术交流
app数据抓取
post
+1
票
1
回复
自己配置的代理高匿代理ip,php curl 多线程抓取百度网盘的数据被封
pifire
(
130
积分)
发表于
8 年
之前
在
技术交流
数据抓取
稳定高匿名http代理
http代理
0
票
1
回复
如何抓取微信小程序的数据?
sddhc53
(
120
积分)
发表于
6 年
之前
在
技术交流
0
票
1
回复
抓取微信小程序摩单车的数据
kds123
(
120
积分)
发表于
7 年
之前
在
技术交流
数据抓取
app数据抓取
0
票
1
回复
selenium+phantomjs方式下载页面,如何设置账号密码验证?
wjbrobin
(
120
积分)
发表于
6 年
之前
在
技术交流
代理
账号密码验证
auth
华蛛社区
- 中国第一个Web数据采集技术交流社区
spider AT site-digger.com