欢迎来到 『华蛛社区』, 你可以在这里提问和回复,来跟其它用户一起交流。让我们共同打造中国第一个Web数据采集技术交流社区。

提示:验证邮箱后即可摆脱讨厌的验证码。

掌握Web数据抓取所需要学会的技能

–1
请问一下要想掌握Web数据抓取,都需要学习哪些语言? 掌握哪些技能?

谢谢
jason.zhangkangfu (110 积分) 发表于 4 年 之前 技术交流

1 条回复

0
你好!欢迎你加入社区。以下是我的几点建议:

 

1)首先要选择一门合适的开发语言。我们推荐Python,它具有简单易学、开发效率高、支持多线程、跨平台等优点。

2)你需要对HTTP协议相关知识有所了解。例如,浏览器和服务器是怎么进行交互的?为什么需要Cookie?gzip压缩是怎么回事?

3)正则表达式 - 强大的字符串提取工具。

4)XPath - XML文档元素定位工具。

5)了解JavaScript。

6)一些常用的辅助分析插件(FireFox):FireBug,Live HTTP Headers,HttpFox。
redice (560 积分) 回复于 4 年 之前

相关问题

华蛛社区 - 中国第一个Web数据采集技术交流社区
spider AT site-digger.com