掌握Web数据抓取所需要学会的技能

Question

请问一下要想掌握Web数据抓取，都需要学习哪些语言？ 掌握哪些技能？

谢谢

Answer 1

你好！欢迎你加入社区。以下是我的几点建议：

 

1）首先要选择一门合适的开发语言。我们推荐Python，它具有简单易学、开发效率高、支持多线程、跨平台等优点。

2）你需要对HTTP协议相关知识有所了解。例如，浏览器和服务器是怎么进行交互的？为什么需要Cookie？gzip压缩是怎么回事？

3）正则表达式 - 强大的字符串提取工具。

4）XPath - XML文档元素定位工具。

5）了解JavaScript。

6）一些常用的辅助分析插件（FireFox）：FireBug，Live HTTP Headers，HttpFox。