如何入门 Python 爬虫？
个人觉得：新手学习python爬取网页先用下面4个库就够了：（第4个是实在搞不定用的，当然某些特殊情况它也可能搞不定） 1. 打开网页，下载文件：urllib2. 解析网页：BeautifulSoup，熟悉JQuery的可以用Pyquery （感谢 @李林蔚 的建议）3. 使用Requests来提交各种类型的请求，支持重定向，cookies等。4. 使用Selenium，模拟浏览器提交类似用户的操作，处理js动态产生的网页 这几个库有它们各自的功能。配合起来就可以完成爬取各种网页并分析的功能。具体的用法可以查他们的官网手册(上面有链接)。 做事情是要有驱动的，如果你没什么特别想抓取的，新手学习可以从这个爬虫闯关网站开始，目前更新到第五关，闯过前四关，你应该就掌握了这些库的基本操作。 实在闯不过去，再到这里看题解吧，第四关会用到并行编程。（串行编程完成第四关会很费时间哦），第四，五关只出了题，还没发布题解。。。 学完这些基础，再去学习scrapy这个强大的爬虫框架会更顺些。这里有它的中文介绍。 感谢大家支持，改了改链接的格式，好看多了，呵呵 ============================= 云服务器到期，闯关不再维护了。 感兴趣的可以看https://github.com/heibanke/blog_and_jizhang/tree/master/heibanke_prj 这里lesson模块是闯关的源码，用django实现。