在本篇博文当中，将会教会大家如何使用高性能爬虫，快速爬取并解析页面当中的信息。一般情况下，如果我们请求网页的次数太多，每次都要发出一次请求，进行串行执行的话，那么请求将会占用我们大量的时间，这样得不偿失。因此我们可以i使用高性能爬虫，也就是采用多进程，异步的方式对数据进行爬取和解析，这样就可以在更快的时间内得到我们想要的结果。本篇博文给出有关爬取豆瓣电影的例子，以此来教会大家如何使用高性能爬虫。
一.网页分析首先我们来分析豆瓣电影的网页代码，在本次的案例当中。我们需要爬取豆瓣电影top250当中的标题title和星数star。
发现，豆瓣电影当中的所有有关电影的信息全部都隐藏在< ol>这个标签，当中，因此我们在编写xpath的时候，可以利用对它做一个循环。然后又发现，对于电影的title而言，有两个地方出现，一个地方是在图片上，另一个地方是在span标签下的class = title处，但是在span标签下具有多个标题，为了以免引起混，因此我们使用图片当中所暗含的标题title文字，使用xpath进行定位即可。
对于star而言，就更加简单了。我们发现每次一个star的分数出现，就会有又一个<div>的标签在前面，然后再出现了与span有关的标签，因此我们编写xpath表达式为：//ol[@class="grid_view"]//div[@class="star"]/span[@class="rating_num"]/text()
这样就可以得到一整个页面的star的数值了。当然这样我们只能获取第一页的我们想要得到的数据，怎么得到第二页的数据呢？
二.翻页处理翻页处理对于豆瓣电影这个网站还是比较简单的。我们分别查看第一，二，三页的url，就会惊奇的发现它的网址如下：
https://movie.douban.com/top250?start=0&filter= https://movie.douban.com/top250?start=25&filter= https://movie.douban.com/top250?start=50&filter=