内容

刚行了一下,又不行了,

在webui调试里,每次翻页时,其选择器的项全是一样的

不懂,弄不懂,搞了好半天,才知道,

网页是js加载的,

其页面有初始值,就是首页,其后的页面的数据,是根据页面的地址后加载的,

由于计算机很快,所以人没感觉,

但是同样的计算机爬虫,就有感觉了,

每次都加载的默认页。


处理办法:

    用phantomjs渲染网页,返回后再选择器来筛选内容。

  1. 下载phantomjs

    网址:http://phantomjs.org/

  2. 放置位置,设置环境变量

    c:\phantomjs\

    环境变量:c:\phantomjs\bin\

  3. 运行exe

    c:\phantomjs\bin\phantomjs.exe

  4. 运行pyspider,用all方法

    pyspider all


至此,就可以用渲染后的网页来爬内容了。