刚行了一下,又不行了,
在webui调试里,每次翻页时,其选择器的项全是一样的
不懂,弄不懂,搞了好半天,才知道,
网页是js加载的,
其页面有初始值,就是首页,其后的页面的数据,是根据页面的地址后加载的,
由于计算机很快,所以人没感觉,
但是同样的计算机爬虫,就有感觉了,
每次都加载的默认页。
处理办法:
用phantomjs渲染网页,返回后再选择器来筛选内容。
下载phantomjs
网址:http://phantomjs.org/
放置位置,设置环境变量
c:\phantomjs\
环境变量:c:\phantomjs\bin\
运行exe
c:\phantomjs\bin\phantomjs.exe
运行pyspider,用all方法
pyspider all
至此,就可以用渲染后的网页来爬内容了。