http://www.vvocals.com

                                                                  【极速排列3网址】python爬虫需要安装什么

                                                                  世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖)掘、机器学习等提供重要的数据源。

                                                                  python爬虫需要安装相关库:

                                                                  python爬虫涉及的库:

                                                                  请求库,解析库,存储库,工具库

                                                                  1. 请求库:urllib/re/requests

                                                                  (1) urllib/re是python默认自带的库,可以通过以下命令进行验证:

                                                                  没有报错信息输出,说明环境正常

                                                                  (2) requests安装

                                                                  2.1 打开CMD,输入

                                                                  pip3 install requests

                                                                  2.2 等待安装后,验证

                                                                  (3) selenium安装(驱动浏览器进行网站访问行为)

                                                                  3.1 打开CMD,输入

                                                                  pip3 install selenium

                                                                  3.2 安装chromedriver

                                                                  网址:https://npm.taobao.org/

                                                                  把下载完成后的压缩包解压,把exe放到D:\Python3.6.0\Scripts\

                                                                  这个路径只要在PATH变量中就可以

                                                                  3.3 等待安装完成,后,验证

                                                                  回车后弹出chrome浏览器界面

                                                                  3.4 安装其他浏览器

                                                                  无界面浏览器phantomjs

                                                                  下载网址:http://phantomjs.org/

                                                                  下载完成后解压,把整个目录放到D:\Python3.6.0\Scripts\,把bin目录的路径添加到PATH变量

                                                                  验证:

                                                                  打开CMD

                                                                  phantomjsconsole.log('phantomjs')CTRL+Cpythonfrom selenium import webdriverdriver = webdriver.PhantomJS()dirver.get('http://www.baidu.com')driver.page_source

                                                                  2. 解析库:

                                                                  2.1 lxml (XPATH)

                                                                  打开CMD

                                                                  pip3 install lxml

                                                                  或者从https://pypi.python.org下载,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

                                                                  pip3 install 文件名.whl

                                                                  2.2 beautifulsoup

                                                                  打开CMD,需要先安装好lxml

                                                                  pip3 install beautifulsoup4

                                                                  验证

                                                                  pythonfrom bs4 (import BeautifulSoupsoup = BeautifulSoup('<html></html>','lxml')

                                                                  2.3 pyquery(类似jquery语法)

                                                                  打开CMD

                                                                  pip3 install pyquery

                                                                  验证安装结果

                                                                  pythonfrom pyquery im]port PyQuery as pqdoc = pq('<html>hi</html>')result = doc('html').text()result

                                                                  3. 存储库

                                                                  3.1 pymysql(操作MySQL,关系型数据库)

                                                                  郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

                                                                  上一篇:日本对韩国实施出口管制,苹果华为等都要受影响?
                                                                  下一篇:没有了