Python 爬虫
发布日期:
2019-01-01

-安装爬虫需要的库 


C:python37>pip install requests 
Collecting requests 
  Downloading https://files.pythonhosted.org/packages/7d/e3/20f...84b/requests-2.21.0-py2.py3-none-any.whl (57kB) 
    100% |████████████████████████████████| 61kB 225kB/s 
Collecting urllib3<1.25,>=1.21.1 (from requests) 
  Downloading https://files.pythonhosted.org/packages/62/00/ee1...79e/urllib3-1.24.1-py2.py3-none-any.whl (118kB) 
    100% |████████████████████████████████| 122kB 585kB/s 
Collecting idna<2.9,>=2.5 (from requests) 
  Downloading https://files.pythonhosted.org/packages/14/2c/cd55...4c9/idna-2.8-py2.py3-none-any.whl (58kB) 
    100% |████████████████████████████████| 61kB 1.3MB/s 
Collecting chardet<3.1.0,>=3.0.2 (from requests) 
  Downloading https://files.pythonhosted.org/packages/bc/a9/01ffe...b8/chardet-3.0.4-py2.py3-none-any.whl (133kB) 
    100% |████████████████████████████████| 143kB 267kB/s 
Collecting certifi>=2017.4.17 (from requests) 
  Downloading https://files.pythonhosted.org/packages/9f/e0/ac...e8a/certifi-2018.11.29-py2.py3-none-any.whl (154kB) 
    100% |████████████████████████████████| 163kB 273kB/s 
Installing collected packages: urllib3, idna, chardet, certifi, requests 
Successfully installed certifi-2018.11.29 chardet-3.0.4 idna-2.8 requests-2.21.0 urllib3-1.24.1 


什么是Urllib 


Python内置的Http请求库 
urllib.request 请求模块    模拟浏览器 
urllib.error 异常处理模块 
urllib.parse url解析模块    工具模块,如:拆分、合并 
urllib.robotparser robots.txt    解析模块  
  
urllib是Python自带的标准库,无需安装,直接可以用。 
提供了如下功能: 
    网页请求 
    响应获取 
    代理和cookie设置 
    异常处理 
    URL解析 
爬虫所需要的功能,基本上在urllib中都能找到,学习这个标准库,可以更加深入的理解后面更加便利的requests库。 

2和3的区别 
Python2 
import urllib2 
response = urllib2.urlopen('http://www.baidu.com'); 

Python3 
import urllib.request 
response =urllib.request.urlopen('http://www.baidu.com'); 

相关推荐

董明珠谈小米做空调:质量和技术比他们好,没压力
董明珠称,格力启动九万员工开网店的模式后,格力业绩当月卖了2...
【DTCC2019】数据风云,十年变迁 - 第十届中国数据库技术大会隆重启动
作为国内备受关注的数据库及大数据领域技术盛会,第十届中国数据...
半年坠毁两架,波音737MAX-8你还敢坐吗?
当地时间3月10日上午,埃塞俄比亚航空公司的一架载有149名...
近20年数据被黑客全部清空 美国电邮商 VFEmail宣布倒闭
数据,对于企业来讲是至关重要的,如果企业的数据库被黑客攻陷,...