您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

Python自带爬虫库urllib使用大全

时间:2020-12-16 11:29:38  来源:  作者:

这篇文章主要来讲解下Python自带的爬虫库urllib常见用法,主要围绕urllib定义、urllib的常用模块和urllib+lxml爬虫案例三个部分进行展开。

一、什么是urllib

它是一个http请求的Python自带的标准库,无需安装,直接可以用。并且提供了如下功能:网页请求、响应获取、代理和cookie设置、异常处理、URL解析,可以说是一个比较强大的模块。

二、urllib模块

可分为以下模块:

urllib.request 请求模块urllib.error 异常处理模块urllib.parse 解析模块urllib.robotparser 解析模块

那么,我们先从第一个模块开始说起吧,首先说一下它的大致用法:

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) #里面有很多方法,类似与requests模块中的renquest方法

request里包含了很多方法,如果我们要发送一个请求并读取请求内容,最简单的方法就是:

请求格式:

urllib.request.urlopen(url,data,timeout)

url :请求地址

data:请求数据

timeout:请求超时时间

Python自带爬虫库urllib使用大全

这里采用的是get请求,如果想要进行post请求,只需给data方法传参数即可,这里有个问题需要,因为传递参数必须是字节,所以得先编码成bytes才能读取。

Python自带爬虫库urllib使用大全

也可以这样写:

Python自带爬虫库urllib使用大全

通过解析模块先将它解析为byte格式然后读取,同样行之有效,这样就完成了一次post请求。

通过上面例子我们找到了request模块的使用方法,我们使用response.read获取的是响应体的内容,我们还可以通过response.status、response.getheaders.response.getheader("server"),获取状态码以及头部信息,如果我们要给请求的网址添加头部信息的话了,就要使用urllib.request.Request方法了。

它的用法为:

urllib.request.Request(url,data,headers,timeout,method)

url:请求地址

data:请求数据

headers:请求头

timeout:请求超时时间

method:请求方法,如get post

大致了解下我们可以先来访问下起点网:

from urllib import request, parse
url = 'https://book.qidian.com/info/1014243481#Catalog'headers = { 'User-Agent': 'Mozilla/5.0 (windows NT 6.1; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/78.0.3904.108 Safari/537.36', 'Host': 'book.qidian.com'}data = { 'hw': 'hw'}data = bytes(parse.urlencode(data), encoding='utf8')req = request.Request(url=url, data=data,timeout=2,headers=headers, method='POST')response = request.urlopen(req)print(response.read.decode('utf-8'))

可以看出这是个post请求,因为method设置为post,data传了参数。

这里补充说明下有个urlencode方法,它的作用是将字典转换为url,例子如下:

from urllib.parse import urlencode
data = { "name":"hw", "age":25,}url = "https://www.baidu.com?"
page_url = url+urlencode(data)print(page_url)

添加请求头其实还有一种方法,请看:

from urllib import request, parseurl = 'https://book.qidian.com/info/1014243481#Catalog'data = { 'hw': 'hw'}data = bytes(parse.urlencode(data), encoding='utf8')req = request.Request(url=url, data=data,method='POST')req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom/78.0.3904.108 Safari/537.36') #添加请求头response = request.urlopen(req)print(response.read.decode('utf-8'))

这种添加方式有个好处是自己可以定义一个请求头字典,然后循环进行添加,伪造多个浏览器头。

urllib.request 还可以设置代理,用法如下,

urllib.request.ProxyHandler({'http':'http://fsdfffs.com','https':'https://fsdfwe.com'})

这样就可以避免同一个IP访问网站多次被封的尴尬局面了。

import urllib.request
proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://127.0.0.1:8000', 'https': 'https://127.0.0.1:8000'})opener = urllib.request.build_opener(proxy_handler) #构建代理池response = opener.open('https://book.qidian.com/info/1014243481#Catalog') #代理访问网站print(response.read)
Python自带爬虫库urllib使用大全

可以看出,由于本人使用无用的IP导致链接错误,所以此时应该处理异常。

Python自带爬虫库urllib使用大全

换了种处理异常的方式,不过总的来说还是比较全面的。异常模块中有两个异常错误:

URLError,HTTPError,其中HTTPError是URLError的子类,URLError 里只有一个属性:reason,即抓异常的时候只能打印错误信息,类似上面的例子。

HTTPError 里有三个属性:code,reason,headers,即抓异常的时候可以获得code,reson,headers三个信息,

import socketimport urllib.requestimport urllib.erroraa=''try: response = urllib.request.urlopen('https://book.qidian.com/info/1014243481#Catalog', timeout=0.1) aa=response.read.decode('utf8')except urllib.error.URLError as e: print(e.reason) if isinstance(e.reason,socket.timeout): print("time out")except urllib.error.HTTPError as e:print(e.reason,e.code)finally: print(aa)

除此之外,它还可以处理cookie数据,不过要借助另一个模块 http。

import http.cookiejar, urllib.requestcookie = http.cookiejar.CookieJar #创建cookiejar对象handler = urllib.request.HTTPCookieProcessor(cookie) 建立cookie请求opener = urllib.request.build_opener(handler) #构建请求response = opener.open('https://www.baidu.com') #发送请求for item in cookie: print(item.name+"="+item.value) #打印cookie信息

同时cookie可以写入到文件中保存,有两种方式http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar,想用哪种自己决定。

http.cookiejar.MozillaCookieJar方式

import http.cookiejar, urllib.requestfilename = "cookie.txt"cookie = http.cookiejar.MozillaCookieJar(file_name)handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)response = opener.open('https://www.baidu.com')cookie.save(ignore_discard=True, ignore_expires=True)#保存信息

http.cookiejar.LWPCookieJar方式

import http.cookiejar, urllib.requestfilename = 'cookie.txt'cookie = http.cookiejar.LWPCookieJar(file_name)handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)response = opener.open('https://www.baidu.com')cookie.save(ignore_discard=True, ignore_expires=True)

如果想要通过获取文件中的cookie获取的话可以通过load方式,它也有两种方式,http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar,想用哪种自己决定。

http.cookiejar.MozillaCookieJar方式

import http.cookiejar, urllib.requestcookie = http.cookiejar.MozillaCookieJarcookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)response = opener.open('https://www.baidu.com')print(response.read.decode('utf-8'))

http.cookiejar.LWPCookieJar方式

import http.cookiejar, urllib.requestcookie = http.cookiejar.LWPCookieJarcookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)response = opener.open('https://www.baidu.com')print(response.read.decode('utf-8'))

urllib parse模块

它是负责解析页面内容,模块下有一个urlparse方法用于拆分解析内容,具体用法如下:

urllib.parse.urlparse(url,scheme)

URL:页面地址

scheme: 协议类型 ,比如 http https

Python自带爬虫库urllib使用大全

有拆分当然也会有拼接,我们可以看到上面返回的有六个值,所以我们在做拼接时一定要填写六个参数,否则它会报没有足够的值用来解包的错误。

urllib.parse.urlunpars(url,scheme)

Python自带爬虫库urllib使用大全Python自带爬虫库urllib使用大全

类似的拼接方法其实还有,比如说urljoin,例子如下:

Python自带爬虫库urllib使用大全

urllib.robotparser 它也是一个解析模块,从它的字面意思看,应该是一个机器人解析模块。

而且它还与机器人协议有关联,它的存在就是为了解析每个网站中机器人协议,判断这个网站是否可以抓取。

每个网站中都会有一个robots.txt文件,我们要做的就是先解析它,然后在对要下载的网页数据进行判断是否可以抓取。

Python自带爬虫库urllib使用大全

可以通过直接输入url的方式来判断:

from urllib import robotparserrb = robotparser.RobotFileParser('https://www.baidu.com/robots.txt')print(rb.read)url = 'https://www.baidu.com'user_agent = 'BadCrawler'aa=rb.can_fetch(user_agent, url) #确定指定的用户代理是否允许访问网页print(aa) #禁止使用的用户代理 falseuser_agent = 'googlebot'bb=rb.can_fetch(user_agent, url) print(bb)#允许使用的用户代理 true

也可以通过间接设置url的方式来判断:

from urllib import robotparserrb = robotparser.RobotFileParserrb.set_url('https://www.baidu.com/robots.txt')rb.read #读取url = 'https://www.baidu.com'user_agent = 'BadCrawler'aa=rb.can_fetch(user_agent, url) #确定指定的用户代理是否允许访问网页print(aa) #禁止使用的用户代理 falseuser_agent = 'Googlebot'bb=rb.can_fetch(user_agent, url) print(bb)#允许使用的用户代理 trueprint(rb.mtime) #返回抓取分析robots协议的时间rb.modified #将当前时间设置为上次抓取和分析 robots.txt 的时间print(rb.mtime)# 返回 robots.txt 文件对请求速率限制的值print(rb.request_rate('Googlebot')) print(rb.request_rate('MSNBot'))# 返回 robotx.txt 文件对抓取延迟限制的值print(rb.crawl_delay('Googlebot'))print(rb.crawl_delay('MSNBot'))

三、应用案例:爬取起点小说名

老样子,按下键盘快捷键F12,进行网页分析,这次我们采用lxml,我们得知只需要将这个页面中的某一个部分的数据变动一下就可以抓取到所有数据。如图:

Python自带爬虫库urllib使用大全

下次我们来讲lxml和xpath语法,以便于大家更好的爬取数据,urllib内容就这么多,并不复杂,requests更为简单易学。



Tags:爬虫   点击:()  评论:()
声明:本站部分内容来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除,谢谢。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
这篇文章主要来讲解下Python自带的爬虫库urllib常见用法,主要围绕urllib定义、urllib的常用模块和urllib+lxml爬虫案例三个部分进行展开。一、什么是urllib它是一个http请求...【详细内容】
2020-12-16   爬虫  点击:(0)  评论:(0)  加入收藏
专注Python、AI、大数据,请关注公众号七步编程!在不同公司的许多人可能出于各种原因需要从Internet收集外部数据:分析竞争,汇总新闻摘要、跟踪特定市场的趋势,或者收集每日股票价...【详细内容】
2020-12-10   爬虫  点击:(7)  评论:(0)  加入收藏
我们在写爬虫代码时,常常需要各种分析调试,而且每次直接用代码调试都很麻烦所以今天给大家分享一个工具,不仅能方便模拟发送各种http请求,还能轻松调试,最重要的是,可以将调试最终...【详细内容】
2020-12-07   爬虫  点击:(8)  评论:(0)  加入收藏
本篇文章介绍了爬虫中验证码的处理方式, 并把这些功能封装起来,供我们使用, 涉及到百度AIP的调用方式, 以及一个最新的开源库muggle识别库的使用,欢迎阅读,点赞,收藏! 目录: 学会调用...【详细内容】
2020-10-29   爬虫  点击:(5)  评论:(0)  加入收藏
在写爬虫的时候,为了效率我们通常会选择解析网页api来获取数据,但是有时候解析方式比较困难,或者我们纯粹是为了快速实现爬虫,会使用浏览器自动化操作,说起这一点,肯定第一个想到...【详细内容】
2020-10-27   爬虫  点击:(5)  评论:(0)  加入收藏
国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱——InfoSpider,一不小心就火了!!!有多火呢?开源没几天就登上GitHub周榜第四,标星1.3K,累计分支172...【详细内容】
2020-10-23   爬虫  点击:(6)  评论:(0)  加入收藏
爬虫原理我是一个爬虫,每天穿行于互联网之上,爬取我需要的一切。 说起来还要感谢HTTP协议,因为它,全世界的网站和浏览器才能够连接通信,而我也是借助HTTP协议,获取我想要的数据。...【详细内容】
2020-10-10   爬虫  点击:(10)  评论:(0)  加入收藏
布隆过滤器(BloomFilter)类似于hash set,用来判断元素是否在集合中。但是与hash set区别是:布隆过滤器不需要存储元素值,就能判断元素是否在集合中。说一下布隆过滤器优缺点: 优点...【详细内容】
2020-09-29   爬虫  点击:(10)  评论:(0)  加入收藏
我们先以一个最简单的实例来了解模拟登录后页面的抓取过程,其原理在于模拟登录后 Cookies 的维护。1. 本节目标私信小编01即可获取大量的Python学习资料本节将讲解以 GitHub...【详细内容】
2020-09-27   爬虫  点击:(9)  评论:(0)  加入收藏
大家好,今天我们来讲点Selenium自动化,你是否有特别喜欢的公众号?你有想过如何将一个公众号历史文章全部文章爬下来学习吗?现在我们就演示用Selenium实现这个功能。...【详细内容】
2020-09-25   爬虫  点击:(10)  评论:(0)  加入收藏
网络数据抓取是大数据分析的前提,只有拥有海量的数据才能够进行大数据分析,因此,爬虫(数据抓取)是每个后端开发人员必会的一个技能,下面我们主要盘点一下php的爬虫框架。GoutteGou...【详细内容】
2020-09-16   爬虫  点击:(9)  评论:(0)  加入收藏
今年初,大名鼎鼎的VISA宣布以53亿美元的价格收购一家名为Plaid的金融科技公司。 值得注意的是,Plaid在一年前完成C轮融资时,估值为26.5亿美元,也就是说VISA不惜花两倍的价格也...【详细内容】
2020-09-10   爬虫  点击:(3)  评论:(0)  加入收藏
作者 | HelloGitHub-秦人来源 | HelloGitHub(ID:GitHub520)HelloGitHub 推出的《讲解开源项目》系列,今天给大家带来一款开源 Java 版一款网页元素解析框架——jsoup,...【详细内容】
2020-09-08   爬虫  点击:(2)  评论:(0)  加入收藏
在开始之前,请确保你的电脑上已经安装好了BeautifulSoup库,可以通过在命令行中输入pip install beautifulsoup4来进行安装。一、数据解析在爬取之前,我们需要检测下响应状态码...【详细内容】
2020-08-25   爬虫  点击:(2)  评论:(0)  加入收藏
每天一个爬虫练习,爬个比较简单的网站import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport timedef get_data(url): resp = requests.get(url) h...【详细内容】
2020-08-24   爬虫  点击:(3)  评论:(0)  加入收藏
为什么要做网络爬虫?首先请问:都说现在是"大数据时代",那数据从何而来?企业产生的用户数据:百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数数据平台购买数据:数据堂、国云数...【详细内容】
2020-08-13   爬虫  点击:(8)  评论:(0)  加入收藏
此教程需要有一定的HTML基础,了解HTML结构和标签即可,先写一个简单的 HTML通过编写和修改 HTML,可以更好地理解 HTML。首先打开一个记事本,然后输入下面的内容:<html><head><titl...【详细内容】
2020-08-12   爬虫  点击:(7)  评论:(0)  加入收藏
Chrome官方网站已经说的很清楚,不再支持6.x的CentOS,至少7以上。 可是很多时候我们使用的服务器版本并不能随便升级,即便已经很难受了,但是还得继续使用低版本,装起来那是真叫一...【详细内容】
2020-08-10   爬虫  点击:(8)  评论:(0)  加入收藏
一、使用的工具单独使用完成 pycharms 完成实验,在分析的时候使用 Jupyter Notebook在爬虫所需要lxml和bs4这两个库已经确认安装后,确保自己的已经安装了pandas和matplotlib这...【详细内容】
2020-08-05   爬虫  点击:(8)  评论:(0)  加入收藏
互联网的数据爆炸式的增长,而利用 Python 爬虫我们可以获取大量有价值的数据:1.爬取数据,进行市场调研和商业分析爬取知乎优质答案,筛选各话题下最优质的内容; 抓取房产网站买卖...【详细内容】
2020-07-24   爬虫  点击:(8)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条