您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

时间:2021-03-16 13:53:25  来源:  作者:

实施步骤

(1) 数据爬取:使用requests请求为基础获取数据源。

(2) UA伪装:模拟浏览器访问网址。

(3) 数据解析:使用xpath语法处理数据。

(4) 数据存储:获取需求数据后使用Excrl进行存储

目标网址

https://ac.qq.com/Comic/all/search/hot/page/1

库的使用

Openpyxl:openpyxl 模块是一个读写 Excel 2010 文档的 Python/ target=_blank class=infotextkey>Python 库,如果要处理更早格式的 Excel 文档,需要用到其它库(如:xlrd、xlwt 等),这是 openpyxl 比较其他模块的不足之处。openpyxl 是一款比较综合的工具,不仅能够同时读取和修改 Excel 文档,而且可以对Excel文件内单元格进行详细设置,包括单元格样式等内容,甚至还支持图表插入、打印设置等内容,使用 openpyxl 可以读写xltm, xltx, xlsm, xlsx 等类型的文件,且可以处理数据量较大的 Excel 文件,跨平台处理大量数据等。

Requests:requests是基于Python开发的HTTP 库,与urllib标准库相比,它不仅使用方便,而且能节约大量的工作。实际上,requests是在urllib的基础上进行了高度的封装,它不仅继承了urllib的所有特性,而且还支持一些其它的特性,比如使用Cookie保持会话、自动确定响应内容的编码等,可以轻而易举地完成浏览器的任何操作。

Lxml:lxml是一个Python库,使用它可以轻松处理XML和html文件,还可以用于web爬取。这个库的主要优点是易于使用,在解析大型文档时速度非常快,归档的也非常好,并且提供了简单的转换方法来将数据转换为Python数据类型,从而使文件操作更容易。

数据采集

简单分析网页后发现该网页翻页操作可通过对url的相关参数修改得知。

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 

测试如下:

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 

进行多次测试得知通过对url相关参数修改的确实现了换页功能。

!!!!!!

共292页,我们可以通过简单的for循环实现每一页的替换。

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 

for n in range(293):
	请求数据

对url进行修饰后使得for循环的参数可以对请求的目标网址url进行影响。

url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'

因为绝大多数门户网站的服务器会检测对应请求的载体身份标识,如果检测到载体身份标识为某一浏览器说明该请求是一个正常请求. 但是!如果检测到请求载体身份标识不是基础于某一款浏览器的,则表示该请求为不正常请求(爬虫),则服务器端就很有可能拒绝该次请求。所以为了应对我们进行一点小小的操作UA伪装(UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 

这里我们直接复制浏览器的UA让爬虫携带上就可以进行UA伪装了。

headers={"User-Agent":'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/85.0.4183.83 Safari/537.36'}

 

综上所述采集获取部分如下:

for n in range(293):
    url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'
    headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
    }
    response = requests.get(url=url,headers=headers)

 

数据分析

首先对采集的数据进行简单的处理。

response = response.text

tree = etree.HTML(response)

对网址进行检查分析。

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 

发现它的每一页的每一部漫画的相关数据在这样一个li标签里面。


如果大家在学习中遇到困难,想找一个python学习交流环境,可以加入我们的python裙,关注小编,并私信“01”即可进裙,领取python学习资料,会节约很多时间,减少很多遇到的难题。


使用xpath进行解析

li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')

获取了每一页的所有漫画大概内容后,就可以对每本的细节进行分析。

这里我们获取每本漫画漫画名,作者,人气。

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 

对网页分析如下:

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 


Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 


Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 

使用xpath语法解析的

作品名字 = li_all[q].xpath('./div[2]/h3/a/text()')
作者 = li_all[q].xpath('./div[2]/p[1]/text()')
人气 = li_all[q].xpath('./div[2]/p[2]/span/em/text()')

因为一个的本数刚好就是之前

的个数,我们对li标签的列表进行长度获取就可以。

len(li_all)

然后进行for循环遍历,获取每页每本的详细数据。

for q in range(len(li_all)):
    e = li_all[q].xpath('./div[2]/h3/a/text()')
    z = li_all[q].xpath('./div[2]/p[1]/text()')
    r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')

 

综上所述解析获取部分如下:

response = response.text
tree = etree.HTML(response)
li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')
for q in range(len(li_all)):
    e = li_all[q].xpath('./div[2]/h3/a/text()')
    z = li_all[q].xpath('./div[2]/p[1]/text()')
    r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')

 

源码

import openpyxl
import requests
from lxml import etree
wb = openpyxl.Workbook() # 新建一个workbook
# print(wb)
ws = wb.active   # 调用正在运行的工作表
ws['A1'] = '漫画';ws['B1'] = '作者名字';ws['C1'] = '人气'
number = 2
for n in range(293):
    url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'
    headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
    }
    response = requests.get(url=url,headers=headers)
    response = response.text
    tree = etree.HTML(response)
    li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')
    for q in range(len(li_all)):
        e = li_all[q].xpath('./div[2]/h3/a/text()')
        z = li_all[q].xpath('./div[2]/p[1]/text()')
        r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')
        ws[f'A{number}'] = e[0]
        ws[f'B{number}'] = z[0]
        ws[f'C{number}'] = r[0]
        print('漫画:',e[0],'n作者名字:',z[0],'n人气:',r[0])
        print()
        number += 1
    wb.save('./漫画.xlsx')

 

结果演示

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析

 


Python爬虫案例,腾讯动漫爬虫,步骤超详细解释,源码分析


Tags:Python爬虫案例   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
实施步骤(1) 数据爬取:使用requests请求为基础获取数据源。(2) UA伪装:模拟浏览器访问网址。(3) 数据解析:使用xpath语法处理数据。(4) 数据存储:获取需求数据后使用Excrl进行存...【详细内容】
2021-03-16  Tags: Python爬虫案例  点击:(291)  评论:(0)  加入收藏
大家好,今天我们来讲点Selenium自动化,你是否有特别喜欢的公众号?你有想过如何将一个公众号历史文章全部文章爬下来学习吗?现在我们就演示用Selenium实现这个功能。...【详细内容】
2020-09-25  Tags: Python爬虫案例  点击:(82)  评论:(0)  加入收藏
用python从网页爬取数据,网上相关文章很多,但能让零基础初学者轻松上手的却很少。可能是有的作者觉得有些知识点太简单不值得花费精力讲,结果是难者不会会者不难,初学者常常因此...【详细内容】
2020-02-17  Tags: Python爬虫案例  点击:(55)  评论:(0)  加入收藏
这是最简单的Python爬虫案例,如果你能看懂,那么请你保持信心,因为你已经入门Python爬虫,只要带着信心和努力,你的技术能力在日后必定价值15K月薪。 这次是要爬取网易新闻,包括新闻...【详细内容】
2019-08-09  Tags: Python爬虫案例  点击:(414)  评论:(0)  加入收藏
▌简易百科推荐
近几年 Web3 被炒得火热,但是大部分人可能还不清楚什么是 Web3,今天就让w3cschool编程狮小师妹带你了解下 Web3 是什么?与我们熟知的 Web1 和 Web2 又有什么区别呢?web3.0什么是...【详细内容】
2022-07-15  编程狮W3Cschool    Tags:Web3.0   点击:(2)  评论:(0)  加入收藏
1、让我们一起来看下吧,直接上图。 第一眼看到是不是觉得很高逼格,暗黑画风,这很大佬。其实它就是------AidLearning。一个运行在安卓平台的linux系统,而且还包含了许多非常强大...【详细内容】
2022-07-15  IT智能化专栏    Tags:AidLearning   点击:(2)  评论:(0)  加入收藏
真正的大师,永远都怀着一颗学徒的心! 一、项目简介 今天说的这个软件是一款基于Python+vue的自动化运维、完全开源的云管理平台。二、实现功能 基于RBAC权限系统 录像回放 ...【详细内容】
2022-07-14  菜鸟程序猿    Tags:Python   点击:(3)  评论:(0)  加入收藏
前言今天笔者想和大家来聊聊python接口自动化的MySQL数据连接,废话不多说咱们直接进入主题吧。 一、什么是 PyMySQL?PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库,P...【详细内容】
2022-07-11  测试架构师百里    Tags:python   点击:(19)  评论:(0)  加入收藏
aiohttp什么是 aiohttp?一个异步的 HTTP 客户端\服务端框架,基于 asyncio 的异步模块。可用于实现异步爬虫,更快于 requests 的同步爬虫。安装pip install aiohttpaiohttp 和 r...【详细内容】
2022-07-11  VT漫步    Tags:aiohttp   点击:(15)  评论:(0)  加入收藏
今天我们学习下 Queue 的进阶用法。生产者消费者模型在并发编程中,比如爬虫,有的线程负责爬取数据,有的线程负责对爬取到的数据做处理(清洗、分类和入库)。假如他们是直接交互的,...【详细内容】
2022-07-06  VT漫步    Tags:Python Queue   点击:(34)  评论:(0)  加入收藏
继承:是面向对象编程最重要的特性之一,例如,我们每个人都从祖辈和父母那里继承了一些体貌特征,但每个人却又不同于父母,有自己独有的一些特性。在面向对象中被继承的类是父类或基...【详细内容】
2022-07-06  至尊小狸子    Tags:python   点击:(25)  评论:(0)  加入收藏
点击上方头像关注我,每周上午 09:00准时推送,每月不定期赠送技术书籍。本文1553字,阅读约需4分钟 Hi,大家好,我是CoCo。在上一篇Python自动化测试系列文章:Python自动化测试之P...【详细内容】
2022-07-05  CoCo的软件测试小栈    Tags:Python   点击:(27)  评论:(0)  加入收藏
第一种方式:res = requests.get(url, params=data, headers = headers)第二种方式:res = requests.get(url, data=data, headers = headers)注意:1.url格式入参只支持第一种方...【详细内容】
2022-07-05  独钓寒江雪之IT    Tags:Python request   点击:(19)  评论:(0)  加入收藏
什么是python类的多态python的多态,可以为不同的类实例,或者说不同的数据处理方式,提供统一的接口。用比喻的方式理解python类的多态比如,同一个苹果(统一的接口)在孩子的眼里(类实...【详细内容】
2022-07-04  写小说的程序员    Tags:python类   点击:(28)  评论:(0)  加入收藏
站内最新
站内热门
站内头条