您当前的位置:首页 > 电脑百科 > 软件技术 > 应用软件

Pyppeteer爬虫神器详解

时间:2021-03-04 10:03:58  来源:  作者:

launch

使用Pyppeteer的第一步就是启动浏览器,就是相当于我们点击桌面上的浏览器图标一样,把它运行起来。用Pyppeteer完成同样的操作,只需要调用launch方法就行了。

先看一下launch方法的API定义:

pyppeteer.launcher.launch(options: dict = None, **kwargs)

从官方文档和定义当中我们可以看到它处于launcher模块中,返回一个Brower对象,从源码中可以看出这个方法是通过async修饰的,所以调用的时候需要使用await。

下面我们看看它的参数:

  • ignoreHTTPSErrors(bool):是否要忽略HTTPS的错误,默认是False。
  • headless(bool):是否启用Headless模式,即无界面模式,如果devtools这个参数是True,那么该参数就会被设置为False,否则为True,默认是开启无界面模式。
  • executablePath(str):可执行文件的路径,如果指定之后就不需要使用默认的Chromium了,可以指定为已有的Chrome或者Chromium。
  • slowMo(int|float):通过传入指定的时间,可以减缓Pyppeteer的一些模拟操作。
  • args(List[str]):在执行过程中可以传入的额外参数。
  • ignoreDefaultArgs(bool):不使用Pyppeteer的默认参数,如果使用了这个参数,最好通过args参数来设定一些参数,否则可能会出现一些意想不到的问题。慎用此参数
  • handleSIGINT(bool):是否享有SIGINT信号,也就是用Ctrl+C来关闭浏览器,默认是True。
  • handleSIGTERM(bool):是否享有SIGTERM信号,一般是kill命令,默认为True。
  • handleSIGHUP (bool):是否响应SIGHUP信号,即挂起信号,比如终端退出操作,默认是 True。
  • dumpio (bool):是否将 Pyppeteer 的输出内容传给 process.stdout 和 process.stderr 对象,默认是 False。
  • userDataDir (str):即用户数据文件夹,即可以保留一些个性化配置和操作记录。
  • env (dict):环境变量,可以通过字典形式传入。
  • devtools (bool):是否为每一个页面自动开启调试工具,默认是 False。如果这个参数设置为 True,那么 headless 参数就会无效,会被强制设置为 False。
  • logLevel (int|str):日志级别,默认和 root logger 对象的级别相同。
  • autoClose (bool):当一些命令执行完之后,是否自动关闭浏览器,默认是 True。
  • loop (asyncio.AbstractEventLoop):事件循环对象。

了解了这些参数,我们可以试一些常用的参数。

  • 无头模式

一般情况下我们都使用的是无头模式,将参数headless设置为True或者不设置它,这个时候我们是看不到任何界面的。一般我们都使用无头模式进行运行调试,那么我们可以尝试关闭headless模式看看效果:

import asyncio
from pyppeteer import launch
async def main():
   await launch(headless=False)
   await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main())

运行之后看不到任何控制台输出,但是这时候就会出现一个空白的 Chromium 界面了:

Pyppeteer爬虫神器详解

 

这个时候我们看到在任务栏中显示了一个蓝色Chrome图标。

  • 调试模式

我们在写爬虫的时候,经常需要分析网页结构和网络请求,所以打开调试工具是很有必要的,将devtools参数设置为True,这样每开启一个就弹出一个调试窗口

import asyncio
from pyppeteer import launch


async def main():
    browser = await launch(devtools=True)
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main())

如果devtools这个参数设置为True,那么headless就不起作用了,界面始终会显示出来。

Pyppeteer爬虫神器详解

 

  • 禁用提示条

使用Pyppeteer操作网页的时候,我们可以看到上面的一条提示:"Chrome 正受到自动测试软件的控制",这个提示条有点烦,那该怎样关闭呢?这时候就需要用到 args 参数了,禁用操作如下:

browser = await launch(headless=False, args=['--disable-infobars'])
Pyppeteer爬虫神器详解

 

  • 防止检测

现在很多网站的反爬已经可以检测自动化操作浏览器的爬虫了,主要就是检测webdriver,因为我们使用的是selenium+webdriver的方式去驱动浏览器,所以都会留下webdriver的痕迹,会被平台识别。那么如何规避呢?就要通过将webdriver隐藏来达到防止检测的目的。Pyppeteer为我们提供了一个方法叫做evaluateOnnewDocument,意思就是在每次加载页面的时候执行某个语句,所以我们可以在这里执行以下隐藏webdriver的命令。

async def main():
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.evaluateOnNewDocument('Object.defineProperty(navigator, "webdriver", {get: () => undefined})')
    await page.goto('https://movie.douban.com/chart')
    await asyncio.sleep(100)
  • 页面大小设置

在之前的显示窗口中,我们会发现窗口显示并不完全,在某些页面会出现BUG,因此我们应该尽量保证窗口完全显示。这个时候就用到了设置窗口大小的方法,通过Page对象的setViewport方法设置就可以了。

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://movie.douban.com/chart')
    await asyncio.sleep(100)
  • 用户数据持久化

通过前面的例子,我们发现一个问题,每次使用Pyppeteer打开浏览器的时候都是一个空白页,这样会有什么问题呢?如果遇到一个需要登录的网页,这次我们登录了,下一次启动又得登录一次,这就是一个问题。

比如淘宝,平时我们浏览完淘宝后,关闭浏览器再打开,依然还是登录状态。大家都知道,这是因为浏览器本地保存了Cookies的缘故,下次打开可以直接读取并保持登录状态。这些信息一般保存在我们的用户目录下,如果我们能在浏览器启动的时候读取这些信息,那么启动的时候就可以恢复一些历史记录甚至是登录状态信息了。

我们在使用Selenium或者Pyppeteer的时候,每次打开都是一个全新的浏览器,原因就是我们没有设置用户目录,如果设置了,那就可以读取一些信息在启动的时候加载上来。Pyppeteer为我们提供了一个userDataDir参数来设置用户目录,这样就可以保持我们的访问状态了。

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, userDataDir='userdata', args=['--disable-infobars'])
    page = await browser.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://mp.weixin.qq.com/')
    await asyncio.sleep(100)

这里我们用微信公众号进行测试,首先运行一下,登陆一次公众号,然后我们可以打开当前目录下生成的userdata文件夹,里面内容如下:

Pyppeteer爬虫神器详解

 

在此运行一下上面的代码,就直接进入我们的公众号管理界面,已经是登录状态了,就跳过了登录的流程。当然了,我们知道Cookies基本都是有期限的,如果过期了就需要再次登录。

Browser

上面我们介绍了launch方法,它会返回一个Browser对象,我们来看看Browser类的定义:

class pyppeteer.browser.Browser(connection: pyppeteer.connection.Connection, contextIds: List[str], ignoreHTTPSErrors: bool, setDefaultViewport: bool, process: Optional[subprocess.Popen]=None, closeCallback: Callable[[], Awaitable[None]]=None, **kwargs)

我们看到这个类的初始化参数有很多,但是我们上面基本上都是使用launch方法直接创建使用。但是Browser类还是用于很多操作浏览器本身的方法,下面我们来介绍一些常用的。

  • 开启无痕模式

Chrome浏览器本身是有一个无痕模式的,它的好处就是干净,不加载Cache、Cookies等内容,可以通过方法createIncogniteBrowserContext来开启:

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, args=['--disable-infobars', f'--window-size={width}, {height}'])
    context = await browser.createIncogniteBrowserContext()
    page = await context.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://mp.weixin.qq.com/')
    await asyncio.sleep(100)

这里我们还使用了一个新的参数设置--window-size,这个是用来设置浏览器的窗口大小,与下面的setViewport相比,一个是设置窗口大小,一个是设置页面大小。我们这里调用了createIncogniteBrowserContext方法,返回了一个context对象,然后用这个对象打开网页,就进入了无痕模式。

在执行这段代码的时候,我先执行了一次上面那一次代码,发现依然是处于登录状态,然后我们执行本次代码后发现显示如下:

Pyppeteer爬虫神器详解

 

发现出现了两层窗口,一个是launch创建的browser窗口,一个是通过createIncogniteBrowserContext创建的无痕窗口。

  • 关闭

很多时候我们忘记关闭浏览器,就会导致它一直存在内存中。如果是可视模式下,我们还能从任务栏看到它,但是在后台模式下,我们只能在任务管理器里去找它,这时候就很容易被忽略掉。所以一定要记住,使用完毕调用一下close方法:

async def main():
    width = 1366
    height = 768
    browser = await launch(headless=False, args=['--disable-infobars', f'--window-size={width}, {height}'])
    context = await browser.createIncogniteBrowserContext()
    page = await context.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://mp.weixin.qq.com/')
    await asyncio.sleep(100)
    await browser.close()

Page

Page就是页面,每一个选项卡就是一个页面,它的类定义如下:

class pyppeteer.page.Page(client: pyppeteer.connection.CDPSession, target: Target, frameTree: Dict[KT, VT], ignoreHTTPSErrors: bool, screenshotTaskQueue: list = None)

我们上面在使用的过程中都是通过browser对象创建一个新页面,这也是我们经常使用它的方式,接下来我们看一下它的常用方法。

  • 选择器

Page对象内置了一些用于选取节点的选择器方法,比如J方法传入一个选择器Selector,则能返回对应匹配的第一个节点,相当于querySelector。JJ方法则是返回符合Selector的列表,相当于querySelectorAll。

下面我们就来看看它的用法:

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('https://movie.douban.com/chart')
    await page.waitForSelector('table .item')
    j1 = await page.J('table .item')
    j2 = await page.querySelector('table .item')
    jj1 = await page.JJ('table .item')
    jj2 = await page.querySelectorAll('table .item')
    print('J Result: ', j1)
    print('querySelector Result: ', j2)
    print('JJ Result: ', jj1)
    print('querySelectorAll Result: ', jj2)
    await browser.close()

我们分别使用J、JJ、querySelector、querySelectorAll四个方法,看一下他们的输出结果:

J Result:  <pyppeteer.element_handle.ElementHandle object at 0x1147734d0>
querySelector Result:  <pyppeteer.element_handle.ElementHandle object at 0x114788c50>
JJ Result:  [<pyppeteer.element_handle.ElementHandle object at 0x1147324d0>, <pyppeteer.element_handle.ElementHandle object at 0x114732a50>, <pyppeteer.element_handle.ElementHandle object at 0x11472aa90>, <pyppeteer.element_handle.ElementHandle object at 0x11472a110>, <pyppeteer.element_handle.ElementHandle object at 0x11472a0d0>, <pyppeteer.element_handle.ElementHandle object at 0x11478d210>, <pyppeteer.element_handle.ElementHandle object at 0x11478d290>, <pyppeteer.element_handle.ElementHandle object at 0x11478d2d0>, <pyppeteer.element_handle.ElementHandle object at 0x11478d250>, <pyppeteer.element_handle.ElementHandle object at 0x11478d310>]
querySelectorAll Result:  [<pyppeteer.element_handle.ElementHandle object at 0x114786690>, <pyppeteer.element_handle.ElementHandle object at 0x114786750>, <pyppeteer.element_handle.ElementHandle object at 0x114781610>, <pyppeteer.element_handle.ElementHandle object at 0x114781fd0>, <pyppeteer.element_handle.ElementHandle object at 0x114781b10>, <pyppeteer.element_handle.ElementHandle object at 0x11478dd50>, <pyppeteer.element_handle.ElementHandle object at 0x11478ddd0>, <pyppeteer.element_handle.ElementHandle object at 0x11478de10>, <pyppeteer.element_handle.ElementHandle object at 0x11478dd90>, <pyppeteer.element_handle.ElementHandle object at 0x11478de50>]

从结果中可以看出来,J和querySelector返回单个对象,JJ和querySelectorAll返回多个对象

  • 选项卡操作

前面我们说过,Page对象就是一个选项卡,我们均使用newPage方法创建了,那么新建之后怎么获取和切换呢,下面看一个例子:

async def main():
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.goto('https://mp.weixin.qq.com/')
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    pages = await browser.pages()
    print('Pages: ', pages)
    page1 = pages[1]
    await page1.bringToFront()
    await asyncio.sleep(20)
    await browser.close()

我们在这里调用了两次newPage,访问了两个网站,当切换选项卡的时候,我们只要用对应页面的page对象调用其bringToFront方法即可。

  • 常见操作

下面我们再看一些页面的常用操作:加载、前进、后退、关闭、保存

async def main():
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    await page.goto('https://pan.baidu.com')
    # 后退
    await page.goBack()
    # 前进
    await page.goForward()
    #保存PDF
    await page.pdf(path='test.pdf')
    #截图
    await page.screenshot()
    # 设置页面
    await page.setContent('<h1>Hello World</h1>')
    # 设置User-Agent
    await page.setUserAgent('Python')
    # 设置Headers
    await page.setExtraHTTPHeaders(headers={})
    # 关闭
    await page.close()
    await browser.close()

这里有一个PDF保存真的非常方便,我之前用selenium保存网页成PDF,找了很多处理方式,还比较麻烦,Pyppeteer这里就调用一个函数就OK了,但是要注意两点,否则保存不成功:1. 必须使用无头模式。2.要指定保存路径path,否则不会保存在本地。

  • 输入并点击

模拟鼠标点击和键盘输入事件。

async def main():
    browser = await launch(headless=False)
    page = await browser.newPage()
    await page.goto('https://www.baidu.com')
    await page.waitForSelector('#su')
    await page.type('#kw', 'python')
    await page.click('#su', options={
        'button': 'left',
        'clickCount': 1,
        'delay': 300
    })
    await asyncio.sleep(10)
    await browser.close()

click就是点击事件,第一个参数是选择器,第二个参数是几项配置:

button: 鼠标按钮,分为left、middle、right

clickCount: 点击类型,如双击、单击

delay:延迟点击

type方法为输入方法,第一个参数传入选择器,第二个参数传入内容。

  • 获取网页源码和cookies
content = await page.content()
cookies = await page.cookies()
  • 执行js脚本
out_content = await page.evaluate('''() => {
                                  return {
                                          width: document.documentElement.clientWidth,
                                          height: document.documentElement.clientHeight,
                                          deviceScaleFactor: window.devicePixelRatio
                                      }
                                  }''')
  • 延时等待

这个部分相比于selenium又方便了很多,可以让页面等待符合某些条件后,再向下执行,这在我们等待页面加载是非常有用,除了我们之前使用过的waitForXPath、waitForSelector还有以下几个:

waitForFunction:等待某个JAVAScript方法执行完毕或返回结果

waitForNavigation:等待页面跳转,如果没加载出来就会报错

waitForRequest:等待某个特定请求被发出

waitForResponse:等待某个特定请求收到了回应

waitFor:通用的等待方法

通过等待条件,我们就能控制页面加载的情况了。

 

除了以上我们介绍的东西,还有鼠标模拟拖动也是比较重要的,这在模拟滑动验证码的时候是非常有用的,我们后面再开一篇吧。



Tags:Pyppeteer   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
launch使用Pyppeteer的第一步就是启动浏览器,就是相当于我们点击桌面上的浏览器图标一样,把它运行起来。用Pyppeteer完成同样的操作,只需要调用launch方法就行了。先看一下laun...【详细内容】
2021-03-04  Tags: Pyppeteer  点击:(269)  评论:(0)  加入收藏
在写爬虫的时候,为了效率我们通常会选择解析网页api来获取数据,但是有时候解析方式比较困难,或者我们纯粹是为了快速实现爬虫,会使用浏览器自动化操作,说起这一点,肯定第一个想到...【详细内容】
2020-10-27  Tags: Pyppeteer  点击:(78)  评论:(0)  加入收藏
▌简易百科推荐
ACDSee Pro 2.5 和ACDSee 2009(也就是 ACDSee 11)这两个版本,虽然图标最丑,但却是最适合目前使用的版本。(以前的ACDSee 3.1是第三方改装版,现在出现不稳定了,经常提示插件错误,虽...【详细内容】
2021-12-27  周星骋Cheng    Tags:ACDSee   点击:(2)  评论:(0)  加入收藏
IT之家 12 月 23 日消息,百度地图今日宣布,第二代车道级导航正式上线。据介绍,百度地图第二代车道借助北斗 + 5G,在实现全程车道级导航效果的基础上,全面升级最优车道推荐、全 /...【详细内容】
2021-12-24  IT之家    Tags:百度地图   点击:(10)  评论:(0)  加入收藏
推荐12款不用安装就能免费用的神仙软件,每一款都是百里挑一! 一、文件存储与传输1.不限量网盘地址:https://transferkit.io/一个在线云存储网盘,它提供了不限量的云存储空间,单文...【详细内容】
2021-12-17  牛片网    Tags:软件   点击:(15)  评论:(0)  加入收藏
古人说:凡事预则立不预则废,对于我们当代人来说,做好工作计划,更是职场人高效工作的第一步,所以计划对于我们的重要性不言而喻&hellip;&hellip; 工作表格模板汇总正是因为有了工...【详细内容】
2021-12-15  吴六柒    Tags:工作表格   点击:(32)  评论:(0)  加入收藏
当我们浏览知乎、Youtube、贴吧、CSDN等等,总会遇到服务商一些广告;复制文章的时候,剪切板总是自带一些版权信息;还有一些网页配色很亮,眼睛看着很不舒服。反正就是各种不爽。给...【详细内容】
2021-12-08  小皮虾Pro    Tags:浏览器   点击:(27)  评论:(0)  加入收藏
来源:AirPython作者:星安果 1. 前言大家好,我是安果!之前推荐过很多优秀的 Web 自动化工具,比如:Selenium、Helium、Cypress、Pyppeteer 等利用它们实现自动化的前提是必须安装依...【详细内容】
2021-11-30  CDA数据分析师    Tags:Automa   点击:(30)  评论:(0)  加入收藏
概述superset是由Airbnb开源的轻量级BI分析工具。主要有三大功能:使用数据可视化来探索你的数据,通过交互式的Dashboard来查看你的数据,通过Sql Lab来编写sql查询你的数据。特...【详细内容】
2021-11-30  新视像    Tags:Superset   点击:(21)  评论:(0)  加入收藏
媒体爆料称:近期,老牌音乐播放器Winamp宣布回归,官方网站也大改后重新上线。官方表示:不只是简单更新而是全面重制。新的Winamp 将推出适用于 Windows、macOS 和移动平台的多合...【详细内容】
2021-11-26    中关村在线  Tags:Winamp   点击:(23)  评论:(0)  加入收藏
新版高德地图上线 ADAS 预警导航功能,借助视觉 AI 技术,可智能识别前方车辆、行人,并提供碰撞预警、车道偏离等多种安全提醒,防止风险的发生。 在小联的调研中,只有6%的车机体验...【详细内容】
2021-11-23  手机互联    Tags:高德地图   点击:(143)  评论:(0)  加入收藏
朋友委托我帮忙看看可用邮箱大全有哪些?好用的企业邮箱是多少?他公司要开通企业邮箱。相信很多公司在考虑开通企业邮箱时,都会遇到这样的问题,企业邮箱哪个好?怎样选择合适的企业...【详细内容】
2021-11-11  超级打工人    Tags:企业邮箱   点击:(30)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条