您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

Python 爬虫如何获取 JS 生成的 URL 和网页内容?

时间:2019-09-03 13:54:12  来源:  作者:

虽然这是一个很久以前的问题。但是看到好多答案的办法有点太重了,这里分享一个效率更优、资源占用更低的方法。

还不知Python 爬虫如何获取 JS 生成的 URL 和网页内容?一文搞定

 

首先请一定记住,浏览器环境对内存和CPU的消耗都非常严重,模拟浏览器环境的爬虫代码要尽可能避免。请记住,对于一些前端渲染的网页,虽然在HTML源码中看不到我们需要的数据,但是更大的可能是它会通过另一个请求拿到纯数据(很大可能以JSON格式存在),我们不但不需要模拟浏览器,反而可以省去解析HTML的消耗。

然后,我们以北邮人论坛为目标!打开北邮人论坛的首页,发现它的首页HTML源码中确实没有页面所显示文章的内容,那么,很可能这是通过JS异步加载到页面的。通过浏览器开发工具(Chrome浏览器在OS X下通过command+option+i或Win/linux下通过F12)分析在加载首页的时候请求,容易发现,如下截图中的请求:

还不知Python 爬虫如何获取 JS 生成的 URL 和网页内容?一文搞定

 

截图中选中的请求得到的response即是首页的文章链接,在preview选项中可以看到渲染后的预览图:

还不知Python 爬虫如何获取 JS 生成的 URL 和网页内容?一文搞定

 

至此,我们确定这个链接可以拿到首页的文章及链接。在headers选项中,有这次请求的请求头及请求参数,我们通过Python模拟这次请求,即可拿到相同的响应。再配合BeautifulSoup等库解析HTML,即可得到相应的内容了。

对于如何模拟请求和如何解析HTML,小编有时间在再写,大家记得关注一下,以后常分享给大家好的文章!



Tags:Python   点击:()  评论:()
声明:本站部分内容来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除,谢谢。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
zip() 是 Python 中最好用的内置类型之一,它可以接收多个可迭代对象参数,再返回一个迭代器,可以把不同可迭代对象的元素组合起来。我之前写迭代器系列的时候,在《Python进阶:设计...【详细内容】
2020-07-10   Python  点击:(0)  评论:(0)  加入收藏
目标:在中国的股票市场上盈利,每周都有单个股票盈利2%,月总盈利超过2%计划实现方式:Pycharm + Anaconda3 + Python3 + Django + AKShare + MongoDB目前采用的实现方式:Pycharm +...【详细内容】
2020-07-10   Python  点击:(0)  评论:(0)  加入收藏
0. 序言在做数据分析之前,我们首先要明确数据分析的目标,然后 应用数据分析的思维,对目标进行细分,再采取相应的行动。我们可以把数据分析细分为以下 8 个步骤:(1)读取(2) 清洗(3) 操...【详细内容】
2020-07-09   Python  点击:(0)  评论:(0)  加入收藏
我们这个世界充满了数据,而图像是这些数据的重要组成部分。然而,要想使用这些图像,需要对它们进行处理。因此,图像处理是分析和处理数字图像的必要的过程,其主要目的是提高图像质量或从中提取一些信息,然后加以利用。...【详细内容】
2020-07-09   Python  点击:(0)  评论:(0)  加入收藏
在Python Console中执行,会报错,错误提示与代码匹配不上。例如:runfile('D:/project/python/example/pythonExample/LanguageExample/ObjectOrient/biz_handle.py', wd...【详细内容】
2020-07-09   Python  点击:(1)  评论:(0)  加入收藏
再见HTML ! 用纯Python就能写一个漂亮的网页我们在写一个网站或者一个网页界面的时候,需要学习很多东西,对小白来说很困难!比如我要做一个简单的网页交互:天啊,听听头都大呢!其实...【详细内容】
2020-07-09   Python  点击:(1)  评论:(0)  加入收藏
今天给大家带来了12个在GitHub等开源网站中最受欢迎的Python开源框架。如果你正在学习python,那么这12个开源框架,千万别错过,这些框架包括事件I/O,OLAP,Web开发,高性能网络通信,测...【详细内容】
2020-07-09   Python  点击:(0)  评论:(0)  加入收藏
大家好,这里是弘创共享时刻。 本视频是面向编程零基础学员的Python入门教程,内容涵盖了Python的基础知识和初步应用。以较轻快的风格,向零基础学习者介绍了一门时下比较流行的...【详细内容】
2020-07-08   Python  点击:(0)  评论:(0)  加入收藏
1 说明:=====1.1 SnakeViz:一个基于浏览器的 Python's cProfile 模块输出结果查看工具。1.2 SnakeViz是用于Python分析数据的查看器,该数据在浏览器中作为Web应用程序运行...【详细内容】
2020-07-07   Python  点击:(0)  评论:(0)  加入收藏
今天用一个实际例子带大家走遍多元线性回归模型机器学习的全程。实例问题描述 我们现在拿到如上图的数据集,今天要做的就是建立多元线性回归模型,利用area, bedrooms, age来预测...【详细内容】
2020-07-05   Python  点击:(0)  评论:(0)  加入收藏
情景(Situation)上文说到小爱面临着要给总部集团的李总每天早上固定发送日报邮件,而且他也找到自动化的方式了,那究竟是什么呢?其实在讲方法之前,其实我们也可以先简单学一下邮件...【详细内容】
2020-07-05   Python  点击:(0)  评论:(0)  加入收藏
一、字符编码初探字符编码其实就是将人类能识别的字符与计算机能识别的数字对应起来。ASCII(American Standard Code for Information Interchange)美国信息交换标准代码,是...【详细内容】
2020-07-05   Python  点击:(0)  评论:(0)  加入收藏
前言Python由于其易用性而成为最流行的语言,它提供了许多库,使程序员能够开发更强大的软件,以并行运行模型和数据转换。有这么一个库,它提供了并行计算、加速了算法,甚至允许您将...【详细内容】
2020-07-04   Python  点击:(1)  评论:(0)  加入收藏
考虑到现在大部分小伙伴使用 Python 主要因为爬虫,那么为了更好地帮助大家巩固爬虫知识,加深对爬虫的理解,选择了爬取百度文库作为我们的目标。 废话不多说,我们开始。TXT、DOCX...【详细内容】
2020-07-03   Python  点击:(0)  评论:(0)  加入收藏
前言交易系统的"止盈",作者认为是一个非常重要的模块。我常说,好的开仓仅仅决定你的策略浮盈大小,而最终的交易结果却只有止盈决定。作者之前就曾写过,比较经典的跟踪止盈方法之...【详细内容】
2020-07-03   Python  点击:(1)  评论:(0)  加入收藏
选择的这些工具将简化你的 Python 环境,以实现顺畅和一致的开发实践。 来源:https://linux.cn/article-12369-1.html 作者:Moshe Zadka 译者:Xingyu.Wang(本文字数:2747,阅读时长...【详细内容】
2020-07-02   Python  点击:(2)  评论:(0)  加入收藏
亲测有效,针对 阿里云, 华为云 centos 7 轻量服务器python ==> 3.7.8pip ==> 3一,打开python官网,找到下载Python的tgz文件,有两种方式下载 (版本可能更新,进官网核实为准) 1,直接在...【详细内容】
2020-07-01   Python  点击:(0)  评论:(0)  加入收藏
前言Python Web框架里比较有名当属Django,Django功能全面,它提供一站式解决方案,集成了MVT(Model-View-Template)和ORM,以及后台管理。但是缺点也很明显,它偏重。就像是一个装潢好...【详细内容】
2020-07-01   Python  点击:(1)  评论:(0)  加入收藏
首先要说明的一下,所描述的是 Python 中的 运算表达式 的部分,不是 Python 表达式的部分。关于什么是 Python 中的运算表达式,可以参考 Python 文档 10.3.1. Mapping Operators...【详细内容】
2020-07-01   Python  点击:(1)  评论:(0)  加入收藏
用任何编程语言来开发程序,都是为了让计算机干活,比如编写一篇文章,下载一首MP3等,而计算机干活的CPU只认识机器的指令,所以,尽管不同的编程语言差异极大,最后都得“翻译”成CPU可...【详细内容】
2020-06-29   Python  点击:(1)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条