您当前的位置:首页 > 电脑百科 > 网络技术 > 网络技术

Fiddler抓取HTTPS最全(强)攻略!后悔没有早知道

时间:2022-03-31 15:26:27  来源:  作者:软件测试小p
Fiddler抓取HTTPS最全(强)攻略!后悔没有早知道

 

对于想抓取HTTPS的测试初学者来说,常用的工具就是fiddler。

但是初学时,大家对于fiddler如何抓取HTTPS难免走歪路,也许你一步步按着网上的帖子成功了,这自然是极好的。

但也有可能没那么幸运,这时候你就会很抓狂。

为此我把一些我自己的安装经验和网络上的教程进行了整合

下面为大家演示如何用fiddler抓取HTTPS的详细教程。如若失败,请先仔细检查,避免错过细节!然后重新重试!

01

浅谈HTTPS

我们都知道HTTP并非是安全传输,在HTTPS基础上使用SSL协议进行加密构成的HTTPS协议是相对安全的。目前越来越多的企业选择使用HTTPS协议与用户进行通信,如百度、谷歌等。HTTPS在传输数据之前需要客户端(浏览器)与服务端(网站)之间进行一次握手,在握手过程中将确立双方加密传输数据的密码信息。网上有诸多资料,有些写得过于晦涩难懂,尤其是需要密码学的一些知识。我做了一下简单的整理,刨除复杂的底层实现,单从理解SSL协议的角度宏观上认识一下HTTPS。一言以弊之,HTTPS是通过一次非对称加密算法(如RSA算法)进行了协商密钥的生成与交换,然后在后续通信过程中就使用协商密钥进行对称加密通信。HTTPS协议传输的原理和过程简图如下所示:

Fiddler抓取HTTPS最全(强)攻略!后悔没有早知道

 

HTTPS协议传输原理

一共有8个步骤,我们针对每一步,具体看看发生了什么事:

第一步,客户端发起明文请求:将自己支持的一套加密规则、以及一个随机数(Random_C)发送给服务器。

第二步,服务器初步响应:服务器根据自己支持的加密规则,从客户端发来的请求中选出一组加密算法与HASH算法,生成随机数,并将自己的身份信息以证书(CA)的形式发回给浏览器。CA证书里面包含了服务器地址,加密公钥,以及证书的颁发机构等信息。这时服务器给客户端的包括选择使用的加密规则、CA证书、一个随机数(Random_S)。

第三步,客户端接到服务器的初步响应后做四件事情:

(1)证书校验: 验证证书的合法性(颁发证书的机构是否合法,证书中包含的网站地址是否与正在访问的地址一致等)。

(2)生成密码:浏览器会生成一串随机数的密码(Pre_master),并用CA证书里的公钥加密(enc_pre_master),用于传给服务器。

(3)计算协商密钥:

此时客户端已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与自己计算产生的 Pre-master,计算得到协商密钥enc_key。

enc_key=Fuc(random_C, random_S, Pre-Master)

(4)生成握手信息:使用约定好的HASH计算握手消息,并使用协商密钥enc_key及约定好的算法对消息进行加密。

第四步,客户端将第三步产生的数据发给服务器:

这里要发送的数据有三条:

(1)用公钥加密过的服务器随机数密码enc_pre_master

(2)客户端发给服务器的通知,"以后我们都要用约定好的算法和协商密钥进行通信的哦"。

(3)客户端加密生成的握手信息。

第五步,服务器接收客户端发来的数据要做以下四件事情:(1)私钥解密:使用自己的私钥从接收到的enc_pre_master中解密取出密码Pre_master。

(2)计算协商密钥:此时服务器已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与Pre-master,计算得到协商密钥enc_key。

enc_key=Fuc(random_C, random_S, Pre-Master)

(3)解密握手消息:使用协商密钥enc_key解密客户端发来的握手消息,并验证HASH是否与客户端发来的一致。

(4)生成握手消息使用协商密钥enc_key及约定好的算法加密一段握手消息,发送给客户端。

第六步,服务器将第五步产生的数据发给客户端:

这里要发的数据有两条:

(1)服务器发给客户端的通知,”听你的,以后我们就用约定好的算法和协商密钥进行通信哦“。

(2)服务器加密生成的握手信息。

第七步,客户端拿到握手信息解密,握手结束。

客户端解密并计算握手消息的HASH,如果与服务端发来的HASH一致,此时握手过程结束。

第八步,正常加密通信

握手成功之后,所有的通信数据将由之前协商密钥enc_key及约定好的算法进行加密解密。

这里客户端与服务器互相发送加密的握手消息并验证,目的是为了保证双方都获得了一致的密码,并且可以正常的加密解密数据,为后续真正数据的传输做一次测试。另外,HTTPS一般使用的加密与HASH算法如下:非对称加密算法:RSA,DSA/DSS对称加密算法:AES,RC4,3DESHASH算法:MD5,SHA1,SHA256其中非对称加密算法用于在握手过程中加密生成的密码,对称加密算法用于对真正传输的数据进行加密,而HASH算法用于验证数据的完整性。由于浏览器生成的密码是整个数据加密的关键,因此在传输的时候使用了非对称加密算法对其加密。非对称加密算法会生成公钥和私钥,公钥只能用于加密数据,因此可以随意传输,而服务器的私钥用于对数据进行解密,所以服务器都会非常小心的保管自己的私钥,防止泄漏。

Fiddler抓取HTTPS最全(强)攻略!后悔没有早知道

 

02

Fiddler抓取HTTPS协议原理

我们都知道,Fiddler是个很好的代理工具,可抓取协议请求用于调试。关于Fiddler抓取HTTP协议的原理和配置比较简单,对Fiddler和客户端稍作配置,便能使得Fiddler轻易地获取HTTP请求。但是由于HTTPS协议的特殊性,要进一步地配置Fiddler,我们首先要了解一下fiddler抓取HTTPS协议的原理才能更好地理解如何对fiddler进行配置。Fiddler本身就是一个协议代理工具,在上一节HTTPS原理图上,客户端与服务器端进行通信的过程全部都由Fiddler获取到,也就是如下图所示:

Fiddler抓取HTTPS最全(强)攻略!后悔没有早知道

 

Fiddler抓取HTTPS协议原理图

我们看到Fiddler抓取HTTPS协议主要由以下几步进行:

第一步,Fiddler截获客户端发送给服务器的HTTPS请求,Fiddler伪装成客户端向服务器发送请求进行握手 。

第二步,服务器发回相应,Fiddler获取到服务器的CA证书, 用根证书公钥进行解密, 验证服务器数据签名, 获取到服务器CA证书公钥。然后Fiddler伪造自己的CA证书, 冒充服务器证书传递给客户端浏览器。

第三步,与普通过程中客户端的操作相同,客户端根据返回的数据进行证书校验、生成密码Pre_master、用Fiddler伪造的证书公钥加密,并生成HTTPS通信用的对称密钥enc_key。

第四步,客户端将重要信息传递给服务器, 又被Fiddler截获。Fiddler将截获的密文用自己伪造证书的私钥解开, 获得并计算得到HTTPS通信用的对称密钥enc_key。Fiddler将对称密钥用服务器证书公钥加密传递给服务器。

第五步,与普通过程中服务器端的操作相同,服务器用私钥解开后建立信任,然后再发送加密的握手消息给客户端。

第六步,Fiddler截获服务器发送的密文, 用对称密钥解开, 再用自己伪造证书的私钥加密传给客户端。

第七步,客户端拿到加密信息后,用公钥解开,验证HASH。握手过程正式完成,客户端与服务器端就这样建立了”信任“。

在之后的正常加密通信过程中,Fiddler如何在服务器与客户端之间充当第三者呢?

服务器—>客户端:Fiddler接收到服务器发送的密文, 用对称密钥解开, 获得服务器发送的明文。再次加密, 发送给客户端。

客户端—>服务端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文。再次加密,发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key, 所以在整个HTTPS通信过程中信息对其透明。

从上面可以看到,Fiddler抓取HTTPS协议成功的关键是根证书(具体是什么,可google),这是一个信任链的起点,这也是Fiddler伪造的CA证书能够获得客户端和服务器端信任的关键。

接下来我们就来看如果设置让Fiddler抓取HTTPS协议。

03

Fiddler抓取HTTPS设置

注意以下操作的前提是,手机已经能够连上Fiddler,这部分的配置过程简单就不赘述了,可参考:手机如何连接Fiddler 。

如何继续配置让Fiddler抓取到HTTPS协议呢?

(一)首先对Fiddler进行设置:打开工具栏->Tools->Fiddler Options->HTTPS

Fiddler抓取HTTPS最全(强)攻略!后悔没有早知道

 

选中Capture HTTPS CONNECTs,因为我们要用Fiddler获取手机客户端发出的HTTPS请求,所以中间的下拉菜单中选中from remote clients only。选中下方Ignore server certificate errors.

(二)然后,就是手机安装Fiddler证书。

这一步,也就是我们上面分析的抓取HTTPS请求的关键。

操作步骤很简单,打开手机浏览器,在浏览器地址输入代理服务器IP和端口,会看到一个Fiddler提供的页面。

Fiddler抓取HTTPS最全(强)攻略!后悔没有早知道

 

接着点击最下方的FiddlerRoot certificate,这时候点击确定安装就可以下载Fiddler的证书了。

下载安装完成好后,我们用手机客户端或者浏览器发出HTTPS请求,Fiddler就可以截获到了,就跟截获普通的HTTP请求一样。

好啦,以上就是关于HTTPS的简介以及Fiddler如何获取HTTPS协议的原理和配置,看到Fiddler整齐划一地截获到HTTP和复杂的HTTPS协议,心里还有点小激动呢



Tags:Fiddler   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
对于想抓取HTTPS的测试初学者来说,常用的工具就是fiddler。但是初学时,大家对于fiddler如何抓取HTTPS难免走歪路,也许你一步步按着网上的帖子成功了,这自然是极好的。但也有可...【详细内容】
2022-03-31  Tags: Fiddler  点击:(0)  评论:(0)  加入收藏
Fiddler 简介Fiddler 是位于客户端和服务器端的 HTTP 代理 目前最常用的 http 抓包工具之一 功能非常强大,是 Web 调试的利器关注+转发+私信【软件测试】领取Fiddler安装包和...【详细内容】
2021-09-28  Tags: Fiddler  点击:(93)  评论:(0)  加入收藏
发送请求在fiddler中也支持发送HTTP请求。就是通过Composer这个功能来进行发送请求功能入口 功能介绍 Parsed:解析后的报文.它是已经格式化后的,在这里你只需要按照区域展示...【详细内容】
2021-06-10  Tags: Fiddler  点击:(199)  评论:(0)  加入收藏
Fiddler是HTTP代理,它位于客户端和服务器端之间。安装好Fiddler后直接可以对HTTP协议进行抓包。但很多时候我们也想对HTTPS的协议进行抓包分析,如果没有进行任何的配置就想用F...【详细内容】
2021-04-20  Tags: Fiddler  点击:(385)  评论:(0)  加入收藏
笔者从事Web开发,不论是PC端还是APP端,调试抓包都是必不可少的环节,懂前端的人都知道,PC端调试非常方便,Chrome或者火狐等浏览器等都自带了非常方便且易于使用的开发者工具,便于我...【详细内容】
2020-12-30  Tags: Fiddler  点击:(224)  评论:(0)  加入收藏
Fiddler抓取PC端浏览器请求1、Fiddler代理浏览器设置注意浏览器代理区别 Chrome/IE浏览器使用的都是系统代理设置在chrome浏览器的设置中搜索代理,可以看到 打开IE浏览器,选择...【详细内容】
2020-07-24  Tags: Fiddler  点击:(114)  评论:(0)  加入收藏
前篇文章介绍了Mock测试的相关理论知识,今天就通过实战操作来演示一下如何通过Fiddler抓包工具来Mock接口返回值。准备工作准备一个服务端接口,可以自己用SpringBoot写一个简...【详细内容】
2020-06-11  Tags: Fiddler  点击:(346)  评论:(0)  加入收藏
摘要: web开发者的利器,fiddler抓包工具。1.引言在当前web开发工具满天飞的年代,很难想象当时在没有这些工具的年代,我们是怎么挺过来的。既然时代已经赋予我们如此之多的精良工...【详细内容】
2020-04-03  Tags: Fiddler  点击:(202)  评论:(0)  加入收藏
Fiddler是一款强大Web调试工具,它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候,默认IE的代理设为了127.0.0.1:8888,而其他浏览器是需要手动设置。工作原理Fiddler...【详细内容】
2019-10-23  Tags: Fiddler  点击:(188)  评论:(0)  加入收藏
▌简易百科推荐
对于想抓取HTTPS的测试初学者来说,常用的工具就是fiddler。但是初学时,大家对于fiddler如何抓取HTTPS难免走歪路,也许你一步步按着网上的帖子成功了,这自然是极好的。但也有可...【详细内容】
2022-03-31  软件测试小p    Tags:Fiddler   点击:(0)  评论:(0)  加入收藏
Nacos作为配置中心,必然需要保证服务节点的高可用性,那么Nacos是如何实现集群的呢?下面这个图,表示Nacos集群的部署图。 Nacos集群工作原理Nacos作为配置中心的集群结构中,是一种...【详细内容】
2022-03-30  马士兵老师  博客园  Tags:Nacos   点击:(1)  评论:(0)  加入收藏
电脑没有网线怎么连接WIFI?很简单,通过手机自带的USB网络共享功能,就可以让没有网线也没有无线网卡的电脑连接wifi。下面是具体操作步骤:准备:1台安卓手机,一根数据线手机和数据线...【详细内容】
2022-03-29  高效软件库    Tags:连接wifi   点击:(7)  评论:(0)  加入收藏
EVE-NG(社区懒人版4.1)环境部署在vmware vsphere esxi 6.7主机环境下,如下图拓扑: hillstone的ethernet0/0接口配置10.10.10.1,外部物理网关设备地址是10.10.10.250。现在需...【详细内容】
2022-03-25  Networker    Tags:网络   点击:(17)  评论:(0)  加入收藏
之前出过动态域名解析做穿透,但是这个需要有动态公网ip,有好多家里的宽带都是"大内网"。虽然我们还出了一期不需要公网ip的内网穿透,可是没有公网ip的免费内网穿透一般都不稳...【详细内容】
2022-03-24  大毛爱分享    Tags:内网穿透   点击:(19)  评论:(0)  加入收藏
大家好!我是司马小七。好久没上来更新,一下子心血来潮继续给大家分享一下好的内容。今天我们来说下代理proxy。大家都知道,为了推广,我们经常要在同一个网站/APP注册多个账号,同...【详细内容】
2022-03-24  司马小七LEAD  今日头条  Tags:代理Proxy   点击:(15)  评论:(0)  加入收藏
本节介绍8种物理隔离技术的方案,供读者参考。一、专线接入方案通过专线上网,使用防火墙保护整个内部网络系统,将外网隔离在防火墙之外,方案的结构如图1所示。图1 专线接入方案...【详细内容】
2022-03-22  科能融合    Tags:综合布线   点击:(16)  评论:(0)  加入收藏
原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。场景很多时候,我们需要批量操作多台机器,业界一般使用Ansible来实现,但使用Ansible来操作多台机器的前提是需要有ss...【详细内容】
2022-03-17  打码日记  微信公众号  Tags:socat   点击:(16)  评论:(0)  加入收藏
随着时代的发展,如今的时代早已是充满互联网的时代,人们的身边到处都充满了网络的便利,为工作生活、休闲娱乐带来了不一样的美好体验,那么当家中的无线网络每天不定时段的出现网...【详细内容】
2022-03-17  贵阳科技猿    Tags:无线网络   点击:(33)  评论:(0)  加入收藏
我前几天接到了运营商的电话,给我各种优惠,让我把自己家里的宽带从500M升级到1000M。我照着做了,但是使用几天,发现网速并没有想象中那么快。于是今天就叫来了安装小哥维修,小哥...【详细内容】
2022-03-17  小渊评宅    Tags:宽带   点击:(44)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条