您当前的位置:首页 > 电脑百科 > 安全防护 > 网络安全

HTTPS 如何保证数据传输安全?

时间:2022-08-05 10:11:56  来源:博客园  作者:Java技术那些事

引言

为什么把这个作为选题。

 

大概也是2年前,我的同事,在面试某大厂遇到的问题与我一起探讨。这个时候我发现,虽然TLS(https)这个东西大部分时候可能不会被直接用到,但很容易被作为考察的目标范围。同时这方面的认知不同的人很容易出现不同的偏差。

问题内容概括来说就是URI/URL部分在https中是否会被加密。面试官认为url在https里是不会被加密的,这与事实是有偏差的(最开始只是知道他这里是有误的,没有思考这个地方之所以容易被误解的原因),后面会提到,为什么这个点容易出现理解偏差。

下文将着重分析说明HTTPS的安全性是如何被保证的。(本文会尽量避免直接引用名词含义解释,在说明过程中会重点描述协议与当前内容有直接相关的特性,部分内容会引用作者之前写的帖子或评论

HTTPS用什么来保障传输安全

结论还是很简单的:我们说https的安全性是由TLS保障的

先问是不是,再问为什么!

HTTP与TLS

 

这张图展示了http各版本店基本数据传输结构。*(该图引至bagder)*

从HTTP 1 开始http就在利用TLS确保其安全性(事实上http 0.9就开始在使用SSL)。无论HTTP如何升级,承载其安全特性的组件TLS的地位始终没有被动摇。(从1995年TLS3 首次部署到现在已经超过20年)

值得一提的是作为最知名的传输层协议TCP,HTTP也计划在HTTP3中将其替换,不过其依然沿用最新版本的TLS保障其安全 (举这个例子并不是说TCP不优秀)

 

上图时间线简单展示了HTTP及SSL/TLS的关键时间线(http1.1 在1999年时有一次定稿,有的资料上会认为1999年是http1.1正式发布的时间点)。不难发现2者的发展一直保持微妙的同步,当然这与web爆发发展有关系,http最知名的版本http1.1 及 现在TLS的基础版本SSL 3 都出现在1996年前后,其影响也一直持续到了现在。

20年前的基础

 

数据来源 :https://almanac.httparchive.org/en/2021/http

上图是http各版本当前在web系统中的使用占比,不难看出 http 1.1 至今仍然被广泛使用,这个数字在2020年甚至还有50% (虽然统计中HTTP 2+ 超过了7成,但是并不代表这7成服务不支持HTTP 1.1,他们中大部分可以自动协商降级支持1.1)

而1996年被重新设计的SSL3.0 也一直延用至今(1999年发布的TLS1.0与SSL3.0 修改不大,以至于后面有的地方认为他们是同一个版本)

PS :HTTP与TSL是完全2个独立的协议,只是HTTPS利用TLS保证其安全性。

TLS其他应用范围

当然不能因为http一直与tls绑定,我们就相信tls在安全方面的能力。 (毕竟大家平时在引入三方资源时都会先确认用“他”的人多不多,大部分会优先信任被广泛使用的资源)

我们常用的SSH利用TLS保证连接的安全性,http的好朋友Websocket也在使用TLS,我们常见的VPN也在使用TLS确保我们的隐私安全。

这些基础事实是大家对TLS的认可,同时也表明TLS在安全传输方面的事实地位。

HTTPS/TLS如何确保数据传输安全

那TLS是如何保证其安全的,为什么其地位20多年都无法被撼动。

密钥交换

数据如何安全传输,当然第一时间就能想到“数据加密”(不过数据的传输安全远不仅如此,除了机密性,还需要有鉴别,数据完整性,和不可抵赖性,这些特性TLS都可以做到,不过不在本文讨论范围)

虽然简单加密是不够的,不过消息加密确实一切的基础。看起来并不难,服务器与客户端只需要有一个只有他们2方才知道的密钥,如何用这个密钥传输数据就可以了。

现在真正的问题来了,这个密钥要怎么才能做的只有客户端与服务器才知道,我们知道在互联网上任何数据包的传输都需要经过许许多多路由器等网络设备,其中任意一台设备都知道你的数据包里是什么内容,我们不可能通过网络直接把这个密钥发送给对方。

有一个方案其实很常见,密钥离线分发。比如常见的U盾,口令卡,银行系统用的分量密钥卡等等都是用的类似离线的手段保证密钥的安全。这种密钥交换的方式的确是安全了不过代价太大,对于广泛应用与互联网的http显然不合适。

公开密钥算法

不过幸好早在上个世纪70年年代就出现了公开的非对称加密算法(公开密钥算法,个人觉得这个名字更能体现这个密钥算法的特点),而且其安全性到现如今依然被证明有效(这也是为什么1995就已经问世的SSL3 可以作为TLS的基础一直延用至今的原因),借助于公开密钥算法使得密钥在客户端于服务器之间的安全传播成为可能。

TLS支持的密钥交换算法有许多(比如RSA密钥交换,Diffie-Hellman密钥交换.......)。我们看下RAS密码交换(因为他被广泛应用,且相对简单),看他是如何保证密钥交换的安全性的。

先介绍非对称加密算法的一个重要特点,加密时需要用到一对密钥(公钥,私钥),公钥加密的数据只能通过私钥解密,私钥加密的数据只能通过公钥解密。

  • 通常我们说的对称加密基本上都是简单异或或异或的简单变种操作,这正好是计算机擅长的,所以速度非常快。(一般密钥实际上只是一种二进制数据块)
  • 非对称加密算法是用的数学算法,无论是加解密,还是密钥对的生成消耗都比对称加密慢很多。(密钥实际上是一个数字,很大的数字)

密钥如何交换

前面我们已经提到了工作密钥是不可以直接在网络上传播的,既然密钥不能中网络中直接传播,那我们能不能把密钥加密后传输呢?非对称加密算法与这个需求完美契合。

服务端可以先将公钥直接发送给客户端,然后客户端自己生成一个随机密钥(TLS里这里交换的其实是预主密钥),然后使用公开的公钥加密这个密钥发送给服务器,因为私钥只有服务器知道,所以只有服务器才能解密这个密钥。这样一来就出现了一个只有客户端和服务器才知道的预主密钥,然后通过这个预主密钥可以生成主密钥,再最终生成工作密钥。

 

上图简单概括了预主密钥传输过程(其实就是TLS握手的其中一部分)

中间人攻击

看起来是不是很完美,就算密钥交换过程中的数据被其他人知道也没有关系,因为他们没有私钥,没有办法解密,不过还是有漏洞,你连接的网络设备可不是只能看你的数据,他还可以任意截断修改你的原始报文,这就是中间人攻击。

 

虽然客户端可以使用公钥加密预主密钥,不过客户端的公钥是从哪里来的呢,其实也还是通过网络由服务器下发给客户端的。那既然也是通过网络,在下发公钥的时候工作密钥可还没有生成,这就是说公钥可以被网络中的第三方截获然后替换,客户端以为收到的是服务器的公钥,而实际上收到的是中间人自己生成的公钥(中间人知道与之对应的私钥),这样一来客户端就会在毫不知情的情况下与中间人完成密钥交换(TLS握手),然后中间人会代替客户端与服务端交互,用户及服务端都不知道有中间人的操作,数据就会完全暴露给攻击者。

证书验证

公钥基础设施

现在问题就变成了客户端如何确认自己收到的公钥不是任何攻击者的证书。PKI(公钥基础设施)完美的解决了这个问题。

其实之前就有提到过当前最安全的手段其实就是密钥离线分发,而整个web系统网站这么多不太可能每个网站每个服务器都来给网站离线下发密钥,这个时候就需要一个中间商,一个大家都认可的中间商CA中心(证书签发机构)来帮我们完成服务端公钥的验证,虽然为每个网站离线分发公钥不太可能,不过我们可以提前为客户端离线分发受信任的根证书,利用这个根证书去验证网站服务端发客户端的公钥,这就是前面提到的PKI。

CA中心会提前将自己的根证书加入到操作系统的根证书列表(系统安装的时候就在那里了),许多浏览器也有自己受信根证书列表,这些证书都是内置的,网络嗅探者无法污染这些根证书。

那操作系统凭什么又如何要信任这些根证书呢? 这个就很直白了,刚刚说了是“权威”机构的根证书,你可以不信任,不过基于PKI的证书校验将无法运作,当然这些权威的证书颁发机构也也确实要能对得起他的权威。

现在客户端已经有了离线的信任根证书,那他是如何认证网站发过来的公钥呢(网站发过来实际上是证书,这个证书里包含公钥)

证书验证过程

client会校验证书的合法性,并根据验证结果决定是否连接服务器。(本节内容yin yo)

 

如上图在浏览器中任意找一个https的网页,服务器在建立TLS连接前都会先将自己的公钥证书发给客户端,我们查看其证书信息。

从这里面我们能看到证书包含以下内容:

(1) Validity也即有效期,有效期包含生效时间和失效时间,是一个时间区间;

(2) 公钥信息Subject Public Key Info,包括公钥的加密算法和公钥内容;

(3) 指纹信息,指纹用于验证证书的完整性,也是证书校验的关键,他确保证书没有被修改过。 其原理就是在颁发证书时,颁发者根据指纹算法(单向散列函数)(此处证书使用了SHA-1和SHA-256算法 有多个指纹是为了兼容老的客户端)计算整个证书的hash指纹【证书内容hash值使用CA私钥加密就是指纹】并和证书放在一起,client在打开证书时,自己也根据指纹算法计算一下证书的hash值,同时使用自己信任的根证书的公钥解密hash指纹计算出原始hash,如果hash值不一致,则表明证书内容被篡改过;

(4) 证书的签名Certificate Signature Value和Certificate Signature Algorithm,对证书签名所使用的Hash算法和Hash值;

(5) 签发该证书的CA机构Issuer;

(6) 该证书是签发给哪个组织/公司信息Subject;

(7) 证书版本Version、证书序列号Serial Number以及Extensions扩展信息等。

 

上图即是证书指纹校验的主要过程,不难看出Client校验证书的核心其实是CA公钥解密出原始指纹。那这个CA公钥从哪里来,这就是上文中提到的系统根证书。

这里就有一个关键点证书的颁发,我们现在知道根证书里的公钥是用来解密网站公钥证书的指纹的,为了确保安全系统会有一批自己信任的CA公钥列表(根证书),操作系统会提前内置好这些CA的根证书。这些根证书为什么可以验证网站的证书呢 ,因为网址的证书也是这些CA机构签发的。CA对应的一般是权威机构或组织,然后由这些权威机构颁发证书时使用他们自己的私钥去签名(为证书生成指纹)然后再颁发给网站,这样就确保了只有权威机构颁发给各个网站的证书才会被客户端校验通过。

网站证书的颁发

顺便我们看一下CA颁发给网站的证书具体是怎样的,一般有2部分组成

公钥证书:这个就是网站后面会公开发送给客户端的证书 (CA的私钥只会用来给这个证书签名,不关心证书里的密钥)

私钥文件:里面只有一个私钥(与公钥证书里公钥是一对,用来在TLS握手只解密预主密钥)

 

如上图sipv4.com.key就是私钥文件,sipv4.com.cer就是公钥证书 (如果看的细,会发现cer里不止含有一个CERTIFICATE,其实他是一个证书链)

 

上图简单描述了证书如何在TLS里发挥作用。有一点需要注意,CA再为网站颁发证书时会验证申请者是网站的拥有者,这样可以确保只有网站的拥有者才可能拥有合法的证书。这一通操作下来即使中间人用自己生成的公钥证书来欺骗客户端时,客户端也能马上反应过来从而中止链接。

现在我们再来看下攻击者的处境,攻击者如果伪装成网站A,握手时攻击者需要给用户发送公钥证书,攻击者有2个选择。

  1. 发送真正的证书(因为公钥证书是公开的,任何人都可以方便的获取),这样虽然可以通过客户端的证书校验,不过攻击者因为没有私钥,无法解密客户端发过来的预主密钥,握手会最终失败。
  2. 发送攻击者自己生成的公钥证书,这时虽然攻击者有对应的私钥,不过因为自己生成的证书没有CA的签名,无法通过客户端的证书验证,握手也会被终止。

这样一来密钥的交换,交换过程的安全就都得到了保障。

结束

url加密

现在回到开头,为什么有些同学会认为https不会加密URL。前面讲到的在密钥交换完成前数据流其实是明文,也就是说网站公钥证书的传输是以明文的形式进行的,上面也提到了证书里是包含Subject,而这个信息里往往有目标网站的域名,所以如果直接查看未解密的https流量,往往是可以看到域名的明文信息的,这个信息很有可能让人误以为这是url信息

为什么不使用公钥加密数据

还有一个问题也会经常会被提到,TLS为什么不使用公钥直接加密数据,这个问题也与开头的问题一样,很容易有认知上的偏差

看了很多被广泛接受的答案都是“性能”问题,我很早之前也是这么认为的,不过现在我知道“性能”问题相对于安全性上是否可行那就根本不是问题,不能使用公钥加密是因为安全上根本不可行,会让TLS形同虚设!

随便打开一个https网站的证书,不同电脑不同时间获取的证书里的公钥其实都是一样的,也就是说这个公钥是公开的而且任何人都知道,那就不可能自己用公钥去加解密。这样服务器返回的数据那不是任何人都能解密了

 

如上图任何人都知道baidu的公钥,任何人也都能解密baidu返回给客户端的数据。

当然TLS的握手是个十分严谨及复杂的过程,他还有很多认证的功能在里面,如果直接用公钥加密数据了那就抛弃了握手里面的很多功能,这里就不展开了。(因为就上面提到的所有返回数据都能被任何人解密那就是致命问题了,相比之下其他的问题都是小问题)

关于非对称加密算法应该加密什么数据

而不用公钥加密数据本身这是个策略,不仅仅是TLS 这些,绝大部分加密系统都是使用的这个策略,因为非对称加密加密的内容本质其实是数字(可以想象把1kb的数据转换成数字 会是个什么情景,当然他也不会允许你加密这么大的数据,还要特殊处理),并且还是数学运算,计算机处理起来会很慢(很多银行机构为了提高速度还会使用特殊的加密设备加密机/卡这类东西)。可以看到非对称算法天生就不是为加密长度不可控的数据设计的,他往往用来加密长度有限的关键数据,比如数据的hash值。而DES、AES这种对称算法就不一样,他们加密主要靠异或跟置换,大数据直接分组 ,这些操作计算机天生就很在行速度很快,他们对加密这些任意长度的数据流就很合适。

总结:

绝大部分加密系统都不会用非对称算法直接加解密数据(因为就不是为这种场景设计的)

而TLS就更不可能用公钥加密数据(因为除了上面提到的设计上的不合理,这种操作还让服务返回的数据失去了任何保护能力)

TLS地位为什么难以被动摇

是不是有必要,作为其基础的非对称加密算法目前为止依然十分十分可靠,而已也找不到更加合适的替代方案。

与其有直接关系的PKI体系已经形成,已经遍布全球CA中心并不是这么容易建立,因为需要大家互相信任,要推翻这个体系也并不容易。

来源:
https://www.cnblogs.com/lulianqi/p/16476166.html



Tags:HTTPS   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
SSL/TLS/HTTPS是如何增加访问者对网站的信任?以及如何透过安全锁来了解网站所有者的信息(个人或企业信息) 配置了SSL数字证书的网站,提示安全什么是SSL,为什么它很重要?安全套接...【详细内容】
2022-10-12  Tags: HTTPS  点击:(50)  评论:(0)  加入收藏
前言以前部署网站的时候,都是通过代码来实现http重定向https,最近在部署个人网站的时候,突发奇想可不可通过IIS来实现无代码的重定向呢?在一番操作猛如虎的搜索引擎操作后,发现只...【详细内容】
2022-09-09  Tags: HTTPS  点击:(47)  评论:(0)  加入收藏
全站HTTPS已成为潮流趋势 HTTPS的作用C I A(机密性、完整性、可用性)解决的是信息传输过程中数据被篡改窃取密:对称、非对称、单向HTTPS攻击方法降级攻击...【详细内容】
2022-08-31  Tags: HTTPS  点击:(79)  评论:(0)  加入收藏
引言为什么把这个作为选题。 大概也是2年前,我的同事,在面试某大厂遇到的问题与我一起探讨。这个时候我发现,虽然TLS(https)这个东西大部分时候可能不会被直接用到,但很容易被作...【详细内容】
2022-08-05  Tags: HTTPS  点击:(70)  评论:(0)  加入收藏
HTTPS协议的站点信息更加安全,同时可降低网站被劫持的风险,如网站同时存在HTTP和HTTPS站点,可使用本工具进行认证,便于百度搜索识别网站HTTP与HTTPS之间的对应关系,识别成功后,搜...【详细内容】
2022-07-28  Tags: HTTPS  点击:(56)  评论:(0)  加入收藏
网站加密证书一般指网站HTTPS加密证书,HTTPS加密证书的作用是加密网站客户端到服务器端的传输数据,如用户名密码等,保障他们的安全,避免被黑客窃取和篡改,所以支付网站,银行网站,电...【详细内容】
2022-07-26  Tags: HTTPS  点击:(63)  评论:(0)  加入收藏
拿到的证书分两个文件,一个是xxx.crt,一个是xxx.key,分别对应公钥和私钥。 1.假设我们的nginx安装目录是:/etc/nginx/,在目录下创建一个新目录,姑且命名为cert,把两个证书文件扔到...【详细内容】
2022-07-22  Tags: HTTPS  点击:(83)  评论:(0)  加入收藏
#概述本教程面向进行流量分析的安全专业人员。本教程假定你已经熟悉Wireshark的基本使用,并使用Wireshark 3.x版。在审查可疑的网络活动时,我们经常会遇到加密的流量。因为大...【详细内容】
2022-06-29  Tags: HTTPS  点击:(167)  评论:(0)  加入收藏
先交代一下为啥要弄这么个本地的https环境,我计划在本地弄一套和线上一样的环境,这样在开发时我可以直接通过jenkins将代码提交到线上不需要在通过ftp上传文件到服务器,方便我...【详细内容】
2022-06-21  Tags: HTTPS  点击:(162)  评论:(0)  加入收藏
安全第一步,群晖NAS使用官网域名和自己的域名配置SSL实现HTTPS访问【新手导向】NAS本质还是一个可以随时随地访问的个人数据存储中心,我们在外网访问的时候,特别是在公网IP下,其...【详细内容】
2022-06-17  Tags: HTTPS  点击:(610)  评论:(0)  加入收藏
▌简易百科推荐
由于网络犯罪仍然是去中心化金融(DeFi)领域的一个重要主题,最新的事件显示Moola Market被利用了超过840万美元。在一个令人惊讶的事件转变中,这些资金中的大多数后来被归还。首...【详细内容】
2022-10-20  比特范  今日头条  Tags:黑客   点击:(6)  评论:(0)  加入收藏
在一次渗透测试中,客户给了一个 IP 范围,要求执行外部的渗透测试,再尝试 nessus 扫描之后没有发现任何可以利用的点,着着我不得不探查目标 IP 是否部署有 web 服务,从而进一步测...【详细内容】
2022-10-18  互联网资讯看板   网易号  Tags:域控   点击:(5)  评论:(0)  加入收藏
1.TajMahal早在2018年底,卡巴斯基的研究人员就发现了一个复杂的间谍框架,他们称之为“TajMahal”。它由两个不同的软件包组成,分别称为“Tokyo”和“Yokohama”,它们能够窃取各...【详细内容】
2022-10-16  老李讲安全  今日头条  Tags:APT攻击   点击:(6)  评论:(0)  加入收藏
导读:今天分享的主题是 StarRocks在 360 的应用实践,将围绕以下几方面展开: 360为什么选择 StarRocks 作为 OLAP 分析引擎 StarRocks 在360主要的应用场景 对于 StarRocks所做...【详细内容】
2022-09-27  DataFunTalk  今日头条  Tags:StarRocks   点击:(28)  评论:(0)  加入收藏
1.明确方向1)明确范畴:测试范畴,如:IP、网站域名、内外网、全站or一部分控制模块2)明确标准:能渗入到何种程度(发觉系统漏洞才行or再次运用系统漏洞)、限制时间、能不能改动提交、能...【详细内容】
2022-09-26  网安世纪小李    Tags:网络安全   点击:(27)  评论:(0)  加入收藏
在做网站、微信开发时,有时候会需要本地调试,但现在运营商基本不会分配给到独立的公网IP了,都是内网IP,就只能通过内网穿透来实现。这里推荐一款简单好用的内网穿透工具—&...【详细内容】
2022-09-23  cpolar极点云  今日头条  Tags:内网穿透   点击:(37)  评论:(0)  加入收藏
来源 北京日报客户端 | 实习记者 高悦 美编 关印编辑 实习编辑 高悦流程编辑 刘伟利...【详细内容】
2022-09-14    北京日报  Tags:饮茶   点击:(65)  评论:(0)  加入收藏
配置虚拟防火墙 在设备上配置VPN实例,将防火墙从逻辑上划分为多台虚拟防火墙,可以为多个小型私有网络提供独立的安全保障。1、配置VPN实例划分虚拟防火墙2、配置虚拟防火墙的...【详细内容】
2022-08-30  丹鱼先生  今日头条  Tags:虚拟防火墙   点击:(49)  评论:(0)  加入收藏
电脑和互联网已经成为我们工作和生活中不可或缺的重要的工作和交流的工具。我们的电脑里面也存储了大量的个人信息和公司的信息,当我们在广阔的互联网络世界里尽情遨游的时候...【详细内容】
2022-08-25  埃文科技   网易号  Tags:IP地址   点击:(47)  评论:(0)  加入收藏
一.iptables介绍iptables并不是真正意义上的防火墙,我们可以理解为一个客户端工具,用户通过ipatbles这个客户端,将用户 的安全设定执行到对应的"安全框架"中,这个"安全框架"才是...【详细内容】
2022-08-17  技术瘾君子  今日头条  Tags:iptables   点击:(61)  评论:(0)  加入收藏
站内最新
站内热门
站内头条