您当前的位置:首页 > 电脑百科 > 安全防护 > 网络安全

HTTPS 如何保证数据传输安全?

时间:2022-08-05 10:11:56  来源:博客园  作者:Java技术那些事

引言

为什么把这个作为选题。

 

大概也是2年前,我的同事,在面试某大厂遇到的问题与我一起探讨。这个时候我发现,虽然TLS(https)这个东西大部分时候可能不会被直接用到,但很容易被作为考察的目标范围。同时这方面的认知不同的人很容易出现不同的偏差。

问题内容概括来说就是URI/URL部分在https中是否会被加密。面试官认为url在https里是不会被加密的,这与事实是有偏差的(最开始只是知道他这里是有误的,没有思考这个地方之所以容易被误解的原因),后面会提到,为什么这个点容易出现理解偏差。

下文将着重分析说明HTTPS的安全性是如何被保证的。(本文会尽量避免直接引用名词含义解释,在说明过程中会重点描述协议与当前内容有直接相关的特性,部分内容会引用作者之前写的帖子或评论

HTTPS用什么来保障传输安全

结论还是很简单的:我们说https的安全性是由TLS保障的

先问是不是,再问为什么!

HTTP与TLS

 

这张图展示了http各版本店基本数据传输结构。*(该图引至bagder)*

从HTTP 1 开始http就在利用TLS确保其安全性(事实上http 0.9就开始在使用SSL)。无论HTTP如何升级,承载其安全特性的组件TLS的地位始终没有被动摇。(从1995年TLS3 首次部署到现在已经超过20年)

值得一提的是作为最知名的传输层协议TCP,HTTP也计划在HTTP3中将其替换,不过其依然沿用最新版本的TLS保障其安全 (举这个例子并不是说TCP不优秀)

 

上图时间线简单展示了HTTP及SSL/TLS的关键时间线(http1.1 在1999年时有一次定稿,有的资料上会认为1999年是http1.1正式发布的时间点)。不难发现2者的发展一直保持微妙的同步,当然这与web爆发发展有关系,http最知名的版本http1.1 及 现在TLS的基础版本SSL 3 都出现在1996年前后,其影响也一直持续到了现在。

20年前的基础

 

数据来源 :https://almanac.httparchive.org/en/2021/http

上图是http各版本当前在web系统中的使用占比,不难看出 http 1.1 至今仍然被广泛使用,这个数字在2020年甚至还有50% (虽然统计中HTTP 2+ 超过了7成,但是并不代表这7成服务不支持HTTP 1.1,他们中大部分可以自动协商降级支持1.1)

而1996年被重新设计的SSL3.0 也一直延用至今(1999年发布的TLS1.0与SSL3.0 修改不大,以至于后面有的地方认为他们是同一个版本)

PS :HTTP与TSL是完全2个独立的协议,只是HTTPS利用TLS保证其安全性。

TLS其他应用范围

当然不能因为http一直与tls绑定,我们就相信tls在安全方面的能力。 (毕竟大家平时在引入三方资源时都会先确认用“他”的人多不多,大部分会优先信任被广泛使用的资源)

我们常用的SSH利用TLS保证连接的安全性,http的好朋友Websocket也在使用TLS,我们常见的VPN也在使用TLS确保我们的隐私安全。

这些基础事实是大家对TLS的认可,同时也表明TLS在安全传输方面的事实地位。

HTTPS/TLS如何确保数据传输安全

那TLS是如何保证其安全的,为什么其地位20多年都无法被撼动。

密钥交换

数据如何安全传输,当然第一时间就能想到“数据加密”(不过数据的传输安全远不仅如此,除了机密性,还需要有鉴别,数据完整性,和不可抵赖性,这些特性TLS都可以做到,不过不在本文讨论范围)

虽然简单加密是不够的,不过消息加密确实一切的基础。看起来并不难,服务器与客户端只需要有一个只有他们2方才知道的密钥,如何用这个密钥传输数据就可以了。

现在真正的问题来了,这个密钥要怎么才能做的只有客户端与服务器才知道,我们知道在互联网上任何数据包的传输都需要经过许许多多路由器等网络设备,其中任意一台设备都知道你的数据包里是什么内容,我们不可能通过网络直接把这个密钥发送给对方。

有一个方案其实很常见,密钥离线分发。比如常见的U盾,口令卡,银行系统用的分量密钥卡等等都是用的类似离线的手段保证密钥的安全。这种密钥交换的方式的确是安全了不过代价太大,对于广泛应用与互联网的http显然不合适。

公开密钥算法

不过幸好早在上个世纪70年年代就出现了公开的非对称加密算法(公开密钥算法,个人觉得这个名字更能体现这个密钥算法的特点),而且其安全性到现如今依然被证明有效(这也是为什么1995就已经问世的SSL3 可以作为TLS的基础一直延用至今的原因),借助于公开密钥算法使得密钥在客户端于服务器之间的安全传播成为可能。

TLS支持的密钥交换算法有许多(比如RSA密钥交换,Diffie-Hellman密钥交换.......)。我们看下RAS密码交换(因为他被广泛应用,且相对简单),看他是如何保证密钥交换的安全性的。

先介绍非对称加密算法的一个重要特点,加密时需要用到一对密钥(公钥,私钥),公钥加密的数据只能通过私钥解密,私钥加密的数据只能通过公钥解密。

  • 通常我们说的对称加密基本上都是简单异或或异或的简单变种操作,这正好是计算机擅长的,所以速度非常快。(一般密钥实际上只是一种二进制数据块)
  • 非对称加密算法是用的数学算法,无论是加解密,还是密钥对的生成消耗都比对称加密慢很多。(密钥实际上是一个数字,很大的数字)

密钥如何交换

前面我们已经提到了工作密钥是不可以直接在网络上传播的,既然密钥不能中网络中直接传播,那我们能不能把密钥加密后传输呢?非对称加密算法与这个需求完美契合。

服务端可以先将公钥直接发送给客户端,然后客户端自己生成一个随机密钥(TLS里这里交换的其实是预主密钥),然后使用公开的公钥加密这个密钥发送给服务器,因为私钥只有服务器知道,所以只有服务器才能解密这个密钥。这样一来就出现了一个只有客户端和服务器才知道的预主密钥,然后通过这个预主密钥可以生成主密钥,再最终生成工作密钥。

 

上图简单概括了预主密钥传输过程(其实就是TLS握手的其中一部分)

中间人攻击

看起来是不是很完美,就算密钥交换过程中的数据被其他人知道也没有关系,因为他们没有私钥,没有办法解密,不过还是有漏洞,你连接的网络设备可不是只能看你的数据,他还可以任意截断修改你的原始报文,这就是中间人攻击。

 

虽然客户端可以使用公钥加密预主密钥,不过客户端的公钥是从哪里来的呢,其实也还是通过网络由服务器下发给客户端的。那既然也是通过网络,在下发公钥的时候工作密钥可还没有生成,这就是说公钥可以被网络中的第三方截获然后替换,客户端以为收到的是服务器的公钥,而实际上收到的是中间人自己生成的公钥(中间人知道与之对应的私钥),这样一来客户端就会在毫不知情的情况下与中间人完成密钥交换(TLS握手),然后中间人会代替客户端与服务端交互,用户及服务端都不知道有中间人的操作,数据就会完全暴露给攻击者。

证书验证

公钥基础设施

现在问题就变成了客户端如何确认自己收到的公钥不是任何攻击者的证书。PKI(公钥基础设施)完美的解决了这个问题。

其实之前就有提到过当前最安全的手段其实就是密钥离线分发,而整个web系统网站这么多不太可能每个网站每个服务器都来给网站离线下发密钥,这个时候就需要一个中间商,一个大家都认可的中间商CA中心(证书签发机构)来帮我们完成服务端公钥的验证,虽然为每个网站离线分发公钥不太可能,不过我们可以提前为客户端离线分发受信任的根证书,利用这个根证书去验证网站服务端发客户端的公钥,这就是前面提到的PKI。

CA中心会提前将自己的根证书加入到操作系统的根证书列表(系统安装的时候就在那里了),许多浏览器也有自己受信根证书列表,这些证书都是内置的,网络嗅探者无法污染这些根证书。

那操作系统凭什么又如何要信任这些根证书呢? 这个就很直白了,刚刚说了是“权威”机构的根证书,你可以不信任,不过基于PKI的证书校验将无法运作,当然这些权威的证书颁发机构也也确实要能对得起他的权威。

现在客户端已经有了离线的信任根证书,那他是如何认证网站发过来的公钥呢(网站发过来实际上是证书,这个证书里包含公钥)

证书验证过程

client会校验证书的合法性,并根据验证结果决定是否连接服务器。(本节内容yin yo)

 

如上图在浏览器中任意找一个https的网页,服务器在建立TLS连接前都会先将自己的公钥证书发给客户端,我们查看其证书信息。

从这里面我们能看到证书包含以下内容:

(1) Validity也即有效期,有效期包含生效时间和失效时间,是一个时间区间;

(2) 公钥信息Subject Public Key Info,包括公钥的加密算法和公钥内容;

(3) 指纹信息,指纹用于验证证书的完整性,也是证书校验的关键,他确保证书没有被修改过。 其原理就是在颁发证书时,颁发者根据指纹算法(单向散列函数)(此处证书使用了SHA-1和SHA-256算法 有多个指纹是为了兼容老的客户端)计算整个证书的hash指纹【证书内容hash值使用CA私钥加密就是指纹】并和证书放在一起,client在打开证书时,自己也根据指纹算法计算一下证书的hash值,同时使用自己信任的根证书的公钥解密hash指纹计算出原始hash,如果hash值不一致,则表明证书内容被篡改过;

(4) 证书的签名Certificate Signature Value和Certificate Signature Algorithm,对证书签名所使用的Hash算法和Hash值;

(5) 签发该证书的CA机构Issuer;

(6) 该证书是签发给哪个组织/公司信息Subject;

(7) 证书版本Version、证书序列号Serial Number以及Extensions扩展信息等。

 

上图即是证书指纹校验的主要过程,不难看出Client校验证书的核心其实是CA公钥解密出原始指纹。那这个CA公钥从哪里来,这就是上文中提到的系统根证书。

这里就有一个关键点证书的颁发,我们现在知道根证书里的公钥是用来解密网站公钥证书的指纹的,为了确保安全系统会有一批自己信任的CA公钥列表(根证书),操作系统会提前内置好这些CA的根证书。这些根证书为什么可以验证网站的证书呢 ,因为网址的证书也是这些CA机构签发的。CA对应的一般是权威机构或组织,然后由这些权威机构颁发证书时使用他们自己的私钥去签名(为证书生成指纹)然后再颁发给网站,这样就确保了只有权威机构颁发给各个网站的证书才会被客户端校验通过。

网站证书的颁发

顺便我们看一下CA颁发给网站的证书具体是怎样的,一般有2部分组成

公钥证书:这个就是网站后面会公开发送给客户端的证书 (CA的私钥只会用来给这个证书签名,不关心证书里的密钥)

私钥文件:里面只有一个私钥(与公钥证书里公钥是一对,用来在TLS握手只解密预主密钥)

 

如上图sipv4.com.key就是私钥文件,sipv4.com.cer就是公钥证书 (如果看的细,会发现cer里不止含有一个CERTIFICATE,其实他是一个证书链)

 

上图简单描述了证书如何在TLS里发挥作用。有一点需要注意,CA再为网站颁发证书时会验证申请者是网站的拥有者,这样可以确保只有网站的拥有者才可能拥有合法的证书。这一通操作下来即使中间人用自己生成的公钥证书来欺骗客户端时,客户端也能马上反应过来从而中止链接。

现在我们再来看下攻击者的处境,攻击者如果伪装成网站A,握手时攻击者需要给用户发送公钥证书,攻击者有2个选择。

  1. 发送真正的证书(因为公钥证书是公开的,任何人都可以方便的获取),这样虽然可以通过客户端的证书校验,不过攻击者因为没有私钥,无法解密客户端发过来的预主密钥,握手会最终失败。
  2. 发送攻击者自己生成的公钥证书,这时虽然攻击者有对应的私钥,不过因为自己生成的证书没有CA的签名,无法通过客户端的证书验证,握手也会被终止。

这样一来密钥的交换,交换过程的安全就都得到了保障。

结束

url加密

现在回到开头,为什么有些同学会认为https不会加密URL。前面讲到的在密钥交换完成前数据流其实是明文,也就是说网站公钥证书的传输是以明文的形式进行的,上面也提到了证书里是包含Subject,而这个信息里往往有目标网站的域名,所以如果直接查看未解密的https流量,往往是可以看到域名的明文信息的,这个信息很有可能让人误以为这是url信息

为什么不使用公钥加密数据

还有一个问题也会经常会被提到,TLS为什么不使用公钥直接加密数据,这个问题也与开头的问题一样,很容易有认知上的偏差

看了很多被广泛接受的答案都是“性能”问题,我很早之前也是这么认为的,不过现在我知道“性能”问题相对于安全性上是否可行那就根本不是问题,不能使用公钥加密是因为安全上根本不可行,会让TLS形同虚设!

随便打开一个https网站的证书,不同电脑不同时间获取的证书里的公钥其实都是一样的,也就是说这个公钥是公开的而且任何人都知道,那就不可能自己用公钥去加解密。这样服务器返回的数据那不是任何人都能解密了

 

如上图任何人都知道baidu的公钥,任何人也都能解密baidu返回给客户端的数据。

当然TLS的握手是个十分严谨及复杂的过程,他还有很多认证的功能在里面,如果直接用公钥加密数据了那就抛弃了握手里面的很多功能,这里就不展开了。(因为就上面提到的所有返回数据都能被任何人解密那就是致命问题了,相比之下其他的问题都是小问题)

关于非对称加密算法应该加密什么数据

而不用公钥加密数据本身这是个策略,不仅仅是TLS 这些,绝大部分加密系统都是使用的这个策略,因为非对称加密加密的内容本质其实是数字(可以想象把1kb的数据转换成数字 会是个什么情景,当然他也不会允许你加密这么大的数据,还要特殊处理),并且还是数学运算,计算机处理起来会很慢(很多银行机构为了提高速度还会使用特殊的加密设备加密机/卡这类东西)。可以看到非对称算法天生就不是为加密长度不可控的数据设计的,他往往用来加密长度有限的关键数据,比如数据的hash值。而DES、AES这种对称算法就不一样,他们加密主要靠异或跟置换,大数据直接分组 ,这些操作计算机天生就很在行速度很快,他们对加密这些任意长度的数据流就很合适。

总结:

绝大部分加密系统都不会用非对称算法直接加解密数据(因为就不是为这种场景设计的)

而TLS就更不可能用公钥加密数据(因为除了上面提到的设计上的不合理,这种操作还让服务返回的数据失去了任何保护能力)

TLS地位为什么难以被动摇

是不是有必要,作为其基础的非对称加密算法目前为止依然十分十分可靠,而已也找不到更加合适的替代方案。

与其有直接关系的PKI体系已经形成,已经遍布全球CA中心并不是这么容易建立,因为需要大家互相信任,要推翻这个体系也并不容易。

来源:
https://www.cnblogs.com/lulianqi/p/16476166.html



Tags:HTTPS   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
引言为什么把这个作为选题。 大概也是2年前,我的同事,在面试某大厂遇到的问题与我一起探讨。这个时候我发现,虽然TLS(https)这个东西大部分时候可能不会被直接用到,但很容易被作...【详细内容】
2022-08-05  Tags: HTTPS  点击:(0)  评论:(0)  加入收藏
HTTPS协议的站点信息更加安全,同时可降低网站被劫持的风险,如网站同时存在HTTP和HTTPS站点,可使用本工具进行认证,便于百度搜索识别网站HTTP与HTTPS之间的对应关系,识别成功后,搜...【详细内容】
2022-07-28  Tags: HTTPS  点击:(13)  评论:(0)  加入收藏
网站加密证书一般指网站HTTPS加密证书,HTTPS加密证书的作用是加密网站客户端到服务器端的传输数据,如用户名密码等,保障他们的安全,避免被黑客窃取和篡改,所以支付网站,银行网站,电...【详细内容】
2022-07-26  Tags: HTTPS  点击:(16)  评论:(0)  加入收藏
拿到的证书分两个文件,一个是xxx.crt,一个是xxx.key,分别对应公钥和私钥。 1.假设我们的nginx安装目录是:/etc/nginx/,在目录下创建一个新目录,姑且命名为cert,把两个证书文件扔到...【详细内容】
2022-07-22  Tags: HTTPS  点击:(22)  评论:(0)  加入收藏
#概述本教程面向进行流量分析的安全专业人员。本教程假定你已经熟悉Wireshark的基本使用,并使用Wireshark 3.x版。在审查可疑的网络活动时,我们经常会遇到加密的流量。因为大...【详细内容】
2022-06-29  Tags: HTTPS  点击:(54)  评论:(0)  加入收藏
先交代一下为啥要弄这么个本地的https环境,我计划在本地弄一套和线上一样的环境,这样在开发时我可以直接通过jenkins将代码提交到线上不需要在通过ftp上传文件到服务器,方便我...【详细内容】
2022-06-21  Tags: HTTPS  点击:(73)  评论:(0)  加入收藏
安全第一步,群晖NAS使用官网域名和自己的域名配置SSL实现HTTPS访问【新手导向】NAS本质还是一个可以随时随地访问的个人数据存储中心,我们在外网访问的时候,特别是在公网IP下,其...【详细内容】
2022-06-17  Tags: HTTPS  点击:(227)  评论:(0)  加入收藏
var https=require("https");//https服务 var fs= require("fs"); var Koa = require('koa'); var enforceHttps = require('koa-sslify').default; var ap...【详细内容】
2022-06-14  Tags: HTTPS  点击:(44)  评论:(0)  加入收藏
3.7Servlet忘记实现HttpServlet接口处理【理解】出现情况在写Servlet时,忘记了实现HttpServlet接口导致结果在反射创建对象后,强转成HttpServlet时,会报类型转换异常解决方案在...【详细内容】
2022-06-06  Tags: HTTPS  点击:(41)  评论:(0)  加入收藏
https分为单项认证和双向认证。一般https页面上的访问都是单项认证,服务端发送数字证书给客户端,客户单方面验证。而服务端不做验证。而双向认证,需要双方都有证书,然后发送给对...【详细内容】
2022-05-29  Tags: HTTPS  点击:(78)  评论:(0)  加入收藏
▌简易百科推荐
引言为什么把这个作为选题。 大概也是2年前,我的同事,在面试某大厂遇到的问题与我一起探讨。这个时候我发现,虽然TLS(https)这个东西大部分时候可能不会被直接用到,但很容易被作...【详细内容】
2022-08-05  Java技术那些事  博客园  Tags:HTTPS   点击:(0)  评论:(0)  加入收藏
广播:将广播地址作为目的地址的数据帧;每个网段的最后一个IP地址就是该网段的广播地址。如(10.1.1.0/24中的10.1.1.255就是该网段的广播地址)广播域:网络中能接收到同一个广播所...【详细内容】
2022-08-01  知识外卖    Tags:ARP攻击   点击:(5)  评论:(0)  加入收藏
OSCS(开源软件供应链安全社区)推出免费的漏洞、投毒情报订阅服务,社区用户可通过机器人订阅情报信息:https://www.oscs1024.com/?src=csdn漏洞概述7月18日,OSCS 监测到 Apache...【详细内容】
2022-07-20  OSCS开源社区    Tags:漏洞   点击:(71)  评论:(0)  加入收藏
大家好,今天继续我们的内网穿透系列教程,之前分享的是利用云服务器中转流量实现内网访问操作,考虑到有些人的服务器带宽可能是1M的,对远程桌面这种实时画面的支持实在不太好,今天...【详细内容】
2022-07-13  程序搭建指南    Tags:Frp   点击:(57)  评论:(0)  加入收藏
OSCS(开源软件供应链安全社区)推出免费的漏洞、投毒情报订阅服务,社区用户可通过机器人订阅情报信息:https://www.oscs1024.com/?src=wx背景概述黑客通常使用受感染的机器而不...【详细内容】
2022-07-11  OSCS开源社区    Tags:在线编程   点击:(23)  评论:(0)  加入收藏
安全研究人员警告说,黑客可以滥用在线编程学习平台来远程发起网络攻击、窃取数据并扫描易受攻击的设备,只需使用网络浏览器。至少有一个这样的平台,称为 DataCamp,允许威胁参与...【详细内容】
2022-07-10  黑客帮    Tags:黑客   点击:(28)  评论:(0)  加入收藏
如果想深入学习无线安全,可以参考评论区第一条COWPATTY破解密码 WPA密码通用破解工具 使用密码字段 cowpatty -r [.CAP包] -f [字典] -s [ssid] 使用彩虹表(PMK)genpmk -f 【字...【详细内容】
2022-07-06  IT知识一享    Tags:破解密码   点击:(46)  评论:(0)  加入收藏
据ZDnet网7月6日报道,ADVA宣布,POST卢森堡已部署ADVA的Oscilloquartz光学铯原子钟,以保护其基于GNSS的定时网络免受干扰和欺骗网络攻击。图片来自:ZDnet领先的ICT和电信服务提供...【详细内容】
2022-07-06  邮电设计技术    Tags:GNSS   点击:(26)  评论:(0)  加入收藏
近期,中国多家科研机构先后发现了“验证器”木马程序的活动痕迹。这让人不禁联想到西工大事件。所幸的是,没有造成重大威胁。 一旦“他们”成功在各个机构安插硬件或软件后门,...【详细内容】
2022-06-30  网盾网络安全培训    Tags:酸狐狸   点击:(59)  评论:(0)  加入收藏
美国这次难辞其咎,中国多个重要信息系统,发现有被后门程序植入的痕迹,而美国很可能就是始作俑者。 随着互联网技术的普及,包括交通、金融、医院、科研、工业生产等诸多领域,早已...【详细内容】
2022-06-29  国际科技资讯    Tags:酸狐狸   点击:(28)  评论:(0)  加入收藏
站内最新
站内热门
站内头条