您当前的位置:首页 > 电脑百科 > 网络技术 > 网络知识

CDN和中心性

时间:2021-07-05 10:12:40  来源:  作者:飞鱼在浪屿

今年 6 月 17 日下午,在线服务普遍中断。在澳大利亚,它影响了该国三大银行、国家邮政服务、国家储备银行和一家航空公司。距离澳大利亚更远的地方,停电影响了香港证券交易所和一些美国航空公司。受影响服务的点名似乎达到了大约 500 个服务。

这些问题在澳大利亚东部时间中午左右首次被发现,直到四小时后才完全恢复。问题当然是这500家受影响的企业有什么共同点?这不是蓄意攻击的结果。但这与许多互联网企业(无论大小)用来转移此类攻击的影响的措施有关。答案是他们都是 Akamai 的客户,尤其是 Akamai 的 Prolexic DDoS 保护系统。Akamai 的事后回应是:

CDN和中心性

 

“无意中超出了此特定服务使用的路由表值。结果是服务意外中断。”
https://blogs.akamai.com/2021/06/akamai-provides-prolexic-ddos-service-impact-update-status-resolved.html

是的,互联网仍在增长,在 IPv4 网络中,我们正在接近大约 100 万个路由条目,而在 IPv6 中,数量现在接近 150,000 个条目。交换单元以各种方式实现数据包决策结构。有些使用三元内容寻址存储器 (TCAM),有些使用定制的 ASIC。这里的共同目标是基于对数据包的目标地址与从大约 100 万个条目池中提取的路由条目的最佳匹配的查找来做出转发决策。这个查找必须尽可能快。如果我正在构建一个可以处理多个 100G 电路的数据包负载的非常高速的交换机,那么我可能希望我的设备每秒做出大约 100M 左右的切换决策。这意味着我需要设计一个决策系统,该系统可以在 100 万个条目的集合中执行此查找,并且只需 10 纳秒。这是一个非常具有挑战性的目标。相比之下,最快的可用内存周期时间略低于 1 纳秒。然而,事情并没有那么简单。如果我正在构建这样的开关元件,那么我需要对其进行设计,使其能够应对从现在起 1、2 甚至 5 年内我可以预期的峰值开关负载。如果我弄错了并且没有设计足够的容量和速度,那么我的设备将提前报废,这将给网络运营商带来更多成本。如果我过度设计,那么我将在最先进的高速内存上花费太多,我的产品将比我的竞争对手贵得多。每台设备都是以这种设计权衡构建的,这些设备的使用寿命取决于诸如互联网未来增长率之类的不确定因素。关键是我们的网络使用这样的设备,网络运营商的作用是不断升级他们的交换设备能力,以保持领先于这些需求。并且意味着有时它们会滑倒不可避免。Akamai 显然也是如此。当我们处于硅能力的最边缘时,我们不能只是设计这个问题。网络运营商的作用是不断升级他们的交换设备能力,以保持领先于这些需求。并且意味着有时它们会滑倒不可避免。

但这并不是 Akami 独有的问题。所有的网络服务提供商都在追求一个相似的目标,并且所有这些系统有时都可能会切换到过载状态并出现服务中断。这次特定中断的值得注意的是,这次中断影响了大量在线服务提供商。作为在线平台的后端服务提供商的业务并不完全是一个人口稠密且多样化的商业环境。事实上,提供此类服务的企业很少,如果其中任何一家出现运营中断,那么影响将非常明显。

事实证明,这并不是 2021 年 6 月的孤立事件。本月早些时候,我们看到一组热门服务消失了一个小时或更长时间。受影响的服务列表包括 Twitch、Pinterest、Reddit、Spotify、纽约时报和 BBC 等。所有这些服务有什么共同点?他们使用 Fastly。

CDN和中心性

ABC 关于Fastly停电的新闻报道

“由于有效的客户配置更改于 6 月 8 日出现了一个未被发现的软件错误,我们经历了全球中断。我们在一分钟内检测到中断,然后确定并隔离原因,并禁用配置。在 49 分钟内,我们 95% 的网络正常运行。这次中断是广泛而严重的,我们真的很抱歉对我们的客户和依赖他们的每个人造成的影响。”
https://www.fastly.com/blog/summary-of-june-8-outage

同样,这不是攻击。它更像是一个定时炸弹,特定的客户配置设置可能会触发共享 CDN 平台的故障。所需要做的就是让客户偶然发现该特定配置设置,系统就会失败。

Fastly 建立在一个名为“Varnish”的配置管理平台上。正如 Fastly 报道的那样:

“Fastly 建立在 Varnish 之上,它允许高性能的内容交付,包括能够立即清除其全球网络中的内容。使用 Varnish 配置语言 (VCL),Catch 可以自定义其 Fastly 配置,从而实现更智能的缓存。

“根据请求中的 cookie 等特定内容设置缓存规则,我们通常只会考虑运行我们自己的 Varnish 服务器。能够在 CDN 层执行此操作使我们的设置更加强大和简化。我们还能够确保始终从 Fastly 提供某些文件格式,并且理论上永远不必多次访问我们的来源。

“Varnish 对我们来说非常重要,因为如果我们想对缓存层进行更改,我们可以控制 VCL。对于大多数 CDN,您无法获得那种灵活性,但使用 Fastly 可以获得这种灵活性。”

https://www.fastly.com/customers/catch/

“Varnish 是专门为取代 Squid 而设计的,Squid 是一种客户端代理,可以改编并用作 Web 加速器。它的主要设计目标是提高内容密集型动态网站以及大量消耗 API 的可扩展性和容量。此类站点在 Web 服务器上运行,例如 ApacheNginx,主要是源服务器。创建要提供的 Web 内容。Varnish 的工作不是创建内容,而是让CDN闪电般快速。”

https://info.varnish-software.com/blog/history-varnish-cache-10-years

当挪威在线报纸 VG Multimedia 每周的页面浏览量超过 4500 万时,需要 12 台服务器来处理这些请求。VG 的系统管理员 Anders Berg 认为必须有一种方法可以减少服务器数量,同时加快页面加载速度。他为一个处理这个问题的开源项目编写了一份规范,让球滚动起来。

https://www.varnish-software.com/varnish-history/

因此,Fastly 的主要资产不是某些能够独特高效地执行 CDN 功能的专有软件系统。与许多其他工具一样,Varnish 是一种开源软件工具。或许 Fastly 的特殊之处在于其庞大的客户群,这些客户可能使用 Fastly 来满足他们的 CDN 需求,因为其他人也做出了使用 Fastly 的相同决定。换句话说,使 Fastly 在 CDN 世界中如此特别的原因在于它的规模,而这种规模可能是其他人选择使用 Fastly 并为其进一步增长做出贡献的更令人信服的原因之一。 规模会产生更大的规模。

CDN 市场存在一些问题。

首先,虽然选择一个 CDN 提供商并将其用于整个在线内容和服务组合非常容易,但选择两个或更多这样的 CDN 提供商并将它们一起用于自我修复的互备份设置可能更具挑战性. 对于许多在线服务企业来说,这是一个“选择一个CDN比做出明智的选择更容易!” 从那时起,企业与 CDN 提供商共享命运。

其次,可供选择的 CDN 并不多。如果你追求全球足迹,有足够的能力吸收除最极端的 DDOS 容量攻击之外的所有攻击,甚至吸收所有此类攻击,那么功能性服务接口允许 CDN 优化服务交付,同时让客户控制关键方面服务的安全性和完整性(例如私钥),那么您的比较购物清单并不是很大。Fastly 和 Akamai 与 Amazon CloudFront、google Cloud、微软的 Azure、Cloudflare 和 Limelight 一起出现在大多数最受欢迎的 CDN 列表中。那是七。当然还有更多,一些具有更多区域性,一些具有特定的技术专长,但这七家企业是当今 CDN 提供商世界的核心。

也许这才是真正的问题。在CDN中,现在似乎每个人都以另一种形式使用 CDN,但实际上可供选择的 CDN 很少。这是一个高度集中的空间,体积经济学占主导地位。较大的 CDN 提供商可以以较小的 CDN 企业无法实现的价格提供服务级别。这增加了他们的市场份额,这当然增加了他们的规模并进一步加剧了供应商之间数量经济差异的规模。提供商空间在一小部分“核心”CDN 巨头和一个更大的“光环”之间分叉,后者由更小的 CDN 提供商组成,这些提供商提供各种定制的方法来填补大型提供商的服务配置文件中留下的任何专业空白。大型供应商有效地控制了小型供应商的增长前景,因为他们控制着他们的服务产品中留下的差距。自然的结果是大变大,小变小。必然的结果是,当一个CDN服务提供商遇到服务中断,而且这种中断过去发生过,而且将来无疑还会发生时,那么中断服务的伤亡名单就会非常大。

通常,此类中断会削弱对服务提供的信心,客户会寻找替代方案。结果很可能是公司的投资者会紧张,股价会下跌。一般。但这些 CDN 人似乎很“特别”。Fastly 的股价在整个 6 月份都在上涨,并且在股价方面没有停电的残余影响。

CDN和中心性

Fastly股价 – 2021 年 6 月

而Akami的股价在6月18日之后大涨!

CDN和中心性

Akamai 股价 – 2021 年 6 月

泡沫的特征通常是投资者的非理性繁荣,在这种情况下,要求分享尚未实现的未来赏金的喧嚣完全淹没了对市场基本面更为冷静的评论,并且也忽略了关于成本和收入基础的平凡对话。这也是高度中心化市场的问题之一。在高度集中的市场中,完全主导其市场的成功企业所提供的回报实际上是市场上提供的一切,以及垄断溢价的前景作为奖励!在提供此类赏金的情况下,

与互联网的许多其他方面一样,我们看到一个多样化且竞争激烈的环境正在转变为一组高度集中的环境,从而导致现有卡特尔和垄断企业的形成。这种中心化的环境产生了一系列关键的依赖关系,因此当失败发生时,在这个领域是不可避免的,它们将从少数人的小不便转变为以各种方式影响我们所有人的重大事件。规模和中心性不一定只会创建更强大的服务。正如我们在 6 月份的这两次特定中断以及过去的其他中断(例如2016 年 10 月的 DYN)中所看到的那样,规模和中心性也给每个人带来了更大程度的脆弱性。



Tags:CDN   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
说起 WordPress 优化加速来可以说是个经久不衰的话题了,包括明月自己都撰写发表了不少相关的文章。基本上到现在为止明月的 WordPress 优化方案已经固定成型了,那就是 WP Supe...【详细内容】
2021-11-02  Tags: CDN  点击:(49)  评论:(0)  加入收藏
今年 6 月 17 日下午,在线服务普遍中断。在澳大利亚,它影响了该国三大银行、国家邮政服务、国家储备银行和一家航空公司。距离澳大利亚更远的地方,停电影响了香港证券交易所和...【详细内容】
2021-07-05  Tags: CDN  点击:(87)  评论:(0)  加入收藏
对于CDN这个家伙,我们已经不陌生了。图像、文件下载、直播和点播、游戏、应用程序等等,只要是互联网上的内容,都可以通过CDN来加速,保障网络的稳定性,提升用户的体验。 CDN就像一...【详细内容】
2021-04-07  Tags: CDN  点击:(243)  评论:(0)  加入收藏
大家新年好呀,今天是辛丑年正月初七,祝福今日开工的朋友们顺顺利利!今天是CDN 3期,跟大家聊聊运用P2P技术的CDN——PCDN。当遇到视频点播、直播这些拥有较大流量的业...【详细内容】
2021-02-19  Tags: CDN  点击:(177)  评论:(0)  加入收藏
一个通用型的CDN,如果要服务广域范围内的用户,那必然要在一个广大的区域内部署服务节点。那么,一个很重要的问题就来了,就是如何将用户的访问导向到最优节点上。最优的含义有两...【详细内容】
2020-12-14  Tags: CDN  点击:(121)  评论:(0)  加入收藏
流媒体服务器的性能可以从抗抖动能力、拥塞率和卡顿率等方面进行分析。当用户访问的频率过高或者并发的数量超过流媒体服务器所能承受的范围时,必须考虑通过限流来保证接口的...【详细内容】
2020-12-09  Tags: CDN  点击:(133)  评论:(0)  加入收藏
随着近年直播、视频、游戏、电商等大流量业务的高速增长,传统CDN也面对着与日俱增的进化压力,除了最开始的“引导”、“最近邻”等基础功能,“高可用”及“智能化”也成为了CDN...【详细内容】
2020-12-07  Tags: CDN  点击:(101)  评论:(0)  加入收藏
LocalCDN是一个Web浏览器扩展,它模仿Content Delivery Networks以改善在线隐私。它拦截流量,在本地找到静态资源,然后将其注入环境。所有这些都是自动发生的,因此不需要事先配...【详细内容】
2020-10-21  Tags: CDN  点击:(129)  评论:(0)  加入收藏
由于CDN要求您通过其数据网导入所有的内容,因此一些流媒体提供商发现他们需要使用多个CDN来到达不同的地区。这意味着管理不同的系统、分散的流媒体以及添加更多的连接来传输...【详细内容】
2020-10-20  Tags: CDN  点击:(77)  评论:(0)  加入收藏
阿里云全站CDN加速是今年重磅推出的新产品,阿里云全站CDN加速融合了动态和静态资源加速技术,有效全面提升整个网站的访问速度和用户体验。如果你的网站备案了,建议你开通尝试,给...【详细内容】
2020-10-13  Tags: CDN  点击:(202)  评论:(0)  加入收藏
▌简易百科推荐
HTTP 报文是在应用程序之间发送的数据块,这些数据块将通过以文本形式的元信息开头,用于 HTTP 协议交互。请求端(客户端)的 HTTP 报文叫做请求报文,响应端(服务器端)的叫做响应...【详细内容】
2021-12-27  程序员蛋蛋    Tags:HTTP 报文   点击:(0)  评论:(0)  加入收藏
一 网络概念:1.带宽: 标识网卡的最大传输速率,单位为 b/s,比如 1Gbps,10Gbps,相当于马路多宽2.吞吐量: 单位时间内传输数据量大小单位为 b/s 或 B/s ,吞吐量/带宽,就是网络的使用率...【详细内容】
2021-12-27  码农世界    Tags:网络   点击:(1)  评论:(0)  加入收藏
1.TCP/IP 网络模型有几层?分别有什么用? TCP/IP网络模型总共有五层 1.应用层:我们能接触到的就是应用层了,手机,电脑这些这些设备都属于应用层。 2.传输层:就是为应用层提供网络...【详细内容】
2021-12-22  憨猪哥08    Tags:TCP/IP   点击:(28)  评论:(0)  加入收藏
TCP握手的时候维护的队列 半连接队列(SYN队列) 全连接队列(accepted队列)半连接队列是什么?服务器收到客户端SYN数据包后,Linux内核会把该连接存储到半连接队列中,并响应SYN+ACK报...【详细内容】
2021-12-21  DifferentJava    Tags:TCP   点击:(9)  评论:(0)  加入收藏
你好,这里是科技前哨。 随着“元宇宙”概念的爆火,下一代互联网即将到来,也成了互联网前沿热议的话题,12月9日美国众议院的听证会上,共和党议员Patrick McHenry甚至宣称,要调整现...【详细内容】
2021-12-17  王煜全    Tags:Web3   点击:(14)  评论:(0)  加入收藏
一、demopublic static void main(String[] args) throws Exception { RetryPolicy retryPolicy = new ExponentialBackoffRetry( 1000, 3);...【详细内容】
2021-12-15  程序员阿龙    Tags:Curator   点击:(20)  评论:(0)  加入收藏
一、计算机网络概述 1.1 计算机网络的分类按照网络的作用范围:广域网(WAN)、城域网(MAN)、局域网(LAN);按照网络使用者:公用网络、专用网络。1.2 计算机网络的层次结构 TCP/IP四层模...【详细内容】
2021-12-14  一口Linux    Tags:网络知识   点击:(30)  评论:(0)  加入收藏
无论是在外面还是在家里,许多人都习惯了用手机连接 WiFi 进行上网。不知道大家有没有遇到过这样一种情况, 明明已经显示成功连接 WiFi,却仍然提示“网络不可用”或“不可上网”...【详细内容】
2021-12-14  UGREEN绿联    Tags:WiFi   点击:(25)  评论:(0)  加入收藏
拉了千兆宽带,买了标称 1300Mbps 的无线路由器,为什么 WiFi 还是跑不满千兆?要回答这个问题,我们先得知道这个 1300Mbps 是怎么来的。开始回答之前先说明一下,这期只讲 802.11ac,...【详细内容】
2021-12-14  Ubiquiti优倍快    Tags:WiFi   点击:(71)  评论:(0)  加入收藏
问题背景IPv6环境下,在浏览器中通过http://[vip:port]访问web业务,提示无法访问此网站,[vip]的响应时间过长。分析过程之前碰到过多次在PC浏览器上无法访问vip的情况,排查方法也...【详细内容】
2021-12-13  云原生知识星球    Tags:网络问题   点击:(27)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条