在短视频爆发的时代,人人迷上了这种短频快了解输入各类信息的通道。但每天沉迷于滑滑滑的你,知道是什么支撑了这么巨大的流量吗?那就是服务器!
抖音,百度,阿里云,腾讯都是自建的数据中心,都是T级别出口带宽(总出口带宽),也就是达到1T=1024G/s的出口带宽,服务器总数基本都在20万台以上,甚至阿里云都超过了100万台。字节跳动的数据中心总带宽,可能在10TB级别左右,预期突破15TB级别不远了。一般情况下:总出口带宽1TB,实际机房出口带宽可能只有100G上下,这是采用双(多)链路设计,双出口实现动态流量分担,总的出口带宽可以达到T级别。
想要同一时间有数亿人在线,TB级别带宽,CDN加速和多节点,负载均衡等等技术缺一不可。
-
2017年2-3万台服务器,这个时候主要是租用服务器为主。
-
2018年,字节跳动自己建设了数据中心,最大的数据中心在河北怀来官厅湖新媒体产业园,一期5万台服务器。二期9万台服务器。
-
2018年,租用+自建的服务器数量达到17万台服务器。
-
2020年,根据字节跳动招聘公告的数据,显示有42万台服务器。比2018年增长了1.5倍。
这部分服务器都是给中国区域使用,主要应用国内的抖音,西瓜视频,今日头条,飞书等产品。在美国的TIKTOK是独立出来的运营,数据在美国当地存储和分发。
2020年TIktok在美国也租用了近10万台服务器。
据Business Insider公布数据,2020年上半年,字节跳动在美国弗吉尼亚州北部租用了能耗达53兆瓦的数据中心。可以容纳数十万台服务器,占地面积可达数十万平方英尺。
聊完了服务器数量,那么咱们来点硬核的东西:字节跳动大型的数据中心出口带宽是多少?
知识点:所谓的出口带宽,其实就是咱们普通人所说的下载带宽。就是服务器给每一个手机分发数据总速度。一般情况下,小型的IDC公司自建机房,比如一些网站公司,租用联通,移动,电信的机房,可能总体出口带宽只有5G。超过30G那都是具备一定规模的企业。网络公司营收少说也是几千万的企业。所以,经常能够看到,一些规模还不错的企业,基本上都不再自建机房,都是使用云主机。例如阿里云的ECS,腾讯云,百度云,AWS(亚马逊)。一般一个企业网站(企业官网),20M带宽,4G内存,100G硬盘,一年价格也就4000-5000块钱就足够了,赶上做活动价格可能更便宜。这里面就是带宽最贵,当然增加带宽,达到一定等级,例如访问量增大,必须要增加内存和硬盘。相比来说,带宽增加的话,费用更贵一些。【这里就跟你说明一下:带宽比较昂贵,属于稀缺资源】我们来看中国移动的一个机房:中国移动(河北石家庄)数据中心的数据:占地面积174亩,总建筑面积13万平方米,规划10栋单体建筑,全部建成后可提供约3万个机架的装机能力。3个IDC机房共可提供3.1万架机柜,15T带宽资源。一个机柜,全1U设备部署数量一般不超过16台,全2U设备一般不超过12台,全4U设备一般4到7台。我们取高性能的2U和4U服务器进行平均折中,各算一半(毕竟移动也算是有钱的大户,不能买低端的1U设备)。那么3.1万架机柜就可以安装,最多21-36万台服务器。这里粗略取一个平均值:30万台服务器。享受15T的出口带宽资源。当然作为电信的干路网,移动拿带宽资源肯定是要比字节跳动更有优势的。所以,我们粗略地估计字节跳动自建的17万台服务器的数据中心。总出口带宽可能在7Tb-10TB上下。基本上肯定会采用双出口流量设计,再加上多链路的部署方式:可以做到实际出口带宽在800G-1TG就可以实现10T左右的总出口带宽。【这是技术方式】T级别出口带宽是什么概念,如果我告诉你2009年,整个上海的出口带宽才1140G,也就是刚刚达到1TB。在短短的10年后,一个企业的数据中心的出口带宽就超过1Tb,这个速度真的不可想象。要知道2009年,虽然智能手机不发达,但是个人PC销量已经非常庞大了。
CDN加速,让大众刷抖音,看视频都不在卡!
知识点:CDN(Content Delivery Network,内容分发网络)将服务端的内容发布到最接近用户的边缘节点,使用户可以就近取得所需的内容。解决Internet网络拥塞状况,提高用户访问网站的响应速度。多种加速的方案集合。用通俗的话解释CDN就是:会把一些页面,专门压缩,有的压缩为静态页面,静态页面直接分发速度快。用户可以在2s内看到内容,体验感更好。【这是静态传输】对于动态视频,首先通过智能路由,寻找最佳路径,然后协议优化将长连接,内容进行压缩,去除冗余。【这就是动态压缩】给你们看一下2015年腾讯5亿日活,集合了音乐,即时通讯等等产品的CDN的级别,达到了10TB带宽。每天请求万亿次。
因此,我这里说字节跳动整体服务器有10TB应该只少不多。毕竟抖音日活有6亿,西瓜视频+今日头条我们粗略算是2亿,总计有8亿的日活。就是这么大的带宽和技术实力,才能让我们看视频这么顺畅。了解了抖音的服务器之后,那你知道维护如此庞大体系的又是什么人吗?达妹告诉你:那就是运维工程师 —— 一个默默在后台无私奉献的大神。运维工作性质相对来说比较特殊、其涉及的技能繁多且更新换代迅速,从数据库,架构,安全,监控到运维自动化、智能运维、 DevOps......因为运维工作性质,导致运维职业发展的道路也是比较宽广,职业发展也是多样化!负责具体的产品线运维工作,同时也需要掌握开发的能力,深入业务,最了解业务的痛点和问题,同时研发/优化针对产品业务需求的平台、工具和手段,能够接触到各类优秀的系统架构并有能力做出优劣对比,同时对业务的掌控决定了相应运维工程师在业务发展中的作用。长远发展是成为大型系统的架构师。以下是以北京为例,该岗位的平均薪资(数据来源职友集):
专门研发运维相关通用平台和技术,需要有一定的产品线运维经验或从产品线中拿到运维需求。对研发能力有较高的要求,对系统的设计有较严格的标准,并且能够理解用户需求,做出适合服务运维和满足运维工程师使用体验的运维产品,长远的发展是成为各个技术纵向领域的技术专家。以下是以北京为例,该岗位的平均薪资(数据来源职友集):
数据库方向是运维技术中较为特殊的一个方向,由于业务的重要性通常需要专设岗位,业界在该方向也有深厚的研究和积累。主要方向有数据库内核、云数据库等,长远发展是数据库领域的技术专家,数据库架构师。以下是以北京为例,该岗位的平均薪资(数据来源职友集):
该岗位需拥有丰富的运维经验,对协调和推进能力要求比较高,对一些技术深度还不错,协调和推进能力比较高的同学非常适合转型管理职位,长远的发展和技术部门的管理职位一样目标是CTO、CEO。
以下是以北京为例,该岗位的平均薪资(数据来源职友集):
运维岗位低调有技术,但他们的岗位需求和薪酬并不低调,并且因为运维职业现在新加入的云计算和Python方面的技术,使得运维这个职业更具市场竞争力!