IDC产业:云计算行业深度分析七部曲(四):青
云计算的发展离不开 IDC 和服务器的技术支持。服务器为云计算提供了强大的计算、网 络和存储能力,IDC 将规模化的硬件服务器整合虚拟到云端,为用户提供的是服务能力 和 IT 效能,是云计算发展的重要支撑。在传统 IDC 上实施云计算模式是一个循序渐进的 过程,一般云计算 IDC 的演进路线可分为四个阶段:第一阶段为“虚拟化整合+IaaS”, 此阶段主要侧重于资源的虚拟化整合;第二阶段为“IaaS+简单 SaaS”,引入了分布式技 术,搭建云计算基础平台,并在提供 IaaS 服务的基础上提供简单 SaaS 服务;第三阶段为 “丰富 SaaS 应用+PaaS 平台”,在此阶段下,PaaS 平台可以广泛提供服务,丰富的 SaaS 应用也随之产生;最后阶段为“IDC 全面云服务化”,即云计算 IDC 之间实现互通,自 动化、智能化程度不断提升。
我国 IDC 市场规模已达千亿级,未来将维持增长态势不变。2018 年,全球 IDC 业务市场 (包括托管业务、CDN 业务和公共云 IaaS/PaaS 业务)整体规模达到 6253.1 亿元,同比 增长23.6%,我国IDC业务市场总规模首次突破千亿大关,达1228亿元,同比增长29.8%。 2019 年,我国 IDC 产业进入 4.0 时代,差异化需求凸显,产业分工进一步明确,市场规 模达到 1560.8 亿元,增速为 27.1%,远高于世界 11%的平均水平,其中互联网企业云数 据中心建设成为行业的最强驱动力。根据中国 IDC 圈发布的数据,未来三年中国 IDC 市 场规模将会加速上涨,将维持 30%左右的高增长率,预计 2022 年中国的 IDC 市场规模将 达到 3481.9 亿元。
从 IDC 需求端来看,云计算厂商为 IDC 最大占比客户,有望领先受益于云计算发展。云 计算厂商作为 IDC 行业最主要的客户,占据 37%的份额,互联网企业紧随其后,另外政 府机构及金融机构也是 IDC 行业主要需求方。近年来,云计算已经由政府建设数据中心 推动进入行业自行推动阶段,在成熟的政务云市场外,以医疗云、金融云、交通云等为代 表的行业云正快速发展,IaaS 行业景气度将传到产业链上游,利好中游 IDC 行业和上游 核心硬件。在未来的增量市场中,由于云计算市场规模持续高速增长,云计算厂商和大型 互联网将是拉动需求的主力。
新兴技术催生更多应用场景,IDC 需求扩大。纵观 IDC 业务市场的发展历程,2010 年放 宽 IDC 牌照审核门槛,许多企业得以进入 IDC 业务领域并快速拓展市场,带来 IDC 业务 市场一轮增长高峰;2014 年,第 4 代移动通信技术(4G)业务经营许可权发放,移动互 联网流量入口扩展,催生更多应用需求;2016 年,短视频技术被各视频与社交平台广泛 应用,带来了 IDC 业务市场的增长;2019 年,第 5 代移动通信技术(5G)正式商用,带 动全球网络数据量激增,数据中心的重要地位将得到进一步的彰显;2020 年及以后新增 需求则将集中体现在 5G、物联网、VR/AR 等新兴应用的广泛兴起,更多应用场景、更加 复杂的数据结构以及更加频繁的数据处理和信息交互将推动 IDC 市场规模的增长。
数据流量需求释放,驱动 IDC 扩建加速。随着云计算、5G、AI、VR/AR 等新一代信息技 术的发展和成熟,全球数据流量呈现持续增长态势。在 2016 年到 2019 年之间,全球数 据中心流量规模从每年 6.8ZB 增长至每年 14.1ZB,2021 年全球数据流量有望突破 20ZB。 另外,在亚太地区,云计算市场的增长直接拉动云数据流量的提升。亚太云数据流量从 2016 年的 908EB 增长至 2019 年的 2387EB,2021 年将达到 3469EB。在摩尔定律面临失 效之际,若没有更新的技术突破,硬件性能的提升速率将落后于数据增长的速度,因此唯 有加速扩建数据中心才能跟得上数据量爆发增长以及数据向云端转移的趋势。
流量激增与 IDC 数量尚不匹配,中国 IDC 市场潜力广阔。根据权威数据机构 IDC 和希 捷的报告,我国产生的数据量将从 2018 年的 7.6 ZB 增至 2025 年的 48.6 ZB,CAGR 达 30.35%,超过美国同期的数据产生量约 18 ZB。然而,从全球数据中心占比来看,截至 2018 年,美国占比约 44%,我国占比约 8%,日本占比约 6%;从人均机房面积看,我国 的人均机房面积仅为美国的 1/20,日本的 1/10。由此可见,与美、日等发达国家相比,我国现有数据中心的数量与数据流量爆发增长的趋势尚且不匹配,数据中心新增扩建确定 性强,IDC 产业未来发展空间较大。
云基础设施支出增加,全球云巨头积极部署 IDC。Canalys 今年 1 月发布的报告指出, 2019Q4 Amazon AWS、Microsoft Azure、Google Cloud 和阿里云在云基础设施服务上的支 出分别为 98、53、18、16 亿美元,总体支出较去年同期增加 78 亿美元,增长率高达 37%。 纵观全年,排名前七的云计算提供商,包括 Amazon、Facebook、Google、Microsoft 和 BAT, 总体在数据中心基础设施方面的支出超过 600 亿美元。另外,根据 Canalys 的预测,云基 础设施服务的支出将在 2020 年达到 1410 亿美元,到 2024 年达 2840 亿美元,云基础设 施支出维持增长态势。预计未来五年内,云服务提供商仍将是服务器和相关组件的最大 买家,云服务提供商的持续高投入将惠及 IDC 及相关产业链。
随着云基础设施投资增加,超大规模提供商建设 IDC 数量大幅增长。截至 2019Q3,全球 超大规模提供商运营的大型数据中心数量增加到 504 个,另有 151 个正处于计划或构建 阶段。从地区分布来看,美国、中国香港、瑞士和中国大陆在过去一年里新增的数据中心 最多。美国占据主要云和互联网数据中心站点的绝大部分份额,达到 38%,但 EMEA(欧 洲、中东和非洲)和亚太地区增长最快,其他最受欢迎的地区包括中国、日本、英国、德 国和澳大利亚,合计占比为 32%。从提供商方面来看,亚马逊和微软在过去四个季度中 开设了最多的新数据中心,占总数的一半以上,谷歌和阿里巴巴位于第二梯队。另外, Synergy 基于对全球 20 家主要云和互联网服务公司的数据中心足迹分析研究表明,有近 70%的超大规模数据中心都位于数据中心运营商租用或超大规模提供商的合作伙伴拥有 的设施中。亚马逊、微软、谷歌和 IBM 的数据中心遍布 55 个或更多的地区,并在北美、 亚太地区、欧洲、中东和非洲以及拉丁美洲这四个区域中至少覆盖三个,且每个区域都有 60 个或更多的数据中心站点。BAT 的数据中心则更多集中在中国。
国内方面,阿里增资云计算基础设施,中国移动高调入局公有云,双千亿级别投资加速 推进 IDC 产业。
(1)2020 年 4 月 20 日,阿里云宣布未来三年投资 2000 亿元,用于云 操作系统、服务器、芯片、网络等重大核心技术研发攻坚和面向未来的数据中心建设,并 表示云智能是阿里巴巴核心战略之一,在疫情影响下将逆势增加投入。据阿里云介绍,飞 天云操作系统、神龙服务器、自研云交换机、含光 800 芯片等核心自研技术,将在云数据中心大规模部署。阿里云增资 2000 亿的计划有望推动其数据中心规模再翻三倍,冲刺全 球最大的云基础设施,将持续拉动 IDC 需求提升。
(2)2019 年 11 月 14 日,中国移动在 其全球合作伙伴大会上提出进军公有云的目标。中国移动表示,云改是中国移动 5G+战 略落地的重要举措,移动云作为国家新型基础设施重要承载、5G 应用的核心平台,其发 展目标是三年内进入国内云服务商第一阵营,计划三年投资总规模在千亿级以上。根据 中国移动采购与招标网,中移动已经启动 2020-2021 年数据中心交换机集采招标,预估采 购数据中心交换机 21690 台、管理交换机 5000 台,此举或意味着移动将加速新建数据中 心。移动云的入局势必为云计算资本开支注入新增量,千亿级资金将加速移动云形成规 模,持续赋能 IDC 产业的发展。
IDC 作为新基建重要组成部分,获政策推动。2020 年 3 月 4 日,中共中央政治局常务委 员会召开会议,研究当前新冠肺炎疫情防控和稳定经济社会运行重点工作。会上明确指 出,要加大公共卫生服务、应急物资保障领域投入,加快 5G 网络、数据中心等新型基础 设施建设进度,要注重调动民间投资积极性。这是近年来,数据中心首次在中共中央政治 局常务委员会上被列入加快建设的条目,数据中心作为“新基建”的重要组成部分,获得 业界的高度关注,将在国家政策的推动下蓬勃发展。
近年来国家发布多条政策指引 IDC 合理布局。2013 年,五个部委联合发布《关于数据中 心建设布局的指导意见》,提出了数据中心建设和布局的基本原则,即市场需求导向原 则、资源环境优先原则、区域统筹协调原则、多方要素兼顾原则和发展与安全并重原则; 2018 年,工信部印发《全国数据中心应用发展指引》,对我国当前数据中心建设发展、 各区域供需关系等情况进行了梳理,旨在促进全国各区域合理建设规划数据中心,引导 数据中心供需对接、提升应用水平;2019 年 12 月,国务院发布《长江三角洲区域一体化 发展规划纲要》,指出要统筹规划长三角数据中心,推进区域信息枢纽港建设,实现数据 中心和存算资源协同布局,支持北斗导航系统率先应用,建设南京位置服务数据中心。总体来看,我国数据中心布局渐趋完善,新建数据中心,尤其是大型、超大型数据中心逐 渐向西部以及北上广深周边地区转移。金融机构、互联网企业主要集中在一线城市,对于 数据中心访问时延、运维便捷以及安全性有较高要求,伴随数据量持续增加,数据中心需 求持续上升。而一线城市土地、电力资源稀缺,加之政策监管趋严,数据中心的供给已经 逐渐到达天花板,供需失衡导致一线城市数据中心缺口较大。周边省市数据中心的建设, 承接转移了部分应用需求,相比之下租赁价格也有所下降,整体布局有望持续优化。
此外,标准化引领数据中心产业的良性发展和技术有序进步。2013 年,工信部发布了四 项数据中心通信行业标准:YD/T 2441-2013、YD/T 2442-2013、YD/T 2542-2013、YD/T 2543-2013,这四项标准对数据中心的技术要求、分级分类以及能耗测评方法等进行了详 细的规范,开创了数据中心等级在通信行业标准领域的先河。2017 年,工信部陆续发布 了一体化微型模块化和数据中心预制模块的相关技术要求(YDT 3290-2017、YDT 3291- 2017),迅速推动了模块化数据中心的推广和应用。模块化数据中心作为一种新型的标准 化、快速建设的数据中心建设形式,在行业内越来越多被选用。2019 年 12 月,中国通信 标准化协会(CCSA)发布了 12 项数据中心相关团体标准,内容涵盖液冷系列、无损网 络、企业级硬盘、微模块数据中心测试、分布式块存储等。另外,开放数据中心委员会 (ODCC)一直密切关注数据中心的新技术,在聚合行业力量进行技术研究的同时,也在 积极参与并推进技术的标准化工作。
特色产业示范基地发挥先导作用,助推数字中心产业健康发展。2017 年,工信部印发《关 于组织申报 2017 年度国家新型工业化产业示范基地的通知》,首次将数据中心纳入国家 新型工业化产业示范基地创建的范畴,并提出优先支持数据中心等新兴产业示范基地的 创建,旨在评选出在节能环保、安全可靠、服务能力、应用水平等方面具有示范作用、 走 在全国前列的大型、超大型数据中心集聚区,以及达到较高标准的中小型数据中心,发挥 产业引领作用。第一批示范基地已于 2017 年公布,2019 年公示了第二批国家示范基地 (数据中心)。示范基地的评选,将带动当地数据中心聚集区的产业发展和技术进步,进 而促进经济发展。
云计算带动 IDC 云化转型价值凸显,冲击 IDC 市场格局。近年来,云计算的兴起对传统 IDC 行业产生了一定的冲击,大量中小型客户选择了价格优惠、使用简便的云服务作为 存储数据的载体,云巨头的入局正在改变 IDC 产业格局。在优化资源结构方面,云计算将物理资源池化,摆脱了传统硬件在性能和灵活度方面的诸多限制,可以使得扩容更为 简便,解决资源分布不合理的问题。在提升利润方面,数据在云端进行传输时,可通过软 件层面根据实际的网络使用情况对云平台进行调试,在提高资源利用率的同时,也有助 于厂商提高综合服务水平,进而提升利润。在差异化服务方面,IDC 云化将助力拉新与导 流,充分挖掘市场潜力,从而有效应对竞争和价格战。
国际方面,全球 IDC 服务市场以第三方 IDC 为主。根据 Synergy 的数据,第三方 IDC 厂 商 Equinix 和 Digital Realty,以及运营商 NTT 仍然是托管市场的领导者,占据绝大部份 的市场份额,KDDI/Telehouse 与中国电信紧跟其后。其中,Equinix 占据 17%的零售市场 份额,而 Digital Realty 在规模较小的批发市场中的份额为 28%,NTT 充分利用原有通信 业务资源,具备资金资源协同优势。
国内方面,目前 IDC 市场依旧以运营商为主导。IDC 行业参与者主要包括以电信、联通、 移动代表的基础电信运营商;以阿里云、华为云、腾讯云为代表的云计算服务商;以光环 新网、世纪互联、数据港、鹏博士等企业为代表的第三方 IDC 服务商。另外,随着国电、 广电、远洋等一批自带能耗或土地资源的行业新进入者将增强市场竞争。其中云计算服 务商方面,除了阿里云等国内服务商,国外云巨头通过合作运营模式进入中国,进一步加 剧国内市场竞争。2013 年 6 月,Microsoft 通过与世纪互联蓝云合作,成为首家入华的 国际公有云服务商。2014 年,世纪互联与 IBM 联合宣布基于 IBM 全球统一标准的企业 级云平台 Cloud Managed Services 云管理服务正式上线。2016 年,全球云计算龙头 Amazon AWS 与光环新网合作正式落地中国。2016 年,甲骨文宣布与腾讯云合作共同为中国企业 提供云计算服务。2017 年 12 月,Amazon 与西云数据合作运营的 AWS 中国(宁夏)数 据中心成为 AWS 在中国的第二个可用区域。2018 年,我国 IDC 市场依旧以运营商为主 导,三大运营商合计占比超过 50%,但呈现下降趋势。剩余市场较为分散,在专业 IDC 厂商中,万国数据以 4.1%的市场份额居于首位,世纪互联、宝信软件、鹏博士、光环新 网、数据港的占比分别为 4.0%、2.0%、1.6%、1.5%及 1.1%。由于大型 IDC 服务商有较 强的资本实力、规模化运营且客户群稳定,预计未来大型 IDC 服务商的业绩仍将持续提 升,市场份额继续扩大,并将带动产业链整合加速。
对标国外,第三方 IDC 厂商在 IDC 地理资源端、资金端、以及运营端等方面兼具优势, 未来有望取代运营商成为市场主导者。起初国外 IDC 市场一样是由运营商把控,但由于 IDC 业务并非运营商主营业务,其营收贡献占比较低;加之第三方 IDC 厂商在定制化等 方面灵活性更高,并且持续收购优质数据中心资源,增长动力充足。目前,全球范围内 IDC 市场已经以第三方 IDC 企业为主导,代表性企业为 Equinix 和 Digital Realty。国内第 三方 IDC 服务商仍以中小型企业为主,行业格局相对分散,与三大运营商相比,国内上 市公司机柜体量明显不足。然而,第三方 IDC 服务商在数据中心位置资源端、资金端、以及运营端兼具优势,定制化服务能力强,更能满足大型企业的定制化需求,上架率高, 同时也能供应多个运营商网络,未来发展潜力大。
在 IDC 地理资源端,全球领先的传统 IDC 企业和以 Amazon、IBM 等云服务提供商为主 的新型 IDC 企业受市场需求驱动,其数据中心资源都重点围绕经济发达、用户聚集、信 息化应用水平较高的中心城市布局,从而降低建设和运营成本,提高资源利用率。在我 国,互联网及云计算行业的 IDC 需求仍是推动 IDC 业务市场规模绝对值增长的主要驱动 力,由于云计算大客户多处于一线城市,考虑到服务响应的及时性,北上广深区域市场内 IDC 业务需求不断加大,数据中心上架率显著高于其他地区。但北上广深等中心城市存 在土地、用电、人力成本过高的问题,叠加政策限制趋严,一线城市 IDC 资源将成为限 定资源,因此,在一线城市数据中心有良好布局的头部企业在规模效应中能够占据更多 的竞争优势,议价能力有望持续上升。对比国内第三方 IDC 企业的数据中心布局情况, 万国数据、鹏博士等均在北上广深有所布局;光环新网、东方国信等拥有北京地区核心资 源;宝信软件、数据港等在上海地区资源优势显著;奥飞数据依托华南地区优势,布局全 国一线城市。综合来看,第三方 IDC 企业的数据中心资源地区优势显著,未来也将加速 新增一线城市布局,有望赢得更多市场份额。
在资金端,建设超大规模数据中心所需的资金门槛较高,相应的回报周期较长,专业 IDC 厂商可通过定增等方式灵活融资扩建。国内领先第三方 IDC 企业如奥飞数据、数据港、 光环新网等近期陆续发布定增预案加码数据中心建设布局。奥飞数据于 2020 年 3 月 11 日发布 4.8 亿的定增预案项目公告用于建设廊坊讯云数据中心二期项目。数据港于 2020 年 3 月 14 日发布约 17.3 亿的定增预案项目公告,包括:JN13-B 云计算数据中心项目(2 亿)、ZH13-A 云计算数据中心项目(2.8 亿)、和云创互通云计算数据中心项目(7.4 亿)。 光环新网于 2020 年 4 月 17 日发布了 50 亿的定增预案项目公告,包括:北京房山绿色云 计算数据中心二期(9 亿)、上海嘉定绿色云计算基地二期(9 亿)、向智达云创增资取 得 65%股权并投资建设燕郊绿色云计算基地三四期(15.2 亿)、以及长沙绿色云计算基 地一期(4 亿)。专业 IDC 厂商正在加大投入,加速布局云计算基础设施,此举将赋能公 司业绩增长,奠定长期成长基础。
在运营端,IDC 厂商批发与零售双管齐下,获客能力强劲。根据客户规模和具体需求不 同,数据中心服务可分为批发型和零售型两种。批发型数据中心服务系面向大型互联网 公司或电信运营商提供定制化的服务器托管服务,通常并不提供网络带宽服务。零售型 数据中心服务系面向中小型互联网公司、一般企业等客户,提供相对标准化的服务器托 管服务及网络带宽服务。批发型 IDC 服务商往往与大客户绑定,业务确定性较强,国内 以批发型服务为主的包括数据港、宝信软件和万国数据等。零售型 IDC 服务商通常涵盖 更多的增值服务,如光环新网、世纪互联等较为注重零售型数据中心服务。
Equinix 是全球领先的数据中心及主机代管提供商,为企业提供行业领先的数据中心、主 机代管服务、网络连接、多云生态系统等服务。自成立以来,Equinix 完整经历了互联网、 移动互联网以及云计算三个数字化浪潮,Equinix 发展历程也代表了美国专业 IDC 服务的 发展之路。美国 IDC 市场自 2012 年起已经进入整合、升级、云化阶段,数据中心趋向大 型化、专业化、绿色化。在此阶段,专业 IDC 服务商凭借更强的规模、更先进的技术占 据行业主导地位。Equinix 的发展路径或将给我国第三方 IDC 厂商带来启示。
2015-2019 营收 CAGR 达 19.5%,EBITDA Margin 保持 45%以上。由于全球数据量快速 提升,IDC 产业需求量加大,Equinix 的营业收入也从 2015 年 27.26 亿美元增长至 2019 年的 55.6 亿美元,CAGR 为 19.5%。近五年来,EBITDA Margin 均保持在 45%以上,2019 年突破 48%。公司预计 2020 年实现营收 60-60.5 亿美元,EBITDA Margin 继续保持 48%。
Equinix 的发展对我国专业 IDC 厂商有多重指引价值。首先,Equinix 聚焦 IDC 业务并 兼备 Metro 网络服务。在稳定性、技术、模式方面领先业内同行,其专业 IDC 服务模式 得到客户一致认可,目前已拥有包括亚马逊网络服务、微软 Azure、Salesforce.com、eBay、 领英、奈飞、通用电气、雪佛龙、彭博社、纳斯达克、AT&T、T-Mobile 等知名公司在内 的庞大客户群体。国内 IDC 企业亦在布局 IDC 服务与网络服务协同,提升综合竞争实力。例如,奥飞数据除了提供服务器托管、服务器租用等 IDC 基础服务外,还积极拓展 BGP 接入服务,与各大电信运营商保持了良好的合作关系,可实现与三大运营商、教育 网等上级运营商之间的 BGP 互联,使网络访问无盲点,全面提升网络稳定性,并进一步 提升公司综合能力,助力实现业绩增长。
其次,Equinix 重视规模化与全球化部署,收购兼并+自建的模式指引我国专业 IDC 厂商 未来方向。公司自成立以来,通过自建与收购两种方式不断扩大公司数据中心规模,推进 全球部署,从而进一步降低网络延迟与运营成本,并以此锁定了跨国公司头部用户。截止 2019 年,Equinix 全球业务范围扩展至 26 个国家,拥有大约 210 个数据中心,机柜数达 到 29.95 万,机柜利用率常年维持在 80%左右。
国内专业 IDC 发展路径与 Equinix 相近,近年来不断并购扩大自身规模完成多地部署。 一方面由于云计算对数据中心有大规模、广覆盖的要求。另一方面,由于 IDC 需求量较 大的一线城市资源紧缺政策收紧,并购成为扩大规模的最有效方式。同时,头部 IDC 企 业也进行了大量的 IDC 机房自建。参考海外 IDC 行业,我们认为收购兼并+自建的模式 将被成为未来几年国内 IDC 企业发展的主要方式。从近两年的情况来看,第三方 IDC 企业如万国数据、光环新网、数据港、奥飞数据等均有并购案例,收购了大量在一线城市及 其他核心节点地区的数据中心,进一步扩大公司规模,奠定持续稳健增长基础。
此外,从销售模式来看,互联网大客户在 IDC 市场中的占比逐步提升。Equinix 作为零售 型 IDC 龙头,在巩固零售订单的同时也在积极拓展互联网大客户定制化订单,采用批发 与零售相结合的模式,双管齐下提升获客能力。国内厂商方面,已有多家 IDC 企业采用 相同销售模式。以奥飞数据为例,奥飞数据的客户群体主要分为两类:一类是视频网站运 营商、网络游戏运营商。门户网站运营商、CDN 服务商以及云服务终端等客户,目前此 类客户是主体,采用零售模式; 第二类是其他专业互联网综合服务商,此类客户采购公 司的 IDC 资源除用于自身使用外还用于对外提供 IDC 服务,采用批发模式。整体来看, 两种模式结合实现灵活销售,能更好地满足客户需求和预算,有助于增强公司获客能力。
另外,Equinix 增值服务营收占比逐年提升,中国 IDC 厂商目前已展现这一趋势。IDC 提 供的业务可分为基础业务和增值业务两种。基础业务包括主机托管(机位、架、VIP 机房 出租)、宽带出租、IP 地址出租、服务器出租和虚拟主机出租等;增值业务包括数据备 份、负载均衡、设备检测、远程维护、代理维护、系统集成、异地容灾、安全系统和逆向 DNS 等。随着 IDC 产业的逐步成熟,简单的主机托管和资源出租已经无法满足企业日益 增长的需求,IDC 厂商的关注点开始移向增值服务。另外,随着云服务商的强势加入, IDC 市场竞争更为激烈,由于传统 IDC 服务的同质化较为严重,整体利润偏低,在原有 业务基础上拓展更多增值服务以提高服务和产品的利润成为大势所趋。Equinix 的增值服 务例如网间结算从 2010 年的 1.71 亿美元增长至 2019 年的 8.94 亿美元,每年保持两位数 增长,营收占比从 14%提升至 16%,增值服务营收占比逐年提升。我国 IDC 企业,特别 是定位相对高端服务的大型 IDC 服务商,同样在云计算等技术的发展推动下,逐步开始 向高端增值服务商转移。例如向安全管理、应用交付、内容分发、网络运维、信息化应用 租用等新的模式发展。几年来,我国 IDC 行业基础业务营业收入占比呈逐渐下降的趋势, 而增值业务凭借具有高溢价的服务内容,其营收规模逐年上升,且增长率保持在 29%以 上。具体来看,2016 年,增值业务规模为 355.3 亿元,同比增长 42.46%,增值业务增长 率高于整个 IDC 行业规模 37.8%的增速;2017 年,增值业务市场规模首超基础业务,到2018 年增值业务规模达到 650.8 亿元,超出基础业务规模 70 亿元以上。预计未来增值业 务仍是市场竞争的核心,市场规模或将持续增长。
伴随着大型化、集约化的发展,全球数据中心数量开始缩减,但超大规模数据中心数量 逐年增加,增长率持续升高。据统计,截至 2017 年底全球数据中心共计 44.4 万个,超大 规模数据中心数量共有 390 个;预计 2020 年全球数据中心将减少至 42.2 万个,但超大规 模数据中心将升至 600 所。据中国信息通信研究院泰尔系统实验室基础产品与设施部刘 德强表示,2020 年超大规模数据中心将占到全部数据中心服务器数量的 47%,数据运算 能力的 68%,数据存储量的 57%和数据传输量的 53%。在中国,2019 年数据中心数量大 约为 7.4 万个,其中大型及超大型数据中心数量占比达到 12.7%;规划在建数据中心 320 个,超大型、大型数据中心数量占比达到 36.1%。
新型网络架构迭代演进,支持超大规模数据中心组网。组建超大规模数据中心主要受限 于两方面的因素:一个是业界主流的交换网络设备的转发能力和端口密度;另一个则是网络架构设计思想,需要具备极高的可扩展性和可管理性,以期能按 POD 进行数据中心 网络的交付,并最终具备承载更大规模集群的能力。目前业界主流设备已经可以提供基 于 12.8T 芯片、支持 32 个 400G 端口的 TOR 交换机,预计 2022 年将会出现 50T 以上的 大容量芯片,支持 64 个 800G 端口以及最新的 112G SerDes 技术。数据中心网络也已经 从最初的传统 3-Tier 架构演进到扁平化、无阻塞的叶脊(Leaf-Spine)架构,并基于这种 架构仍在不断进行迭代演进。
传统的 3-Tier 架构采用层次化架构的三层网络,有三个层次:核心层(网络的高速交换主 干)、汇聚层(提供基于策略的连接)、接入层(将工作站接入网络)。在过去很长一段时间里, 3-Tier 架构支撑了各种类型的数据中心的建设。但随着以太网技术的发展以及信息化水平 的不断提高,新的应用及数据量急剧增长,数据中心的规模不断膨胀。仅仅使用传统的网 络技术越来越无法适应业务发展的需要。自 2013 年以来,数据中心的网络结构发生了翻 天覆地的变化,二层网络结构的叶脊拓扑网络迅速取代三层网络。这种网络结构主要由 脊层交换机和叶层交换机两个部分组成,两层设备的扁平化网络架构来源于CLOS网络。 Leaf 交换机保持转发 2 层和 3 层的流量。流量可以分布在所有可用的链接上;Spine 类似 三层架构中的核心交换机,但高端口密度高吞吐量的三层交换机替代了大型机箱式交换 机,网络的压力也从集中负载于核心交换机,变成分配给众多 Spine 交换机均衡分担。随 着 IoT 等业务的兴起,接入层压力剧增,将会有数千个传感器和设备在网络边缘连接并 产生大量流量。Leaf 可以在接入层处理连接,Spine 保证节点内的任意两个端口之间提供 延迟非常低的无阻塞性能,从而实现从接入到云平台的敏捷服务。
伴随着数据中心合并、虚拟化、超融合和新应用业务形态发展,如何降低成本并提高效率 成为亟待解决的问题。早在 2017 年底,Broadcom 发布了可支持 32 个 400G bps 运行的端 口或 128 个以 100G bps 运行的端口的“Tomahawk-3”StratusXGS ASIC。ASIC 的出现意 味着每个交换机的端口数量可以比早期的 100G 交换机增加一倍到四倍,企业无需在管道 方面投入更多。2018 年 10 月,Arista Networks 也推出了基于 Tomahawk-3 的 7060X 交换 机。
随后,Facebook 公开了其新一代的数据中心架构 F16,将 Tomahawk-3 理论应用到下一代 交换机(Minipack)以及与之协同工作的 F16 架构中。在 Spine 平面对其上一代数据中心 架构 F4 进行扩展,把 4 个 128 端口、400G bps 交换机升级为 16 个 128 端口、100G bps架构的交换机,并采用 Minipack Spine 交换机和基于 Tomahawk-3(Minipack)、Tomahawk2(Wedge 100S)ASIC 的 Wedge 100S 交换机。在 F16 架构中,每个服务器和存储机架都 连接到 16 个不同的平面,达到单机 1.6T 的总容量。另外,这种新型 F16 架构的核心是 Minipack 交换机。在设计其 Minipack spine 交换机时,Facebook 做出了一个重要的决定, 为避免光学电缆消耗过多的功率,没有在结构上切换到 400G 端口,而是决定在设备上保 留 100G 的端口,使用已建立的 CWDM4-OCP 光学系统,从而使进出机架的带宽翻两番。 这一选择使得网络更简单、更扁平化,并进一步降低了成本。可以预见,在业界的共同努 力下,未来数据中心将在网络架构、设备转发能力以及端口密度等方面取得新的突破,以 支持超大规模的数据中心组网。
未来数据中心区域布局将呈现三级层次化结构。随着数据中心建设规模、承载业务以及 存储与计算等技术的不断变化,数据中心网络技术和区域布局也将持续演化,未来数据 中心将充分考虑不同业务属性选择适宜的区域布局:
(1)对于冷数据备份、离线计算分 析以及其他对网络时延要求较低的应用,将优先选择能源充足、气候适宜地区的数据中 心,以降低建设运行成本。
(2)对于面向区域、对时延敏感、以实时应用为主的业务, 将选择在用户聚集地区依市场需求灵活部署数据中心。
(3)对于 VR、AR、车联网等对 时延极为敏感的业务,需要最大限度贴近用户分布式部署微型数据中心,直达居民区、企 业办公场所等区域,以满足用户极致体验要求。
三层数据中心在整体网络架构下,统一管 理、动态调度、协调配合,更好地支撑上层业务应用。
故而为应对时延敏感业务,“云边协同”驱动边缘数据中心快速发展。IDC 预测,到 2020 年,全球将有超过 500 亿的终端和设备联网,其中超过 50%的数据需要在网络边缘侧进 行存储、处理和分析。2023 年,将有 42.4%的企业采用边缘+核心的组合架构建立和运行 数据库,设备架构向“云-边-端”三级架构演进迭代。由于数据的产生更多来自端侧和边 缘,边缘数据中心将会成为理想的承载基础设施去处理更多对时延要求更高的业务。根据信通院预测,未来边缘市场规模将超万亿,有望成为与云计算平分秋色的新兴市场,广 阔市场空间将带给整个数据中心产业界带来无限的想象空间和崭新的发展机遇,边缘数 据中心发展正走向快车道。
边缘数据中心缔造“云计算+边缘计算”的新型数据处理模型,数据中心将呈现两极化发展。 一方面,数据资源逐步整合,云数据中心规模越来越大;另一方面,大量边缘数据中心将 加速涌现,以保障边缘侧的实时性业务。目前,数据中心正朝着两个“截然相反”的方向发 展。
一是数量少、密度高的超大型数据中心,通过扩大单体规模来提升整体性能;
二是数 量多、就近服务的边缘数据中心。
边缘数据中心与传统的云数据中心相辅相成。云数据中心负责非实时性,长周期数据存储业务,并将时延敏感型业务卸载,交由边缘数据中心处 理,减少网络流量和往返延迟。边缘数据中心广泛应用于需要将数据处理靠近数据源的 应用场景,主要负责实时性业务,短周期数据存储。二者有效互补,保证用户良好体验。
在能源效率方面,从全球范围来看,基于业内的共同努力,数据中心的 PUE(Power Usage Effectiveness,电源使用效率)跟十年前相比已经有了大幅优化。2 月 28 日,《Science》 刊出了一篇名为《全球数据中心能源使用在需求快速增长下仍然放缓》的论文。该研究计 算出 2010 年至 2018 年间,全球数据中心需求增长了 550%,数据中心能源使用仅增长 了 6%。可见,在全球数据中心的业务需求不断扩大的同时,能源使用效率也在不断提升。
国内方面,数据中心的总体能效水平呈逐步提高趋势。全国超大型数据中心的平均运行 PUE 为 1.63,大型数据中心的平均运行 PUE 为 1.54,2013 年后投产的大型或超大型数据 中心平均运行 PUE 低于 1.50,最优水平达到 1.2 左右。对于规划在建的数据中心,平均 设计 PUE 为 1.5 左右,超大型、大型数据中心平均设计 PUE 分别为 1.41 和 1.48。
绿色节能是国家和地方数据中心政策的重要目标,未来仍有很大提升空间。近几年,国 家和地方陆续出台绿色数据中心相关政策,分别从 PUE 等硬性指标和节能环保方面提出 要求。自 2010 年起,利用云计算和绿色节能技术对数据中心进行改造、提高数据中心能 耗及能效水平成为国家相关产业政策的核心内容,并提出了 2020 年新建大型、超大型数 据中心的 PUE 值达到 1.3 以下的目标。另外,各地也积极出台数据中心节能减排鼓励政 策,促进数据中心绿色化发展。根据信通院的评估结果,过去八年间,在众多参评的数据 中心中仅有五家数据中心获得 5A 级别的绿色等级,我国数据中心的整体绿色水平任重而 道远,未来仍有很大的提升空间。
供电架构逐步简化,“HVDC+市电直供”促进供电效率提升。目前的数据中心供电方式 主要有三种模式:UPS 供电系统、HVDC(高压直流)供电系统、市电直供。传统的数据 中心供电以不间断电源 UPS 为主,转换率较低。随着产业规模持续扩大,数据中心建设 成本和能耗激增,受高成本、高能耗的驱动,可靠性高、成本低的 HVDC 的出现恰逢其 时,成为数据中心供电系统的新选择。据统计,“HVDC+市电直供”相结合的模式可使 供电效率提升到 94%-95%,HVDC 离线模式可将供电效率提升至 97 %以上。数据中心 的 HVDC 供电模式最早由电信牵头试点,伴随着云计算逐渐成熟,HVDC 已从三大运营 商开始逐渐覆盖到 BAT 等互联网厂商,截至目前 BAT 新建数据中心大部分均采用了 HVDC 供电系统。
2019 年底,中恒电气与阿里巴巴联合发布了 “巴拿马”电源系统。该系统具有超高功率 密度、超高效率、安全可靠的特点,利用最先进的电力电子信息技术和智能化控制策略, 将电路和磁路融合创新,集成 10KV 配电、变压器、不间断电源和输出配电单元。另外, 巴拿马系统采用模块化扩容,单套系统容量最大支持 2.4MW,精准匹配未来数据中心工 程产品化、快速部署、超高效、智慧化等核心需求,引领数据中心绿色建设、开创泛在 HVDC 时代。另外,Google、Facebook 的 48V 整机柜供电架构、百度的 12V 分布式锂电 池系统等,都进一步提高供电效率。整个供电系统逐渐由交流/集中式向直流/分布式转变, 直流/分布式架构不仅能提高效率、降低成本,在运维方面也得到了简化。
数据中心绿色化带动温控行业发展,蒸发冷却技术、液冷技术成为新主流。设备温控行 业是 IDC“新基建”的底层保障,根据 ICTResearch 预测,2020 年机房温控节能设备市场 规模预计将接近 56 亿元。据悉,数据中心的运行能耗约有 25%~40%左右用于制冷(依据 不同数据中心的 PUE 水平), IDC 绿色化的发展态势带动数据中心制冷技术不断革新。 其中,间接蒸发冷却技术通过将冷却系统架构简单化,是目前众多数据中心冷却技术中 降低能耗水平的最有效规模商用方案。间接蒸发冷却机组利用水蒸发降温,使空气温度 逼近湿球,采用换热芯体降低对环境空气质量的处理要求;通过模块化的设计在安装空 间上和数据中心其它系统解耦,安装周期可由 5-6 个月缩减至 1-2 个月。此外,液冷散热 方案可面对更高的热密度,并减少从芯片到大气环境的级数,效率更高,甚至实现 100% 自然冷却。
目前,液冷主要有冷板、浸没两种部署方式。在多项技术的对比中,浸没式液冷节能优势 突出,在满足一线城市 PUE 建设限制的同时,单体计算密度提升 10 倍以上,IT 设备占 地面积减少 75%以上,已在 HPC 和 GPU 等领域实现规模应用。另外,2018 年 6 月,阿 里巴巴部署了全球首个大规模液冷集群,将服务器浸泡在特殊的绝缘冷却液里,运算产 生的热量可被直接吸收进入外循环冷却,全程用于散热的能耗几乎为零。这种形式的热 传导效率比传统的风冷要高百倍,节能效果超过 70%,未来阿里巴巴将逐步在更多的数 据中心进行推广应用,有望进一步推动制冷技术革新。
模块数据中心极大缩短建设周期,已开始大批量投产应用。微模块数据中心于 2012 年由 我国互联网公司首创,使数据中心的建设由“工地”迁移到“工厂”。传统数据中心的建 设周期需要 2-3 年,而微模块数据中心可以通过工厂预制、现场安装,实现 40 天完成部 署,极大缩短了建设周期。另外,微模块数据中心是以模块为单位,可按照需求快速灵活 部署,其高效、灵活、快速、节能的特点解决了数据中心建设运营中的大量问题,并在互 联网、电信、金融、政府等多个行业得到了快速应用。在规模方面,截至 2017 年底,微 模块数据中心的部署量已从 2013 年的 300 套增长到 4500 套,预模块数据中心完成 9100 个 40A 整机柜的部署,容纳服务器能力超过 100 万台,未来微模块数据中心部署节奏有 望加快。在性能方面,据 ODCC 统计,微模块数据中心运行 6 年来安全稳定,平均 PUE 下降 0.2-0.4,运行成本降低 20%-40%,节能降支效果十分明显,对数据中心产业模块化、 绿色化具有极强的带动和引领作用。
数据中心及基础设备向定制化发展,致力推进电信网络重构。当前,日益增长的数据量 和复杂的系统需求增加了企业对于安全的、可扩展的数据中心的需求,而企业对于数据 中心扩展备选方案的思考则又引发了对隐私、数据中心容量、控制权、可靠性等问题的关 注。企业用户和云服务提供商之间对数据中心的设计和构建要求往往存在一定的差异, 因此,数据中心开发商需要充分认识到这些差异,并利用差异为每家企业客户提供定制 化构建的数据中心。另外,电信行业正在由传统网络向基于通用服务器、开源云计算平台 的技术架构演进,提升网络效率、降低成本成为电信行业的普遍共识。为此,三大运营商 和中国信通院、英特尔等公司发起 OTII(Open Telcom IT Infrastructure)项目,探索深度定 制化服务器,形成电信行业面向网络 IT 化转型的开放标准、统一规范的服务器技术方案, 以满足 IT 化的电信应用需求,致力解决电信行业的网络转型困境。实验显示,OTII 服务 器能够在运营商 NFV 总体框架下平滑接入现网,有效支持 vBRAS(虚拟宽带远程接入服 务器)等典型虚拟化网元的承载和运行,特别是在设备规格、功耗、管理能力等方面能够 满足运营商边缘机房 DC 化重构的特殊需求,在运营商网络中拥有广阔的应用前景。未 来,随着网络重构的逐步推进,在开源软件、开放硬件的基础上进行关键部件的自主研发 和深度定制,将成为运营商新的运营模式。
IDC 业务管理政策逐步完善,经营环境充分改善。随着行业的不断发展,产业界的关注 点逐步由建设转向运营管理,对数据中心的运维管理也提出了更高要求。在管理政策层 面,2012 年,工业和信息化部发布《关于进一步规范因特网数据中心业务和因特网接入 服务业务市场准入工作的通告》,进一步完善了 IDC 业务的准入要求;2017 年工信部公 布了修订后的《电信业务经营许可管理办法》,取消了申请经营许可时提交企业名称预核 准通知书的要求,删除了电信业务经营许可证作为工商变更登记前置程序的规定。监管 政策降低了 IDC 市场准入门槛,促进 IDC 市场健康快速发展。同年,《工业和信息化部 关于清理规范互联网网络接入服务市场的通知》发布,要求对 IDC 业务市场存在的无证 经营、超范围经营、“层层转租”、违规接入等违法行为进行查处,加强经营许可和接入 资源的管理,强化网络信息安全管理。IDC 监管机制的建立,有利于维护公平竞争的市场 秩序,并进一步优化 IDC 企业经营环境,使市场机制的作用得到充分发挥。
管理平台朝着智能化方向发展,数据中心经营效率提高。在管理平台层面,随着数据量 的高速增长,新建数据中心大多以大规模、超大规模为主,大量的设备和复杂的系统为高 效管理带来了挑战。智能化的数据中心基础设施管理通过对 IT 设备和数据中心基础设施 的在线监控、管理,节省大量维护时间和费用,让企业更加专注于上层业务。因此,智能 化成为数据中心运维管理的必然趋势,DCIM(数据中心基础设施监控管理)等数据中心 智能化管理平台正在加速部署应用。另外,在人工智能、云计算的快速发展下,如 DMaaS 等管理平台将基础设施管理与 IT 设备管理集成,运用大数据分析和机器学习等算法可实 现有效预测和防止数据中心基础设施发生的事件和故障,缓解数据中心效率低下和容量 不足问题,提高了数据中心运营效率。在能耗方面,智能能耗管理系统通过采集数据中心 各设备的用电参数,精确分析数据中心的 PUE、能耗分布和构成,实现主动式分析与预 警、精细化监测与管理、合理化规划与决策,为管理者能耗优化提供有力依据。