腾讯云专家工程师首次揭秘下一代虚拟网络架构

小提示：您能找到这篇{腾讯云专家工程师首次揭秘下一代虚拟网络架构}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的腾讯云专家工程师首次揭秘下一代虚拟网络架构内容感兴趣，有相关需求意向欢迎拨打我们的服务热线，或留言咨询，我们将第一时间联系您！

< ">导读

< ">5G的商用以及IoT、AI等技术的成熟推动着云技术的发展。无时不刻产生的数据洪流，对云的网络架构和处理数据的能力提出了新的需求，为了满足这些需求，下一代虚拟网络技术路在何方？在探讨这个问题之前，我们以腾讯云数据中心网络为例，介绍一下它的技术发展脉络。

< ">< font-size: 18px;">一.腾讯云数据中心网络的技术发展脉络

< ">1.从千兆到万兆：2014年，腾讯公有云服务器接入带宽从千兆迈入了万兆。

< ">2.从万兆到25G：2017年，腾讯公有云服务器接入带宽从万兆向25G转变，这种转变主要来自于业务对网络吞吐的性能诉求。

< ">3.从25G到50-100G：未来的1~2年，公有云服务器接入带宽将全面向100G转变。高密计算（单台虚拟化服务器的CPU核数越来越多）、高密存储（单台存储服务器的盘数和磁盘容量越来越高）、AI、HPC的发展，对信息流的广告网络的高吞吐和低延迟提出了更高要求。

< ">不同的服务器接入带宽，对虚拟化网络的架构和扩展性会提出不一样的要求。在100G的网络时代，虚拟化网络架构会是怎样的？

< ">< font-size: 18px;">二.腾讯云100G时代下的VPC架构剖析

< ">1.宿主机vSwitch能力

< ">

< ">云网络发展早期，网络虚拟化的vSwitch通常使用内核模块来实现，基于netfilter的钩子定制encap/decap/安全组/qos等逻辑，快速满足业务要求。但是基于内核实现的vSwitch有几个问题：

< ">(1)vSwitch逻辑受制于内核的框架，Linux内核并非为网络转发所设计，存在大量的锁和队列，网络性能和时延表现都比较差。

< ">(2)为了满足性能，vSwtich逻辑与虚拟机混跑CPU，在Linux调度层面，vSwtich逻辑的运行优先级更高，这干扰了虚拟机的CPU性能稳定性。

< ">随着危机公关特性DPDK技术的成熟，vSwitch逻辑逐步转向用DPDK实现：

< ">(1)利用kernel的UIO机制，数据包跳过kernel的处理逻辑，直接送往用户态。DPDK框架专门为网络转发而设计，vSwtich逻辑更简单纯粹。同时通过将DPDK vSwitch逻辑绑定物理核，并尽量移除DPDK所在物理核上的内核逻辑(irq，softirq，rcu cb，timer，worker…)等方法，可以保证DPDK vSwitch逻辑运行的稳定性。

< ">(2)DPDK vSwitch的处理逻辑与用户虚拟机的CPU彼此隔离，这保证了用户虚拟机CPU的运行稳定性。

< ">随着服务器带宽的进一步增长，DPDK vSwitch的扩展能力也遇到很大的挑战。DPDK的性能通过横向扩展占用的CPU核数来保证，但也有瓶颈：

< ">(1)DPDK的单核处理能力受制于vhost-user的内存拷贝，最高只能达到20-25Gbps。

< ">(2)软件横向扩展受制于软件的局部化设计，存在天花板。

< ">(3)堆砌通用CPU，将导致功耗增大、成本增高。

< ">无限制地横向扩展不可持续。在100G的时代，保证虚拟化网络的高性能和性能稳定性成为vSwitch设计上重要的目标，主要的技术突破是智能网卡。

< ">智能网卡的技术方案带来如下优点：

< ">(1)vSwitch的快转表下沉到硬件(FPGA/ASIC)中实现，性能扩展不需要占用CPU资源，显著提升了性能的可扩展性。

< ">(2)全路径硬件IO直通到虚拟机内部，拥有比软件方案更稳定的性能。

< ">(3)硬件实现QoS隔离，租户间隔离更稳定。

< ">但是硬件有规格和灵活性上的局限性。为了满足不同场景对网络性能的不同诉求，腾讯对vSwitch的架构做了分层。

< ">vSwitch被分为三层：软件实现的慢速路径，软件实现的快速路径，硬件实现的快速路径。对于不同场景，软件自学习分析流的特征后，会将数据流分配到三种路径上进行转发：

< ">(1)对于QQ类型的UDP无连接包业务类型，每条流只有一个包，这种类型的流量直接通过软件慢路径进行转发，不下发流表。

< ">(2)对于TCP短链接业务，这种类型流量只下发到软件快路径，不下发到硬件快路径。

< ">(3)TCP大流量长连接业务，下发到硬件快路径。

< ">在下一代虚拟化网络中，智能网卡是每台虚拟化服务器的标配。除了网络虚拟化，还会将存储虚拟化，计算虚拟化的部分功能下沉到智能网卡中，给客户提供超强的性能稳定性。

< ">2.云网关能力

< ">

< ">网关在云环境面临的最主要问题有资源问题、性能问题、故障域问题。在100G的网络时代，性能扩展带来的资源问题最为凸显。下一代虚拟化网络中，云网关的技术突破最为重要，在这块技术攻坚工作中，我们有几个原则：

< ">(1)业务网关NFV化，内部服务去网关，边界网关硬件化；

< ">(2)边界网关无状态化，状态分布式化。

< ">下面详细讲讲这些原则：

< ">01  业务网关NFV化

< ">

< ">针对虚拟化要解决的核心问题——资源问题，主要有以下策略：

< ">(1)装箱算法：解决整体资源利用率和碎片问题。

< ">(2)快速冷迁移、无感热迁移：解决资源的快速置换和故障恢复。

< ">(3)Auto-scaling：解决资源平行扩容问题。

< ">(4)巨大的资源池：通过热迁移调度可提升整体的利用率。

< ">业务网关NFV化时，网关所面临问题是这样解决的：

< ">(1)资源问题：直接复用虚拟化平台所提供的资源能力。

< ">(2)性能问题：直接复用虚拟化网络vSwitch实现的高性能及性能隔离能力。

< ">(3)故障域问题：基于虚拟化平台，做到更细粒度的sharding，让一个集群承担更少的客户。在集群内部，复用虚拟化网络已有的HAVIP主备同步及ECMP，单播/多播同步实现集群内容灾。

< ">02  内部服务去网关

< ">

< ">内部服务包含两种：大吞吐类型（如对象存储），主要瓶颈在大吞吐情形下的资源扩容及性能问题；延时敏感性（如数据库），主要瓶颈在于网关这一跳带来的时延问题以及可靠性问题。

< ">在下一代虚拟化网络中，我们将连通overlay和underlay服务的集中式网关，分解到overlay虚拟化服务器+underlay物理服务器上。在underlay服务器上安装一个内核模块，提供了underlay服务器的被动VPC访问能力。

< ">内部服务去网关后，网关问题这样解决：

< ">(1)资源问题：网关能力分布式化，天然解决资源问题。

< ">(2)性能问题：网关能力分布式化，没有集中式性能瓶颈，单机的性能依赖虚拟化母机的vSwitch和underlay服务器模块解决。

< ">(3)故障域隔离：网关能力分布式化，没有集中式单点，故障域缩小到虚拟化母机维度或underlay服务器维度。可利用虚拟化的迁移或underlay的服务调度来修复该问题。

< ">03  边界网关硬件化

< ">

< ">边界网关包含两种：公网与腾讯云内网的边界网关（如EIP网关）；腾讯云不同地域间DCI的边界网关（如云联网网关），这两种网关必须要集中式解决。边界网关硬件化后，网关面临的问题是这样解决的：

< ">(1)资源问题：一台可编程硬件网关，可以提供至少10倍软件网关的能力，它所需的资源规模相比而言大大减少。

< ">(2)性能问题：利用可编程硬件芯片，可以提供更强的包转发能力、更少的时延表现、更稳定的性能、更好的性能隔离。

< ">(3)故障域问题：硬件网关因为承载流量大，客户多，单台故障的影响面也会很大，腾讯通过简化硬件网关的逻辑，将边界网关无状态化，通过多集群部署、跨集群调度来解决集群的容灾问题。

< ">3.控制面能力

< ">随着数据面带宽的急剧增长，整体虚拟化网络面对的客户数及单客户规模都会与日俱增。超大虚拟化网络所面对的控制面扩展能力也是我们首要考虑的问题。在下一代VPC网络中，我们将配置数据分为动态配置数据与静态配置数据。

< ">(1)动态配置数据(如位置关系)，完全分布式按需学习，定打造精准营销期老化，解决配置数据量中最大的部分。

< ">(2)静态配置数据(譬如子网路由、安全组)，采用静态预下发。静态预下发时采取snapshot+binlog方式，加快预下发效率。

< ">至于“动态学习及静态预下发时，部分配置关系未能及时下发”的问题，引入中转网关来辅助流量转发。中转网关基于包做转发，完全无状态，方便容灾及扩容。

< ">在下一代虚拟化网络中，基于控制面的按需改造，我们可以做到单VPC超过300K VM，且VM创建完成后VPC实时可通。此外，控制面的租户隔离也是一个非常重要的问题。我们的解决办法是：

< ">(1)对于大客户，我们通过大小客户分集群单独部署，以解决控制面的租户隔离问题。

< ">(2)对于一个集群内部的租户间互相影响，我们主要通过针对单租户的访问频率控制，以及对于恶意租户的额外队列惩罚控制，来避免一个租户造成集群雪崩。

< ">4.故障定位能力

< ">下一代虚拟网络中，除了通常的计数器统计，针对大吞吐高性能场景下性能无损的故障分析，我们研发了一套带内的流跟踪系统。

< ">通过这套流跟踪系统，我们可以实时获取网络路径上函数级别的时延和丢包情况。

< ">在下一代网络中，我们将借助流跟踪系统，更从容地应对客户对丢包和网络时延的挑战。

< ">总结

< ">“随风潜入夜，润物细无声”我们希望腾讯云的“网络能力”像春雨一样，对用户来说是“透明”的，不必被感知的。因为默默地守护好前方业务的“花团锦簇”，就是春雨最大的满足。